مدل زبانی از همان ابتدا دستیار مفید نیست. در چند مرحله ساخته می‌شود و هر مرحله روی رفتارش در گفتگو با تو اثر می‌گذارد.
مرحله‌ی ۱: جمع‌آوری و پاک‌سازی متن
آموزش با حجم عظیمی از متن شروع می‌شود. قبل از استفاده، داده پاک می‌شود: مطالب کم‌کیفیت، تکراری و سمی حذف می‌شوند و نتیجه بهتر می‌شود. گاهی حتی از یک مدل آموزش‌دیده برای پاک‌سازی داده‌ی مدل بعدی استفاده می‌کنند.
دو نگرانی رو‌به‌رشد: وب امروز پر از متن تولیدشده با AI است که می‌تواند کیفیت را پایین بیاورد، و برای بزرگ‌ترین مدل‌ها ممکن است متن انسانیِ خوب به اندازه‌ی کافی وجود نداشته باشد، برای همین گاهی از داده‌ی مصنوعی استفاده می‌شود.
مرحله‌ی ۲: تبدیل متن به توکن
مدل با عدد کار می‌کند، نه حرف. توکنایزر متن را تکه‌تکه می‌کند و به هر تکه یک عدد می‌دهد. یک روش پرکاربرد، کدگذاری جفت‌بایت (BPE) است: از تک‌حرف‌ها شروع می‌کند و جفت‌هایی را که بیشتر کنار هم می‌آیند مدام ادغام می‌کند تا به واژگانی با اندازه‌ی هدف برسد. کلمه‌های رایج یک توکن می‌شوند و کلمه‌های نادر چند توکن.
مرحله‌ی ۳: پیش‌آموزش
مدل حجم عظیمی از متن را می‌خواند و یک کار را تمرین می‌کند: حدس زدن توکن بعدی. حدس می‌زند، با چیزی که واقعاً آمده مقایسه می‌کند، کمی اصلاح می‌شود و این کار میلیاردها بار تکرار می‌شود. دستور زبان، واقعیت‌ها، سبک نوشتن و الگوهای استدلال همین‌جا جذب می‌شوند. در این مرحله مدل ادامه‌دهنده‌ی متن بسیار خوبی است، اما هنوز دستیار مفید نیست.
مرحله‌ی ۴: تنظیم دقیق (Fine-tuning)
حالا مدل برای رفتار درست شکل می‌گیرد:
- تنظیم با دستور: از نمونه‌هایی که سؤال و جواب خوب را کنار هم می‌گذارند یاد می‌گیرد.
- بازخورد انسانی (RLHF): مدلی جدا آموزش می‌بیند که حدس بزند مردم کدام جواب را ترجیح می‌دهند، و بعد مدل زبانی طوری اصلاح می‌شود که جواب‌هایی با امتیاز بالا بدهد.
- بعضی سازندگان برای هدایت رفتار از اصول نوشته‌شده هم استفاده می‌کنند (رویکردی به نام constitutional AI).
مرحله‌ی ۵: تبدیل به چت
چت فقط متنِ قالب‌بندی‌شده است. پیام تو با برچسب «کاربر» مشخص می‌شود، مدل بعد از «دستیار» ادامه می‌دهد و یک پرامپت سیستمی پنهان در ابتدا، دستورهای کلی و نقش را تعیین می‌کند.
چرا این‌قدر گران است؟
آموزش GPT-2 با ۱٫۵ میلیارد پارامتر در سال ۲۰۱۹ حدود ۵۰ هزار دلار هزینه داشت. آموزش PaLM (۵۴۰ میلیارد پارامتر) در ۲۰۲۲ حدود ۸ میلیون دلار. آموزش برای هر توکن هم خیلی گران‌تر از جواب دادن به یک سؤال است، برای همین بیشتر آدم‌ها از مدل‌هایی استفاده می‌کنند که کس دیگری آموزش داده.
این برای تو یعنی چه؟
- دانش مدل از پیش‌آموزش می‌آید و از یک زمانی به بعد را نمی‌داند.
- ادب و مفید بودنش از تنظیم دقیق می‌آید؛ برای همین دستیارهای ساخته‌شده روی مدل‌های مشابه می‌توانند خیلی متفاوت باشند.
- داده‌ی بد یا جانبدارانه می‌تواند جواب‌های غیرقابل‌اعتماد بسازد.
برای مطالعه‌ی بیشتر: مقاله‌ی ویکی‌پدیا درباره‌ی مدل‌های زبانی بزرگ.