ChatGPT در اواخر ۲۰۲۲ از راه رسید و انگار از هیچ پیدا شد. در واقع نوک قابل‌دیدِ مسیری طولانی بود.
پیش از ترنسفورمر: شمردن کلمه‌ها
در دهه‌های ۱۹۹۰ و ۲۰۰۰، مدل‌های زبانی آماری بودند: می‌شمردند چه کلمه‌هایی معمولاً بعد از چه کلمه‌هایی می‌آیند. مدلی معروف در سال ۲۰۰۱ که روی ۳۰۰ میلیون کلمه آموزش دیده بود، در زمان خودش بهترین بود. با گسترش اینترنت، پژوهشگران خودِ وب را به‌عنوان انبار عظیمی از متن آموزشی به کار گرفتند.
چرخش عصبی
حدود سال ۲۰۰۰ پژوهشگران شبکه‌های عصبی را برای زبان امتحان کردند و بعد از موفقیت یادگیری عمیق در تشخیص تصویر (حدود ۲۰۱۲) این مسیر اوج گرفت. دو نقطه‌ی عطف:
- ۲۰۱۳، بردار کلمه‌ها (Word2Vec): کلمه‌ها به فهرستی از عددها تبدیل شدند تا کلمه‌های هم‌معنا کنار هم قرار بگیرند.
- ۲۰۱۶، ترجمه‌ی ماشینی عصبی: گوگل روش قدیمی ترجمه‌اش را با شبکه‌های عصبی عمیق عوض کرد.
۲۰۱۷: «توجه همه‌چیزی است که لازم داری»
مقاله‌ای پژوهشی ترنسفورمر را معرفی کرد که بر مکانیزم توجه (Attention) بنا شده و به مدل اجازه می‌دهد رابطه‌ی همه‌ی کلمه‌های یک متن را هم‌زمان ببیند، هرقدر هم از هم دور باشند. تقریباً همه‌ی مدل‌های زبانی امروزی روی آن ساخته شده‌اند.
۲۰۱۸ تا ۲۰۲۰: دو خانواده، یک برنده
- BERT (۲۰۱۸) با پر کردن کلمه‌های حذف‌شده یاد می‌گرفت و در پژوهش بسیار محبوب شد.
- مدل‌های GPT با حدس زدن کلمه‌ی بعدی یاد می‌گرفتند. GPT-2 (۲۰۱۹) خبرساز شد، چون سازندگانش ابتدا از ترس سوءاستفاده در انتشارش تردید کردند. GPT-3 (۲۰۲۰) نشان داد مدل می‌تواند فقط با چند مثال داخل پرامپت، کاری را یاد بگیرد.
با گذشت زمان، مدل‌های سبک GPT آن‌قدر در پیروی از پرامپت خوب شدند که استفاده‌ی پژوهشی از مدل‌های سبک BERT کم شد.
۲۰۲۲ و ۲۰۲۳: همه یکی دارند
ChatGPT یک رابط گفتگو روی مدلی گذاشت که برای پیروی از دستور تنظیم شده بود و میلیون‌ها نفر امتحانش کردند. در ۲۰۲۳ GPT-4 توانایی کار با تصویر در کنار متن را اضافه کرد.
۲۰۲۴ و ۲۰۲۵: استدلال و وزن‌باز
- مدل‌های استدلالی مثل o1 شرکت OpenAI آموزش دیدند که پیش از جواب دادن، مسئله را قدم‌به‌قدم حل کنند.
- مدل‌های وزن‌باز (مثل LLaMA و Mistral) به همه اجازه می‌دهند مدل را دانلود و بررسی کنند. در ژانویه‌ی ۲۰۲۵ مدل DeepSeek-R1 با ۶۷۱ میلیارد پارامتر، عملکردی نزدیک به o1 داشت، با هزینه‌ی بسیار کمتر برای هر توکن.
جمع‌بندی
هیچ‌کدام یک‌شبه اتفاق نیفتاد. ایده‌های بهتر (توجه)، داده‌ی بیشتر، توان محاسباتی بیشتر و تنظیم دقیق بهتر، هرکدام تکه‌ای اضافه کردند. و «بزرگ» هم آستانه‌ی رسمی ندارد؛ یعنی خیلی بزرگ‌تر از چیزی که قبلاً عملی بود.
برای مطالعه‌ی بیشتر: مقاله‌ی ویکی‌پدیا درباره‌ی مدل‌های زبانی بزرگ.