«مدل زبانی» یعنی فقط با کلمه کار می‌کند؟ نه لزوماً. همان ایده‌ی اصلی، یعنی حدس زدن ادامه‌ی یک دنباله، روی انواع دیگر داده هم جواب می‌دهد.
مدل‌های چندوجهی
وجه (Modality) یعنی نوع ورودی یا خروجی: متن، تصویر، صدا، ویدیو. از ۲۰۲۳ به بعد بسیاری از مدل‌های زبانی چندوجهی شده‌اند. مثلاً GPT-4o می‌تواند متن، صدا و تصویر را پردازش و تولید کند.
مدل متنی چطور «می‌بیند»؟
یک دستورکار رایج:
۱. یک مدل زبانی آموزش‌دیده و یک رمزگذار تصویر آموزش‌دیده بردار. ۲. یک شبکه‌ی کوچک اضافه کن که تصویر را به بردارهایی هم‌اندازه‌ی توکن‌های متن تبدیل کند، یعنی عملاً «توکن‌های تصویری». ۳. توکن‌های تصویر و متن را در یک دنباله ترکیب کن. ۴. روی جفت‌های تصویر و متن تنظیم دقیق کن.
برای مدل، تصویر فقط یک نوع دیگر از توکن می‌شود.
کد هم یک زبان است
زبان‌های برنامه‌نویسی متن‌اند، پس مدل‌های زبانی بدون ترفند خاصی با آن‌ها کار می‌کنند. می‌توانند از توضیح به زبان ساده کد بنویسند (که گاهی vibe coding می‌نامندش)، کد را توضیح بدهند یا بین زبان‌ها ترجمه کنند. در ابتدا فقط کمک تکمیل کد بودند و حالا به سمت نوشتن برنامه‌ی کامل می‌روند، در ابزارهایی مثل GitHub Copilot.
زیست‌شناسی به‌عنوان یک زبان
پروتئین‌ها زنجیره‌ای از آمینواسیدها هستند و DNA و RNA دنباله‌ای از حرف‌ها. مدل‌های ترنسفورمر می‌توانند الگوهای آن‌ها را شبیه دستور زبان یک جمله یاد بگیرند.
- ESMFold از شرکت Meta ساختار پروتئین را حدود یک مرتبه‌ی بزرگی سریع‌تر از AlphaFold2 پیش‌بینی می‌کند و برای پیش‌بینی ۷۷۲ میلیون ساختار پروتئین متاژنومی به کار رفته است.
- از مدل‌های زبانی برای طراحی پروتئین‌هایی هم استفاده شده که در طبیعت وجود ندارند.
یک اثر جانبی شگفت‌انگیز: فشرده‌سازی
چون پیش‌بینی‌کننده‌ی خوب توکن بعدی می‌داند چه چیزی محتمل است، می‌تواند داده را فشرده کند. در پژوهشی از DeepMind در ۲۰۲۳، مدل Chinchilla که بیشتر روی متن آموزش دیده بود، داده‌ی تصویری را به ۴۳٪ اندازه‌اش رساند و از PNG با ۵۸٪ بهتر عمل کرد.
همین امروز امتحان کن
- عکس یک گیاه، یک رسید یا یک نمودار آپلود کن و بپرس چه می‌بیند.
- از دستیارت بخواه اسکرین‌شات یک پیام خطا را توضیح بدهد.
- یک کار کوچک صفحه‌گسترده را با کلمه‌های ساده توضیح بده و فرمول یا اسکریپتش را بخواه.
برای مطالعه‌ی بیشتر: مقاله‌ی ویکی‌پدیا درباره‌ی مدل‌های زبانی بزرگ.