بیشتر آدم‌ها از طریق یک وب‌سایت یا اپ با مدل‌های زبانی کار می‌کنند. اما بعضی مدل‌ها را می‌شود کاملاً روی کامپیوتر خودت اجرا کرد، بدون اینترنت و بدون اینکه داده‌ات از دستگاه بیرون برود.
دو راه برای اجرای مدل
- میزبانی‌شده: مدل در یک دیتاسنتر اجرا می‌شود و تو از طریق چت‌بات، اپ یا API به آن می‌رسی. قیمت سرویس‌ها معمولاً بر اساس تعداد توکن‌هایی است که می‌فرستی و می‌گیری.
- محلی: مدل را دانلود می‌کنی و خودت اجرایش می‌کنی. این فقط با مدل‌های وزن‌باز ممکن است، یعنی مدل‌هایی که فایل‌های آموزش‌دیده‌شان در دسترس عموم است.
چرا محلی؟
- حریم خصوصی: متن تو روی دستگاه خودت می‌ماند.
- استفاده‌ی آفلاین: بدون اینترنت هم کار می‌کند.
- بدون هزینه‌ی هر توکن و با آزادی آزمایش.
مصالحه: بزرگ‌ترین و قوی‌ترین مدل‌ها برای یک کامپیوتر معمولی خیلی بزرگ‌اند، پس مدل‌های محلی معمولاً کوچک‌ترند.
روی کامپیوتر من جا می‌شود؟
یک قاعده‌ی سرانگشتی: با دقت استاندارد ۱۶ بیتی، هر یک میلیارد پارامتر حدود ۲ گیگابایت حافظه می‌خواهد. پس مدلی با ۷ میلیارد پارامتر حدود ۱۴ گیگابایت لازم دارد و مدل‌های بالای ۱۰۰ میلیارد پارامتر برای بیشتر دستگاه‌های خانگی دور از دسترس‌اند.
مدل در رم، حافظه‌ی کارت گرافیک (VRAM) یا حافظه‌ی یکپارچه‌ی بعضی لپ‌تاپ‌ها نگه داشته می‌شود. اگر در کارت گرافیک جا نشود، می‌شود آن را بین کارت و حافظه‌ی سیستم تقسیم کرد، به قیمت کندتر شدن.
کوانتیزه‌سازی: کوچک‌تر کردن مدل
کوانتیزه‌سازی عددهای مدل را با دقت کمتر ذخیره می‌کند و اندازه‌اش را کم می‌کند تا مدل‌های بزرگ‌تر روی سخت‌افزار معمولی جا شوند. کمی کیفیت از دست می‌رود، اما معمولاً خیلی کمتر از حافظه‌ای که صرفه‌جویی می‌شود.
ابزارهایی که کار را ساده می‌کنند
- Ollama: دانلود و اجرای مدل با چند دستور ساده.
- LM Studio: برنامه‌ی دسکتاپ با رابط کاربری دوستانه.
- llama.cpp: موتوری که بسیاری از ابزارها روی آن ساخته شده‌اند و برای پردازنده و کارت گرافیک معمولی طراحی شده.
- MLX: چارچوب اپل برای مک‌های با تراشه‌ی Apple silicon.
- Open WebUI: رابط وب شبیه چت برای مدل‌های محلی.
امتحانش کن
۱. LM Studio یا Ollama را نصب کن. ۲. یک مدل کوچک انتخاب کن (چند میلیارد پارامتر، کوانتیزه‌شده). ۳. بخواه متنی را خلاصه کند یا ایمیلی بنویسد. ۴. سرعت و کیفیتش را با دستیار میزبانی‌شده‌ای که معمولاً استفاده می‌کنی مقایسه کن.
برای مطالعه‌ی بیشتر: مقاله‌ی ویکی‌پدیا درباره‌ی مدل‌های زبانی بزرگ.