آموزیار AI English
→ بازگشت به وبلاگ
- ۲ دقیقه مطالعه مدل زبانیمبانیتوکن

چت‌بات واقعاً چطور کار می‌کند؟ مدل زبانی، توکن و دلیل اشتباه‌های گاه‌به‌گاهش

ردیفی از بلوک‌های متن و یک کادر خط‌چین با علامت سؤال

سؤالی می‌نویسی و چند ثانیه بعد جوابی تمیز و منطقی می‌گیری. شبیه جادوست، ولی ایده‌ی پشتش ساده‌تر از چیزی است که فکر می‌کنی.

کارش حدس زدن «تکه‌ی بعدی» است

ChatGPT و Claude و Gemini همه LLM هستند، یعنی مدل زبانی بزرگ. این مدل‌ها روی حجم عظیمی از متن آموزش دیده‌اند و یک مهارت را خیلی خوب یاد گرفته‌اند: با توجه به متنی که تا اینجا آمده، محتمل‌ترین تکه‌ی بعدی چیست؟

مثل پیشنهاد کلمه‌ی بعدی در کیبورد گوشی، اما در مقیاسی خیلی بزرگ‌تر. مدل همین کار را تکه‌به‌تکه ادامه می‌دهد تا جواب کامل شود.

توکن چیست؟

مدل کلمه‌ها را کامل نمی‌خواند؛ توکن می‌خواند، یعنی تکه‌های کوچکی از متن. یک کلمه‌ی کوتاه معمولاً یک توکن است و کلمه‌ی بلند ممکن است به دو یا سه توکن شکسته شود. این دو دلیل عملی دارد:

چرا گاهی اشتباه می‌کند؟

چون برای تولید متنی ساخته شده که درست به نظر برسد، نه متنی که بررسی شده باشد. وقتی چیزی را نمی‌داند هم ممکن است جوابی روان، مطمئن و کاملاً غلط بدهد. به این می‌گویند توهم (Hallucination).

این برای تو یعنی چه؟

۱. دقیق بنویس. هرچه زمینه‌ی بیشتری بدهی، حدس مدل بهتر می‌شود. ۲. مثال بده. قالب یا لحن دلخواهت را نشان بده تا مدل از آن پیروی کند. ۳. چیزهای مهم را چک کن. تاریخ، عدد، نقل‌قول و اطلاعات پزشکی و حقوقی را با منبع معتبر مقایسه کن. ۴. وقتی گفتگو از مسیر خارج شد، از نو شروع کن. در چت‌های خیلی طولانی جزئیات اولیه گم می‌شود. گفتگوی تازه با یک خلاصه‌ی کوتاه معمولاً بهتر جواب می‌دهد.

قدم بعدی

وقتی این ایده را فهمیدی، مفاهیمی مثل Temperature (مدل چقدر ماجراجو باشد) و RAG (اجازه دادن به مدل برای پیدا کردن جواب در سندهای تو) خیلی راحت جا می‌افتند. در سطح «چطور کار می‌کند» آموزیار AI هرکدام را با داستان و شبیه‌ساز یاد می‌گیری، نه فرمول. سطح اول هم برای همیشه رایگان است.