پرامپت‌نویسی خوب جادو نیست. چند تکنیک ساده که پژوهشگران بررسی کرده‌اند بیشترِ تفاوت جواب ضعیف و قوی را توضیح می‌دهد.
۱. Few-shot: نشان بده، فقط نگو
با GPT-3 در سال ۲۰۲۰ پژوهشگران نشان دادند مدل می‌تواند فقط از چند مثال داخل پرامپت، بدون آموزش اضافه، کار را بفهمد.
هر جمله را به یک درخواست مؤدبانه تبدیل کن. «فایل را بفرست.» ← «می‌شود لطفاً فایل را بفرستید؟» «باگ را درست کن.» ← «ممکن است باگ را رفع کنید؟» «بعداً زنگ بزن.» ←
مدل الگو را ادامه می‌دهد. وقتی قالب و سبک برایت مهم است از آن استفاده کن.
۲. زنجیره‌ی تفکر: بگذار بلند فکر کند
یافته‌ی ۲۰۲۲: وقتی مثال‌ها مراحل استدلال را پیش از جواب نشان می‌دهند، مدل از آن‌ها تقلید می‌کند و به سؤال‌های پیچیده‌تر درست‌تر جواب می‌دهد. اغلب با یک دستور ساده مثل «قدم‌به‌قدم فکر کن» هم همین اثر ایجاد می‌شود.
برای ریاضی، منطق، برنامه‌ریزی و هر چیزی که چند مرحله دارد استفاده کن.
۳. زنجیره‌ی پرامپت: کار بزرگ را تکه کن
به‌جای یک درخواست غول‌پیکر، کار را به مرحله تقسیم کن و نتیجه‌ی هر مرحله را به بعدی بده:
۱. «نکات اصلی این گزارش را فهرست کن.» ۲. «با همین نکته‌ها یک خلاصه‌ی یک‌صفحه‌ای برای مدیران بنویس.» ۳. «خلاصه را به سه جمله برای یک اسلاید تبدیل کن.»
هر مرحله را می‌توانی بررسی کنی و لازم نیست متخصص باشی.
۴. پرامپت سیستمی و بازیابی
- پرامپت سیستمی دستور پنهانی در ابتدای گفتگو است که نقش و قانون‌ها را تعیین می‌کند.
- RAG (تولید تقویت‌شده با بازیابی) اول سندهای مرتبط را پیدا می‌کند و همراه سؤال تو به مدل می‌دهد تا جواب بر متن واقعی تکیه کند، نه حافظه.
مدل‌های استدلالی
از اواخر ۲۰۲۴ بعضی مدل‌ها طوری آموزش می‌بینند که پیش از جواب نهایی، خودشان تحلیل قدم‌به‌قدم تولید کنند. در مجموعه‌ای از مسائل مرحله‌ی مقدماتی المپیاد ریاضی، یکی از این مدل‌ها ۸۳٪ گرفت، در حالی که GPT-4o ۱۳٪ گرفت. بهایش: برای هر سؤال توان محاسباتی بیشتری مصرف می‌کنند، پس کندتر و گران‌ترند.
کدام تکنیک، کی؟
- سبک یا قالب مشخص می‌خواهی ← Few-shot.
- دقت در مسئله‌ی چندمرحله‌ای می‌خواهی ← زنجیره‌ی تفکر یا مدل استدلالی.
- یک کار بزرگ داری ← زنجیره‌ی پرامپت.
- جواب بر اساس سندهای خودت می‌خواهی ← RAG.
برای مطالعه‌ی بیشتر: مقاله‌ی ویکی‌پدیا درباره‌ی مدل‌های زبانی بزرگ.