چرا از خودش می‌بافه
جواب روان با جواب درست یکی نیست. ببین چرا مدل‌ها واقعیت می‌سازن، و چهار جایی که خطرش از همه بیشتره رو بشناس: منبع و نقل‌قول، عدد دقیق، اطلاعات خاص و کم‌یاب، و اتفاق‌های جدید.
توهم هوش مصنوعی (Hallucination)
وقتی مدل اطلاعاتی می‌ده که باورپذیره ولی غلط یا ساختگیه: کتابی که وجود نداره، تاریخ اشتباه، نقل‌قولی که هیچ‌کس نگفته. دروغ نمی‌گه، چون قصد گول زدن نداره. همون کار همیشگیش رو می‌کنه، یعنی ساختن متن محتمل؛ فقط جایی که متن محتمل از قضا درست نیست.
یه منبع می‌خوای و یه اسم نویسنده، یه عنوان، یه سال و یه شماره‌ی صفحه تحویل می‌گیری. هر چهارتاش درست به نظر میاد. اون کتاب هیچ‌وقت نوشته نشده.
دلیلش
توهم هوش مصنوعی (Hallucination)
درس ۱ یادته: مدل متنی رو حدس می‌زنه که بهش بخوره. تو یه پایگاه داده دنبال واقعیت نمی‌گرده و یه زنگ خطر جدا هم نداره که وقتی نمی‌دونه صداش دربیاد. وقتی یه واقعیت تو تمرینش نبوده یا کم‌رنگ بوده، بهترین ادامه هنوز یه جمله‌ی مطمئن و واقعیت‌شکله. دستور زبان درست و لحن مطمئن هیچی درباره‌ی درستی بهت نمی‌گه.
«این پل در سال ... ساخته شد»: همچین جمله‌ای یه سال می‌خواد، پس یه سال ظاهر می‌شه. اینکه سال درست باشه یا نه، بستگی داره اون واقعیت تو تمرین چقدر پررنگ بوده.
خودت رو امتحان کن
پویا «یه جمله‌ی معروف از یه اقتصاددان سرشناس درباره‌ی پس‌انداز» می‌خواد. یه جمله‌ی شسته‌رفته با یه اسم کنارش می‌گیره، ولی هیچ‌جای اینترنت پیداش نمی‌کنه. به احتمال زیاد چی شده؟
- نقل‌قول واقعیه ولی اون‌قدر قدیمی و کم‌یابه که فقط تو کتاب‌ها مونده و موتورهای جست‌وجو صفحه‌ای ازش ندارن
- مدل یه جمله ساخته که شبیه حرف‌های اون اقتصاددانه، چون یه جواب «نقل‌قول‌شکل» به درخواست می‌خورده
- دستیار عمداً خواسته گمراهش کنه
- پویا اشتباه جست‌وجو کرده
جواب رو ببین
مدل یه جمله ساخته که شبیه حرف‌های اون اقتصاددانه، چون یه جواب «نقل‌قول‌شکل» به درخواست می‌خورده
آره. پرامپت یه نقل‌قول خواسته، پس مناسب‌ترین ادامه چیزیه که شکل نقل‌قول داشته باشه. شبیه یه نفر حرف زدن برای مدل آسونه؛ اینکه واقعاً گفته شده باشه یه موضوع دیگه‌ست.
چهار جایی که خطرش از همه بیشتره
- منبع و نقل‌قول: منبع، لینک، شماره‌ی صفحه، اینکه کی چی گفته. خیلی راحت می‌شه باورپذیر جعلش کرد.
- عدد دقیق: آمار، تاریخ، قیمت، اندازه. مدل یه حس حدودی از بزرگی عدد داره، نه یه سند ثبت‌شده از خود عدد.
- اطلاعات خاص و کم‌یاب: یه شهر کوچیک، یه شخصیت تاریخی کم‌اهمیت، یه محصول ناشناخته. متن تمرینی کم یعنی دانش ضعیف.
- اتفاق‌های جدید: هر چی نزدیک یا بعد از تاریخ قطع اطلاعات آموزشی (Knowledge Cutoff Date) باشه (درس ۲).
| چی می‌خوای | خطر ساختگی بودن |
|---|---|
| این پاراگرافم رو واضح‌تر بنویس | کم |
| توضیح بده واکسن چطور کار می‌کنه | کم |
| متنی که چسبوندم رو خلاصه کن | کم تا متوسط |
| جمعیت یه شهر کوچیک تو سال ۱۳۷۰ | زیاد |
| پنج تا منبع دانشگاهی با شماره‌ی صفحه | خیلی زیاد |
خودت رو امتحان کن
نگار با کمک یه دستیار داره گزارش می‌نویسه. کدوم خروجی‌ها رو با یه نگاه سرسری می‌تونه استفاده کنه و کدوم‌ها رو قبلش حتماً باید راستی‌آزمایی کنه؟
- نسخه‌ی واضح‌تر مقدمه‌ای که خودش نوشته
- «طبق پژوهشی در سال ۱۳۹۸ توسط...»
- یه طرح پیشنهادی با پنج تا تیتر
- «نرخ بیکاری تو این استان ۱۱٫۳٪ بود»
- لینک یه صفحه از یه سایت دولتی
- سه تا عنوان جایگزین برای گزارش
جواب رو ببین
نگاه سرسری کافیه: نسخه‌ی واضح‌تر مقدمه‌ای که خودش نوشته, یه طرح پیشنهادی با پنج تا تیتر, سه تا عنوان جایگزین برای گزارش
اول چک کن: «طبق پژوهشی در سال ۱۳۹۸ توسط...», «نرخ بیکاری تو این استان ۱۱٫۳٪ بود», لینک یه صفحه از یه سایت دولتی
خودت رو امتحان کن
اگه یه جواب جزئیات خیلی دقیق داشته باشه، مثل اسم کامل نویسنده، سال و شماره‌ی صفحه، نشونه‌ی خوبیه که اطلاعات واقعیه.
جواب رو ببین
نادرست
جزئیات دقیق دقیقاً همون چیزیه که یه ادامه‌ی «مناسب» داره، پس منبع ساختگی هم با همین جزئیات میاد. دقیق بودن یه سبکه، مدرک نیست. تنها مدرک وجود یه منبع، پیدا کردن خود اون منبعه.
خودت رو امتحان کن
- پرامپت: «توضیح بده چرا آسمون آبیه.» جواب درسته، مثل تقریباً همیشه.
- پرامپت: «پل قدیمی شهر ما چه سالی ساخته شده و کی طراحیش کرده؟» جواب یه سال و اسم یه مهندس می‌ده. هر دو غلطه.
تفاوت اصلی این دو مورد چیه؟
- پرامپت دوم زیادی کوتاه بود
- درباره‌ی موضوع اول همه‌جا نوشته شده و درباره‌ی دومی تقریباً هیچ‌جا، پس مدل چیز زیادی برای تکیه کردن نداشته
- سؤال دوم بی‌ادبانه پرسیده شده
- مدل‌ها تو علوم خوبن و تو تاریخ بد
جواب رو ببین
درباره‌ی موضوع اول همه‌جا نوشته شده و درباره‌ی دومی تقریباً هیچ‌جا، پس مدل چیز زیادی برای تکیه کردن نداشته
دقیقاً. اینکه یه واقعیت تو تمرین چقدر پوشش داده شده، تعیین می‌کنه مدل درباره‌ش چقدر قابل‌اعتماده. دانش عمومی محکمه؛ جزئیات محلی و ناشناخته همون‌جاییه که ساختگی‌ها سر و کله‌شون پیدا می‌شه.
خودت رو امتحان کن
الهام داره اسلاید آماده می‌کنه و یه آمار چشم‌گیر درباره‌ی مصرف آب تو کشاورزی می‌خواد. دستیار می‌گه «۹۲٪ آب کشور تو کشاورزی مصرف می‌شه». چی‌کار کنه؟
- عدد رو تو یه منبع رسمی منتشرشده پیدا کنه و عدد و منبع رو از همون‌جا برداره
- استفاده‌ش کنه، چون به نظر درست میاد
- از دستیار بپرسه «مطمئنی؟» و اگه پای عدد ایستاد استفاده‌ش کنه، چون دلیلی نداره رو یه عدد غلط اصرار کنه
- بکندش «حدود ۹۰٪» که مطمئن‌تر باشه
جواب رو ببین
عدد رو تو یه منبع رسمی منتشرشده پیدا کنه و عدد و منبع رو از همون‌جا برداره
درسته. عدد دستیار یه سرنخه، نه یه واقعیت. ازش به‌عنوان راهنما استفاده کن که دنبال چی بگردی، بعد به منبع منتشرشده استناد کن.
مرور درس
- توهم یعنی متن باورپذیری که از قضا غلطه. از حدس زدن میاد، نه از قصد دروغ گفتن.
- روان بودن، اعتمادبه‌نفس و جزئیات دقیق فقط سبکه. هیچ‌کدوم مدرک نیست.
- با منبع و نقل‌قول، عدد دقیق، اطلاعات کم‌یاب و اتفاق‌های جدید منتظر دردسر باش.
- این خروجی‌ها رو سرنخ حساب کن که باید چک بشن، و منبعی که خودت ندیدی رو به کسی تحویل نده.