چیزی که از این درس میبری
- توهم هوش مصنوعی به این دلیل پیش میاد که مدلها متن محتمل رو پیشبینی میکنن، نه اینکه فکتهای بررسیشده رو چک کنن.
- اعتمادبهنفس توی لحن و جملهبندی، هیچ ربطی به درست بودن جواب نداره.
- مستند کردن مدل به منبعی که خودت در اختیارش میذاری، جوابها رو خیلی مطمئنتر میکنه.
فهرست این درس۴
۰۱علت چیه؟
متن محتمل رو پیشبینی میکنه، نه اطلاعات تأییدشده رو
یه مدل زبانی بر اساس متنی که تا الان اومده، توکنی رو که احتمال بالاتری داره مینویسه (درس ۸). دانش این مدل توی تمام وزنهاش پخش شده (درس ۳)، و هیچ فهرستی از فکتها نداره که بخواد توش جستوجو کنه. وقتی جواب واقعی رو نمیدونه، جوابی که محتملتر به نظر میرسه باز هم خیلی روون بیرون میاد، بدون اینکه هیچ چیزی درون مدل باشه که بهت هشدار بده.
خودت رو امتحان کنسؤال ۱ از ۴
اگه یه چتبات با لحنی کاملاً مطمئن جواب بده، احتمال اینکه جوابش درست باشه بیشتره.
- درست
- نادرست
جواب رو ببین
نادرست
غلطه. این لحن از سبک متنهایی میاد که مدل موقع آموزش یاد گرفته، نه از بررسی درستی فکتها. جوابهای غلط هم میتونن دقیقاً مثل جوابهای درست کاملاً مطمئن به نظر برسن.
کجاها احتمال توهم بیشتره؟
پرریسکتر
عددهای دقیق، تاریخها، نقلقولها، ارجاعات و رفرنسها، اتفاقهای اخیر، موضوعات خاص و کمطرفدار، و سؤال دربارهی افراد خاص یا سازمانهای کوچیک.
کمریسکتر
توضیح مفاهیم شناختهشده، بازنویسی متنهای خودت، ایدهپردازی، خلاصهکردن متنی که خودت بهش دادی، و پیشنویسهایی که قراره خودت چکشون کنی.
خودت رو امتحان کنسؤال ۲ از ۴
امید از یه چتبات میخواد ۵ تا مقالهی علمی دربارهی موضوع پایاننامهش با اسم نویسندهها و سال انتشار بهش بده. اقدام مطمئن بعدی چیه؟
- مستقیم کپیشون کنه توی فهرست منابع پایاننامهش
- قبل از استفاده، تکتک مقالهها رو توی یه پایگاه دادهی علمی یا موتور جستوجو سرچ کنه
- از چتبات بپرسه که آیا مطمئنه یا نه
- فقط اونهایی رو برداره که عنوان طولانیتری دارن
جواب رو ببین
قبل از استفاده، تکتک مقالهها رو توی یه پایگاه دادهی علمی یا موتور جستوجو سرچ کنه
درسته. رفرنسهای ساختگی یه نمونهی کلاسیک از توهم هوش مصنوعیه. هر ارجاعی رو قبل از اینکه استفاده کنی، باید اول توی یه منبع واقعی پیداش کنی.
قدمبهقدم ببین

۱/۴یه سؤال وارد میشه یه سؤال دنبال یه ساله (مثلاً اینکه فلان اتفاق کی افتاده) و یه فلش اون رو وارد مدل میکنه. هیچ منبعی در تصویر دیده نمیشه: مدل فقط میتونه بر اساس وزنهای خودش جواب بده.

۲/۴یه جواب غلط با اعتمادبهنفس بالا عدد 1987 با رنگ نارنجی بیرون میاد و زیرش یه نوار اطمینان هست که تقریباً پر شده. ظاهرش مثل یه واقعیت به نظر میرسه، اما هیچ چیزی چک نشده.

۳/۴یه منبع واقعی خلافش رو میگه یه سندِ منبع با علامت [1] ظاهر میشه که توش نوشته 1992. در مقایسه با این منبع، اون عدد 1987 غلطه و یه ضربدر نارنجی زیرش میاد.

۴/۴استناد به منبع حالا قبل از اینکه مدل جواب بده، منبع بهش داده میشه. جواب با رنگ آبی تبدیل میشه به 1992 [1] همراه با یه تیک: یعنی درسته، و به منبعش اشاره میکنه تا خودت بتونی چکش کنی.
خودت رو امتحان کنسؤال ۳ از ۴
هر عادت رو به خطری که جلوش رو میگیره وصل کن
- پیست کردن متن سند و پرسیدن دربارهش
- منبع خواستن و باز کردن لینکها
- چک کردن عددها با فایل اصلی
- استفاده از ابزارهای جستوجوی وب برای اتفاقهای اخیر
جواب رو ببین
- پیست کردن متن سند و پرسیدن دربارهش → جوابهای مندرآوردی از حافظهی مدل
- منبع خواستن و باز کردن لینکها → ارجاعات و رفرنسهای ساختگی
- چک کردن عددها با فایل اصلی → عددهای غلطی که درست به نظر میرسن
- استفاده از ابزارهای جستوجوی وب برای اتفاقهای اخیر → اطلاعات قدیمی و تاریخگذشته
استناد به منبع در عمل
- دادن متن پایه به مدل تا از روی اون کار کنه (یه سند، یا سرچ در وب) معمولاً بازیابی (Retrieval) یا استناد (Grounding) نامیده میشه، و توهمها رو خیلی کم میکنه.
- ارجاعات فقط وقتی به دردت میخورن که بازشون کنی: مدلها هنوزم ممکنه یه منبع رو اشتباه بخونن یا نقلقول غلط ازش بیارن.
- برای تصمیمهای مربوط به سلامت، مسائل حقوقی یا مالی، از هوش مصنوعی برای درک بهتر موضوع استفاده کن، ولی در نهایت حتماً با یه متخصص مشورت کن.
خودت رو امتحان کنسؤال ۴ از ۴
نگار قوانین مرجوعی شرکتش رو پیست میکنه و میپرسه: «مشتریها چند روز برای پس دادن کالا فرصت دارن؟» چرا این کار امنتر از پرسیدن بدون ارائهی این متنه؟
- متن پیستشده در کل مدل رو باهوشتر میکنه
- جواب میتونه از همون متنی بیاد که خودش بهش داده، و خودشم میتونه چکش کنه
- چتباتها روی متنهای پیستشده هیچوقت اشتباه نمیکنن
- باعث میشه جواب کوتاهتر بشه
جواب رو ببین
جواب میتونه از همون متنی بیاد که خودش بهش داده، و خودشم میتونه چکش کنه
درسته. مدل میتونه جوابش رو به متن قوانین مستند کنه، و نگار هم میتونه اون رو توی همون متن بسنجه. مدل باز هم ممکنه متن رو اشتباه متوجه بشه، پس یه چک سریع ارزشش رو داره.
۰۴جمعبندی
مرور درس
- توهم هوش مصنوعی به این دلیل پیش میاد که مدلها متن محتمل رو پیشبینی میکنن، نه اینکه فکتهای بررسیشده رو چک کنن.
- اعتمادبهنفس توی لحن و جملهبندی، هیچ ربطی به درست بودن جواب نداره.
- مستند کردن مدل به منبعی که خودت در اختیارش میذاری، جوابها رو خیلی مطمئنتر میکنه.
- لینک منبعها رو باز کن، عددها رو چک کن، و تصمیمهای مهم رو با یه متخصص در میون بذار.
به سبک خودت یادش بگیر.
توی اپ از یادآی بخواه این درس رو سادهتر توضیح بده، از زندگی خودت مثال بزنه یا عمیقتر بره. بعد یه مسیر کامل دور هدف خودت بساز.