پث‌وایز

هوش مصنوعی چطور کار می‌کنه؟ از الگوها تا چت‌جی‌پی‌تیدرس ۸ از ۱۲

چت‌جی‌پی‌تی چطور می‌نویسه: توکن به توکن

ببین چطور یه مدل زبانی به همه‌ی توکن‌های ممکن بعدی امتیاز می‌ده، یکیش رو انتخاب می‌کنه، اضافه‌ش می‌کنه و تکرار می‌کنه؛ و بفهم چرا هر بار که بپرسی جواب‌ها با هم فرق دارن.

چیزی که از این درس می‌بری

  • یه مدل زبانی به تک‌تک توکن‌های ممکن بعدی یه احتمال می‌ده.
  • یکی رو انتخاب می‌کنه، به متن اضافه می‌کنه و تکرار می‌کنه؛ و جواب رو توکن به توکن می‌سازه.
  • کمی تصادفی بودن توی این انتخاب دلیل تفاوت جواب‌هاست؛ تنظیم دما (Temperature) مشخص می‌کنه این تصادف چقدر باشه.
فهرست این درس۴
  1. امتیاز دادن به همه‌ی توکن‌های ممکن بعدی
  2. مطمئن یا غیرمنتظره
  3. این موضوع چی رو توضیح می‌ده
  4. مرور درس

۰۱قدم اصلی

امتیاز دادن به همه‌ی توکن‌های ممکن بعدی

مدل بر اساس متنی که تا الان داره، به همه‌ی توکن‌های واژگانش یه احتمال می‌ده: اینکه چقدر احتمال داره توکن بعدی باشن. بعد از «The cat sat on the»، کلمه‌ای مثل «mat» امتیاز بالایی می‌گیره و «moon» تقریباً هیچ امتیازی نمی‌گیره. مدل این احتمال‌ها رو از حجم غول‌آسایی از متن‌هایی که روشون آموزش دیده یاد گرفته.

خودت رو امتحان کنسؤال ۱ از ۴

بعد از عبارت «I drank a cup of hot»، مدل به احتمال زیاد به کدوم توکن بعدی بالاترین امتیاز رو می‌ده؟

  1. bicycle (دوچرخه)
  2. tea (چای)
  3. seventeen (هفده)
  4. quickly (به‌سرعت)
جواب رو ببین

tea (چای)

درسته. توی متن‌هایی که مدل ازشون یاد گرفته، بعد از «a cup of hot» خیلی وقت‌ها کلمه‌ی tea (چای) یا coffee (قهوه) میاد.

قدم‌به‌قدم ببین

  1. متنی که تا اینجا اومده
    ۱/۴متنی که تا اینجا اومده

    متنی که تا اینجا اومده «The cat sat on the …» هست. زیرش چهار تا از توکن‌های ممکن بعدی اومده: mat،‏ floor،‏ sofa و moon. نوارهای جلوشون هنوز خالی‌ان: مدل هنوز بهشون امتیاز نداده.

  2. هر گزینه یه احتمال می‌گیره
    ۲/۴هر گزینه یه احتمال می‌گیره

    نوارها با احتمال‌های مدل پر می‌شن: mat برابر 0.62،‏ floor برابر 0.18،‏ sofa برابر 0.11 و moon فقط 0.01. یه نشانگر یاسی روی اون‌ها حرکت می‌کنه؛ این نشانگر نماد انتخاب تصادفی در مرحله‌ی بعدیه.

  3. یه توکن انتخاب می‌شه
    ۳/۴یه توکن انتخاب می‌شه

    مدل یه توکن رو انتخاب می‌کنه؛ اینجا محتمل‌ترین گزینه، یعنی mat، با رنگ نارنجی مشخص شده. مدل معمولاً از بین توکن‌های محتمل با مقداری تصادفی بودن انتخاب می‌کنه؛ برای همینه که یه سؤال یکسان می‌تونه جواب‌های متفاوتی بگیره.

  4. اضافه‌ش کن و دوباره پیش‌بینی کن
    ۴/۴اضافه‌ش کن و دوباره پیش‌بینی کن

    «mat» اضافه می‌شه: متن حالا شده «The cat sat on the mat». کل فرآیند برای توکن بعدی دوباره از اول شروع می‌شه: نقطه‌ امتیاز 0.71 می‌گیره و بعدش and،‏ with و علامت تعجب میان. کل جواب‌ها همین‌طوری توکن به توکن ساخته می‌شن.

خودت رو امتحان کنسؤال ۲ از ۴

یه مدل زبانی اول کل جوابش رو برنامه‌ریزی می‌کنه، بعد شروع می‌کنه به تایپ کردنش.

  1. درست
  2. نادرست
جواب رو ببین

نادرست

غلطه. مدل جواب رو توکن به توکن می‌سازه؛ هر توکن بر اساس متنی که تا اون لحظه نوشته شده انتخاب می‌شه، حتی توکن‌هایی که همین الان تولید کرده. برای همینه که یه انحراف تو کلمات اول می‌تونه تا آخر جواب ادامه پیدا کنه.

۰۲دما (Temperature)

مطمئن یا غیرمنتظره

خیلی از ابزارهای هوش مصنوعی تنظیمی دارن که بهش دما (Temperature) می‌گن. دمای پایین کاری می‌کنه که مدل بچسبه به محتمل‌ترین توکن‌ها: متنی یکدست و قابل پیش‌بینی. دمای بالاتر اجازه می‌ده توکن‌هایی با احتمال کمتر هم انتخاب بشن: متنی متنوع‌تر و خلاقانه‌تر، ولی با این ریسک که بیشتر از مسیر اصلی منحرف بشه.

خودت رو امتحان کنسؤال ۳ از ۴

دمای پایین یا دمای بالاتر؟

پایینبالاتر

  • استخراج تاریخ از فاکتورها
  • ایده‌پردازی برای ۱۰ اسم جذاب برای فروشگاه
  • ترجمه‌ی یه قرارداد
  • سرودن یه شعر کوتاه و غافلگیرکننده
جواب رو ببین

پایین: استخراج تاریخ از فاکتورها, ترجمه‌ی یه قرارداد

بالاتر: ایده‌پردازی برای ۱۰ اسم جذاب برای فروشگاه, سرودن یه شعر کوتاه و غافلگیرکننده

این موضوع چی رو توضیح می‌ده

  • متن روان و پیوسته نتیجه‌ی پیش‌بینی توکن‌های محتمله، نه گشتن دنبال واقعیت‌ها.
  • جواب‌ها در هر بار پرسیدن فرق می‌کنن، چون توکن بعدی با مقداری تصادفی بودن انتخاب می‌شه.
  • دستورها و مثال‌هایی که توی پرامپت می‌نویسی احتمال‌ها رو عوض می‌کنن؛ برای همینه که یه پرامپت خوب این‌قدر اثر داره.
  • دستیارهای چت آموزش بیشتری می‌بینن تا دستورها رو اجرا کنن و کمک‌کننده باشن، ولی موتوری که زیر کاپوت کار می‌کنه هنوز همون پیش‌بینی توکن بعدیه.

خودت رو امتحان کنسؤال ۴ از ۴

لیلا یه سؤال یکسان رو دو بار می‌پرسه و دو تا جواب با کلمات متفاوت تحویل می‌گیره. بهترین توضیح چیه؟

  1. مدل خراب شده
  2. هر توکن بعدی با مقداری تصادف انتخاب می‌شه، پس مسیر شکل‌گیری جواب می‌تونه فرق کنه
  3. این وسط یه نفر جواب رو دستی ویرایش کرده
  4. مدل بین این دو تا سؤال چیز جدیدی یاد گرفته
جواب رو ببین

هر توکن بعدی با مقداری تصادف انتخاب می‌شه، پس مسیر شکل‌گیری جواب می‌تونه فرق کنه

درسته. نمونه‌گیری (Sampling) از بین توکن‌های محتمل انتخاب می‌کنه، بنابراین دو بار اجرای یکسان می‌تونن از همون کلمات اول به مسیرهای متفاوتی برن.

۰۴جمع‌بندی

مرور درس

  • یه مدل زبانی به تک‌تک توکن‌های ممکن بعدی یه احتمال می‌ده.
  • یکی رو انتخاب می‌کنه، به متن اضافه می‌کنه و تکرار می‌کنه؛ و جواب رو توکن به توکن می‌سازه.
  • کمی تصادفی بودن توی این انتخاب دلیل تفاوت جواب‌هاست؛ تنظیم دما (Temperature) مشخص می‌کنه این تصادف چقدر باشه.
  • پرامپت تو احتمال‌ها رو عوض می‌کنه؛ برای همینه که دستورالعمل‌های روشن جواب‌های خیلی بهتری می‌گیرن.

به سبک خودت یادش بگیر.

توی اپ از یادآی بخواه این درس رو ساده‌تر توضیح بده، از زندگی خودت مثال بزنه یا عمیق‌تر بره. بعد یه مسیر کامل دور هدف خودت بساز.

Cafe Bazaar Myket توی اپ شخصی‌سازیش کن