پث‌وایز

هوش مصنوعی چطور کار می‌کنه؟ از الگوها تا چت‌جی‌پی‌تیدرس ۱۰ از ۱۲

مکانیزم توجه: مدل چطور می‌فهمه منظور از «it» چیه؟

ببین مکانیزم توجه چطور به هر کلمه اجازه می‌ده به بقیه‌ی کلمه‌ها نگاه کنه و بفهمه کدوم‌ها مهمن؛ ایده‌ی اصلی پشت مدل‌های ترنسفورمر که چت‌جی‌پی‌تی باهاش کار می‌کنه.

چیزی که از این درس می‌بری

  • معنی هر کلمه به بافت متنش بستگی داره؛ مکانیزم توجه روشیه که مدل‌ها باهاش از این بافت استفاده می‌کنن.
  • هر توکن به تمام توکن‌های دیگه یه وزن توجه می‌ده و معنیش رو بر اساس مرتبط‌ترین‌ها به‌روز می‌کنه.
  • مکانیزم توجه در لایه‌های متعددی اجرا می‌شه و معنی رو قدم‌به‌قدم دقیق‌تر می‌کنه.
فهرست این درس۳
  1. هر کلمه به همه‌ی کلمه‌های دیگه نگاه می‌کنه
  2. دیدن همه‌چیز به‌طور هم‌زمان
  3. مرور درس

۰۱ایده‌ی اصلی

هر کلمه به همه‌ی کلمه‌های دیگه نگاه می‌کنه

وقتی مدل می‌خواد بفهمه یه کلمه اینجا چه معنی‌ای میده، به تمام کلمه‌های دیگه‌ی متن یه وزن توجه (Attention Weight) می‌ده: یعنی اینکه الان چقدر به این کلمه ربط دارن. بعدش معنی اون کلمه با کمک مرتبط‌ترین کلمه‌ها به‌روز می‌شه. مدل این کار رو بارها در لایه‌های مختلف تکرار می‌کنه تا معنی، قدم‌به‌قدم دقیق‌تر بشه.

خودت رو امتحان کنسؤال ۱ از ۴

توی جمله‌ی «Sara put the cake in the oven because it was ready to bake»، کلمه‌ی «it» باید بیشترین توجه رو به کدوم کلمه داشته باشه؟

  1. Sara (سارا)
  2. cake (کیک)
  3. oven (فر)
  4. because (چون)
جواب رو ببین

cake (کیک)

درسته. عبارت «ready to bake» (آماده‌ی پختن) با کیک جور درمیاد، نه فر یا سارا.

قدم‌به‌قدم ببین

  1. یه جمله با یه «it» گیج‌کننده
    ۱/۴یه جمله با یه «it» گیج‌کننده

    جمله اینه: The trophy didn't fit in the bag because it was big (جام توی کیف جا نشد چون بزرگ بود). دو تا چیز می‌تونن «it» باشن: جام (trophy) یا کیف (bag).

  2. تمرکز روی «it»
    ۲/۴تمرکز روی «it»

    دور کلمه‌ی it کادر نارنجی کشیده شده: این همون کلمه‌ایه که مدل الان داره معنیش رو درمیاره.

  3. به همه‌ی کلمه‌های دیگه نگاه می‌کنه
    ۳/۴به همه‌ی کلمه‌های دیگه نگاه می‌کنه

    کمان‌های آبی از it به سمت همه‌ی کلمه‌های دیگه کشیده می‌شن. هر چی کمان ضخیم‌تر باشه، وزن توجه بیشتره. ضخیم‌ترین کمان به سمت trophy می‌ره و یه کمان نازک‌تر به bag؛ کلمه‌های کوچیک مثل the و in هم کمان‌های کم‌رنگی می‌گیرن.

  4. «it» یعنی همون trophy
    ۴/۴«it» یعنی همون trophy

    کلمه‌ی trophy آبی می‌شه و برچسب، it -> trophy 0.62 رو نشون می‌ده: بیشتر توجه رفته سمت trophy، چون اون چیزی که اون‌قدر بزرگ بوده که جا نشه trophy بوده، نه bag. اگه «big» رو به «small» تغییر بدی، وزن توجه می‌ره سمت bag.

خودت رو امتحان کنسؤال ۲ از ۴

اگه جمله با عبارت «because it was small» تموم می‌شد، توجهِ «it» باید می‌رفت سمت «bag».

  1. درست
  2. نادرست
جواب رو ببین

درست

درسته. چیزی که اون‌قدری کوچیکه که جام توش جا نمی‌شه، کیفه (bag). وزن‌های توجه به کل جمله بستگی دارن، برای همین حتی یه کلمه هم می‌تونه جهت تمرکز رو عوض کنه.

۰۲چرا انقدر مهم بود؟

دیدن همه‌چیز به‌طور هم‌زمان

مدل‌های زبانی قدیمی‌تر متن رو کلمه به کلمه می‌خوندن و یادآوری چیزهایی که خیلی قبل‌تر اومده بود براشون سخت بود. مکانیزم توجه به هر توکن اجازه می‌ده هم‌زمان به همه‌ی توکن‌های دیگه‌ی متن نگاه کنه. این کار ارتباط‌های دوربرد رو خیلی بهتر حفظ می‌کنه و حسابی هم با تراشه‌های امروزی جوره؛ یکی از دلایل اصلی اینکه مدل‌های ترنسفورمر تونستن انقدر بزرگ و قوی بشن هم همینه.

خودت رو امتحان کنسؤال ۳ از ۴

مکانیزم توجه به کدوم کارها کمک می‌کنه؟

به توجه به متن نیاز دارهنیازی بهش نداره

  • تشخیص اینکه ضمیر «she» ۳ جمله بعد به کی اشاره داره
  • ترجمه‌ی درست کلمه‌ی «bank» به ساحل رودخونه یا بانک مالی
  • جمع زدن ۲ تا عدد توی یه برنامه‌ی ماشین‌حساب
  • جواب دادن به سؤالی درباره‌ی پاراگرافی که پیست کردی
جواب رو ببین

به توجه به متن نیاز داره: تشخیص اینکه ضمیر «she» ۳ جمله بعد به کی اشاره داره, ترجمه‌ی درست کلمه‌ی «bank» به ساحل رودخونه یا بانک مالی, جواب دادن به سؤالی درباره‌ی پاراگرافی که پیست کردی

نیازی بهش نداره: جمع زدن ۲ تا عدد توی یه برنامه‌ی ماشین‌حساب

خودت رو امتحان کنسؤال ۴ از ۴

کیان توی پیامی که همه‌ش درباره‌ی میوه و دستور پخته، از یه چت‌بات درباره‌ی «Apple» می‌پرسه. چرا چت‌بات درباره‌ی میوه‌ی سیب حرف می‌زنه، نه شرکت اپل؟

  1. همیشه فرض می‌کنه منظور میوه‌ست
  2. مکانیزم توجه باعث می‌شه «Apple» از کلمات اطرافش درباره‌ی دستور پخت معنی بگیره
  3. شیر یا خط انداخته
  4. صحبت از شرکت‌ها برای چت‌بات‌ها ممنوعه
جواب رو ببین

مکانیزم توجه باعث می‌شه «Apple» از کلمات اطرافش درباره‌ی دستور پخت معنی بگیره

درسته. کلمه‌های اطراف مثل recipe (دستور پخت) و slice (قاچ کردن) معنی «Apple» رو به سمت میوه‌ی سیب می‌کشن.

۰۳جمع‌بندی

مرور درس

  • معنی هر کلمه به بافت متنش بستگی داره؛ مکانیزم توجه روشیه که مدل‌ها باهاش از این بافت استفاده می‌کنن.
  • هر توکن به تمام توکن‌های دیگه یه وزن توجه می‌ده و معنیش رو بر اساس مرتبط‌ترین‌ها به‌روز می‌کنه.
  • مکانیزم توجه در لایه‌های متعددی اجرا می‌شه و معنی رو قدم‌به‌قدم دقیق‌تر می‌کنه.
  • این مکانیزم هسته‌ی اصلی ترنسفورمره؛ همون طراحی پشت مدل‌هایی مثل چت‌جی‌پی‌تی.

به سبک خودت یادش بگیر.

توی اپ از یادآی بخواه این درس رو ساده‌تر توضیح بده، از زندگی خودت مثال بزنه یا عمیق‌تر بره. بعد یه مسیر کامل دور هدف خودت بساز.

Cafe Bazaar Myket توی اپ شخصی‌سازیش کن