چیزی که از این درس میبری
- متن به توکنها خرد میشه: کلمهها یا تکههایی از کلمات.
- هر توکن با یه شمارهی شناسه (ID) جایگزین میشه؛ مدل فقط عدد میبینه.
- کارهایی که به تکتک حروف مربوطن سخته، چون حروف توی دل توکنها پنهان شدن.
توکن (Token)
تکهای از متن که مدل باهاش مثل یه واحد تکی برخورد میکنه. کلمههای رایج معمولاً یه توکن هستن؛ کلمههای طولانیتر یا کمکاربردتر به چند تکه تقسیم میشن؛ فاصلهها و علامتهای نگارشی هم بخشی از توکنها هستن. هر توکن یه شمارهی شناسه (ID) ثابت توی واژگان مدل داره.
مثلاً «unbelievable» ممکنه به «un»، «believ» و «able» خرد بشه.
خودت رو امتحان کنسؤال ۱ از ۴
یه مدل زبانی پیامت رو حرفبهحرف میخونه.
- درست
- نادرست
جواب رو ببین
نادرست
غلطه. مدل توکنها رو میخونه: کلمههای کامل یا تکههایی از کلمات که هر کدوم تبدیل به یه عدد شدن. برای همینه که گاهی توی کارهایی که به تکتک حروف مربوطه، مثل شمردن تعداد حرف r توی یه کلمه، به مشکل میخوره.
قدمبهقدم ببین

۱/۴متنی که تایپ کردی دو تا کلمه، دقیقاً همونطوری که تایپ شده: unbelievable results. این چیزیه که تو میبینی؛ ولی مدل قراره یه چیز کاملاً متفاوت ببینه.

۲/۴برش خوردن به توکنها توکنایزر متن رو به ۴ تکه برش میزنه: un، believ، able و results. کلمهی طولانی شد ۳ تا توکن؛ کلمهی رایج یکتکه موند، همراه با فاصلهی قبلش.

۳/۴هر توکن تبدیل به یه عدد میشه هر توکن با شمارهی شناسه (ID) خودش از واژگان مدل جایگزین میشه: توی این مثال 403، 6741، 540 و 3640. عددهای واقعی به خود مدل بستگی دارن؛ مهم اینه که هر توکن یه شماره داره.

۴/۴چیزی که مدل واقعاً تحویل میگیره لیست عددها وارد مدل میشه: 403، 6741، 540، 3640. از اینجا به بعد، شبکه با همین عددها کار میکنه، نه با حروف.
خودت رو امتحان کنسؤال ۲ از ۴
چرا یه مدل ممکنه تعداد حروف کلمهی «strawberry» رو اشتباه بشماره، با اینکه مقالههای خیلی روونی مینویسه؟
- هیچوقت کلمهی strawberry بهش نشون داده نشده
- کلمه رو به شکل چند تا توکن میبینه، نه به صورت تکتک حروف
- قابلیت شمارش توی چتباتها خاموش شده
- عمداً به سؤالهای کوتاه جواب غلط میده
جواب رو ببین
کلمه رو به شکل چند تا توکن میبینه، نه به صورت تکتک حروف
درسته. حروف داخل توکنها پنهان شدن، برای همین سؤالهای مربوط به تکتک حروف، براش سختتر از چیزیه که به نظر میاد.
۰۲پنجرهی زمینه (Context Window)
توی هر لحظه تا یه حدی بیشتر نمیتونه بخونه
یه مدل توی هر لحظه فقط تعداد مشخصی توکن رو میتونه دریافت کنه، که بهش میگن پنجرهی زمینه (context window): پیام خودت، مکالمه تا اینجای کار، و پاسخ خود مدل، همگی جزوش حساب میشن. اگه از این حد رد بشی، بخشهای قدیمیتر دیگه جا نمیشن؛ برای همینه که توی یه گفتوگوی خیلی طولانی، مدل ممکنه حرفهای اولت رو «فراموش» کنه.
خودت رو امتحان کنسؤال ۳ از ۴
کدومها جزو پنجرهی زمینه حساب میشن؟
- پیام فعلی خودت
- پیامهای قبلی توی همین چت
- پاسخ خود مدل
- چتی که توی یه گفتوگوی جداگانه داشتی
جواب رو ببین
حساب میشه: پیام فعلی خودت, پیامهای قبلی توی همین چت, پاسخ خود مدل
حساب نمیشه: چتی که توی یه گفتوگوی جداگانه داشتی
خودت رو امتحان کنسؤال ۴ از ۴
هدی یه گزارش ۳۰۰ صفحهای رو توی چتبات پیست میکنه و دربارهی فصل ۱ سؤال میپرسه. جواب چتبات فصل ۱ رو کلاً نادیده میگیره. محتملترین دلیلش چیه؟
- چتبات از گزارشهای طولانی خوشش نمیاد
- گزارش از پنجرهی زمینه بزرگتر بوده، برای همین اولش جا نشده
- فصل ۱ با فونت اشتباهی نوشته شده بوده
- مدل فقط جملهی آخر رو میخونه
جواب رو ببین
گزارش از پنجرهی زمینه بزرگتر بوده، برای همین اولش جا نشده
درسته. وقتی متن از پنجرهی زمینه بزرگتر باشه، یه بخشیش جا نمیشه و حذف میشه. خرد کردن گزارش یا فرستادن فقط همون فصلی که لازم داری، خیلی بهتر جواب میده.
۰۳جمعبندی
مرور درس
- متن به توکنها خرد میشه: کلمهها یا تکههایی از کلمات.
- هر توکن با یه شمارهی شناسه (ID) جایگزین میشه؛ مدل فقط عدد میبینه.
- کارهایی که به تکتک حروف مربوطن سخته، چون حروف توی دل توکنها پنهان شدن.
- پنجرهی زمینه تعداد توکنهایی که همزمان جا میشن رو محدود میکنه؛ فارسی معمولاً توکن بیشتری نسبت به انگلیسی مصرف میکنه.
به سبک خودت یادش بگیر.
توی اپ از یادآی بخواه این درس رو سادهتر توضیح بده، از زندگی خودت مثال بزنه یا عمیقتر بره. بعد یه مسیر کامل دور هدف خودت بساز.