چیزی که از این درس میبری
- آموزش با وزنهای تصادفی شروع میشه و توی یه چرخه بهترشون میکنه: حدس، سنجش خطا و تنظیم.
- خطا یا زیان (Loss) نشون میده هر وزن رو باید به کدوم سمت تغییر داد؛ گرادیان نزولی روش استاندارد این کاره.
- خطا اول کار خیلی سریع افت میکنه، ولی کمکم با تثبیت آموزش، سرعت کاهشش کمتر میشه.
۰۱چرخهی آموزش
حدس، خطا، تنظیم
آموزش سه تا مرحله رو تکرار میکنه. حدس: یه مثال رو از دل شبکه رد میکنه. خطا: جوابش رو با جواب درست مقایسه میکنه و اندازه میگیره چقدر اشتباه کرده؛ به این عدد معمولاً میگن زیان (Loss). تنظیم: همهی وزنها رو یه کم در جهتی تغییر میده که خطا کمتر میشد. بعد با مثال بعدی دوباره همین کار رو تکرار میکنه.
پایین رفتن از تپه توی مِه
تصور کن توی یه مِه غلیظ، روی دامنهی یه تپه ایستادی و میخوای برسی به دره. کف دره رو نمیبینی، ولی حس میکنی شیب زمین کدوم طرفیه؛ پس یه قدم کوچیک به سمت پایین برمیداری و این کار رو مدام تکرار میکنی. این دقیقاً ایدهی پشت گرادیان نزولی (Gradient Descent)ـه؛ روش استانداردی که باهاش وزنها رو تنظیم میکنن. جایی که این تشبیه جواب نمیده: «دامنهی تپه» توی یه مدل واقعی، بهجای دو جهت، میلیاردها جهت مختلف داره.
خودت رو امتحان کنسؤال ۱ از ۴
توی چرخهی آموزش، از خطا یا زیان (Loss) چه استفادهای میشه؟
- برای اینکه تصمیم بگیرن کدوم مثالها باید حذف بشن
- برای اینکه نشون بده وزنها رو در چه جهتی و چقدر باید تغییر داد
- برای اینکه به کاربرها بگه مدل به جوابش مطمئن نیست
- برای اینکه جلوی حدس زدن مدل رو بگیره
جواب رو ببین
برای اینکه نشون بده وزنها رو در چه جهتی و چقدر باید تغییر داد
درسته. خطا همون سیگنالیه که آموزش دنبالش میره: نشون میده کدوم جهت باعث میشه اشتباه شبکه کمتر بشه.
قدمبهقدم ببین

۱/۴دور ۱: یه حدس ضعیف سمت چپ، چرخهی آموزش رو میبینی: guess، error و adjust، با یه نقطه که دورش میچرخه. وزن با w = 0.2 شروع میشه و سمت راست، اولین خطا بالاست: 0.9.

۲/۴دور ۲: یه تغییر کوچیک کمک میکنه بعد از یه بار تنظیم، وزن میشه 0.5 و خطا هم تا 0.5 افت میکنه. خط روی نمودار شروع میکنه به شیب گرفتن رو به پایین.

۳/۴دور ۳: نزدیکتر یه دور دیگه: وزن میرسه به 0.7 و خطا تا 0.2 افت میکنه. هر چی شبکه به جوابهای خوب نزدیکتر میشه، قدمها هم کوچیکتر میشن.

۴/۴دور ۴: تثبیت وزن روی 0.8 ثابت میشه و خطا تا 0.1 پایین میاد. منحنی صاف شده؛ دورهای بیشتر تغییر چندانی ایجاد نمیکنن. توی آموزش واقعی، این چرخه میلیونها بار روی میلیاردها وزن تکرار میشه.
خودت رو امتحان کنسؤال ۲ از ۴
تو تصویر متحرک، خطا توی هر دور به یه اندازه کم میشه.
- درست
- نادرست
جواب رو ببین
نادرست
غلطه. اول از 0.9 به 0.5 میافته، بعد به 0.2، و در آخر فقط به 0.1 میرسه. جهشهای بزرگ اول کار و تغییرهای کوچیکتر بعدی کاملاً طبیعیه: هر چی به کف دره نزدیکتر میشی، شیب ملایمتر میشه.
۰۳مقیاس
چرا آموزش اینقدر پرخرجه؟
به هر بار مرور کامل همهی مثالهای آموزشی میگن یه ایپاک (Epoch)، و مدلهای بزرگ روی حجم عظیمی از متن و تصویر آموزش میبینن. اینهمه بار تکرار چرخه به تراشههای تخصصی نیاز داره که هفتهها یکنفس کار کنن؛ برای همینه که آموزش یه مدل بزرگ هزینهی نجومی داره، در حالی که استفاده کردن از مدل آماده خیلی ارزونتر تموم میشه.
خودت رو امتحان کنسؤال ۳ از ۴
این اتفاق موقع آموزش میافته یا موقع استفاده از مدل؟
- وزنها بعد از هر خطا یه کم تغییر میکنن
- یه سؤال تایپ میکنی و جواب میگیری
- هر حدس با جواب درست مقایسه میشه
- موقع جواب دادن، وزنها ثابت میمونن
جواب رو ببین
آموزش: وزنها بعد از هر خطا یه کم تغییر میکنن, هر حدس با جواب درست مقایسه میشه
استفاده از مدل: یه سؤال تایپ میکنی و جواب میگیری, موقع جواب دادن، وزنها ثابت میمونن
خودت رو امتحان کنسؤال ۴ از ۴
امیر جواب اشتباه چتبات رو وسط گفتگو اصلاح میکنه. آیا مدل رو دوباره آموزش داده؟
- آره، هر اصلاح بلافاصله وزنهای مدل رو بهروزرسانی میکنه
- نه، استفاده از مدل وزنهاش رو تغییر نمیده؛ حداکثر اینه که اصلاح روی ادامهی همون گفتگو اثر میذاره
- آره، ولی فقط برای کاربرهای همون کشور
- نه، چون چتباتها رو اصلاً نمیشه آموزش داد
جواب رو ببین
نه، استفاده از مدل وزنهاش رو تغییر نمیده؛ حداکثر اینه که اصلاح روی ادامهی همون گفتگو اثر میذاره
درسته. موقع استفاده از مدل، وزنهاش کاملاً ثابتن. شرکتها ممکنه بعداً از گفتگوها برای آموزش نسخههای جدید استفاده کنن، ولی اصلاح تو همون لحظه مدل رو از اول بازنویسی نمیکنه.
۰۴جمعبندی
مرور درس
- آموزش با وزنهای تصادفی شروع میشه و توی یه چرخه بهترشون میکنه: حدس، سنجش خطا و تنظیم.
- خطا یا زیان (Loss) نشون میده هر وزن رو باید به کدوم سمت تغییر داد؛ گرادیان نزولی روش استاندارد این کاره.
- خطا اول کار خیلی سریع افت میکنه، ولی کمکم با تثبیت آموزش، سرعت کاهشش کمتر میشه.
- آموزش پرخرجه و قبل از استفاده انجام میشه؛ استفاده از مدل هیچ تغییری توی وزنها نمیده.
به سبک خودت یادش بگیر.
توی اپ از یادآی بخواه این درس رو سادهتر توضیح بده، از زندگی خودت مثال بزنه یا عمیقتر بره. بعد یه مسیر کامل دور هدف خودت بساز.