چیزی که از این درس میبری
- بیشبرازش یعنی یاد گرفتن نویزِ مثالهای آموزشی بهجای الگوی واقعی.
- نشونهش یه اختلاف زیاد بین نمرهی آموزش و نمرهی تسته.
- دادههای تست رو کنار بذار تا مدل هرگز روشون آموزش نبینه، و عیارش رو اونجا بسنج.
بیشبرازش (Overfitting)
وقتی یه مدل اونقدر خودش رو به مثالهای آموزشی میچسبونه که بهجای الگوی واقعی، اتفاقات شانسی و نویزهای اونها رو یاد میگیره. روی دادههایی که قبلاً دیده عالی به نظر میرسه، ولی روی دادههای جدید خیلی بد عمل میکنه.
مدلی که قیمت خونه رو برای ۵۰ تا خونهای که روشون آموزش دیده دقیق و بینقص پیشبینی میکنه، ولی برای خیابون بغلی قیمتهای کاملاً پرت تحویل میده.
خودت رو امتحان کنسؤال ۱ از ۴
مدلی که روی دادههای آموزشیش ۱۰۰٪ جواب درست میده، همیشه یه مدل خوبه.
- درست
- نادرست
جواب رو ببین
نادرست
غلطه. نمرهی بینقص توی آموزش ممکنه معنیش این باشه که مدل مثالها رو با همهی نویزهاشون حفظ کرده. فقط با تست کردن روی دادههایی که قبلاً ندیده میتونی بفهمی واقعاً چقدر خوبه.
۰۲راهحل
بخشی از دادهها رو قایم کن
قبل از آموزش، یه بخش از مثالها رو به عنوان دادههای تست (Test Data) بذار کنار تا مدل هرگز روشون آموزش نبینه. بعد از تموم شدن آموزش، عملکرد مدل رو روی اون مجموعهی پنهان بسنج. اگه اونجا خیلی ضعیفتر از دادههای آموزشی عمل کرد، یعنی دچار بیشبرازش شده. هدف نهایی، تعمیمپذیری (Generalisation)ـه: یعنی خوب عمل کردن روی مثالهایی که تا حالا ندیده.
خودت رو امتحان کنسؤال ۲ از ۴
مدل سحر روی دادههای آموزشی نمرهی ۹۹٪ و روی دادههای تست نمرهی ۶۱٪ میگیره. این نشونهی چیه؟
- داره بینقص کار میکنه
- دچار بیشبرازشه: بهجای الگوی کلی، مثالهای آموزشی رو حفظ کرده
- دادههای تست حتماً ایراد دارن
- باید روی همون دادهها زمان بیشتری آموزش ببینه
جواب رو ببین
دچار بیشبرازشه: بهجای الگوی کلی، مثالهای آموزشی رو حفظ کرده
درسته. اختلاف زیاد بین نمرهی آموزش و تست، نشانهی کلاسیک بیشبرازشه.
قدمبهقدم ببین

۱/۴۹ نقطهی آموزشی نه تا نقطهی آموزشی آبیرنگ. در کل از چپ به راست بالا میرن، ولی هر کدوم یه کم بالاتر یا پایینتر از رونده؛ همون نویز طبیعی دادههای واقعی.

۲/۴یه مدل ساده: یه خط صاف یه مدل ساده یه خط صاف یاسی از وسط رسم میکنه. به تکتک نقطهها نمیخوره، ولی الگوی واقعی رو گرفته: دادهها پیوسته بالا میرن.

۳/۴مدل بیشبرازششده: به همهی نقطهها میخوره یه مدل خیلی انعطافپذیرتر منحنی نارنجی رو میکشه که دقیقاً از هر نه تا نقطه رد میشه. خطای آموزشش صفره، ولی بین نقطهها با شدت بالا و پایین میپره.

۴/۴دادههای جدید تفاوتشون رو نشون میده سه تا نقطهی تست سفید جدید میان. این نقطهها نزدیک خط صاف نشستن، ولی از جاهایی که منحنی نارنجی تاب خورده خیلی دورن. میلههای بالای تصویر هم همینو نشون میدن: خطای خط صاف روی دادههای جدید 0.1 و خطای منحنی 0.4 هست.
خودت رو امتحان کنسؤال ۳ از ۴
هر موقعیت رو به اصطلاح مناسبش وصل کن
- عملکرد عالی روی دادههای آموزشی، ولی ضعیف روی دادههای جدید
- دادههایی که تا آخر کار پنهان نگه داشته میشن
- عملکرد خوب روی مثالهایی که قبلاً دیده نشده
- مثالهایی که مدل از روشون یاد میگیره
جواب رو ببین
- عملکرد عالی روی دادههای آموزشی، ولی ضعیف روی دادههای جدید → بیشبرازش (Overfitting)
- دادههایی که تا آخر کار پنهان نگه داشته میشن → دادههای تست (Test Data)
- عملکرد خوب روی مثالهایی که قبلاً دیده نشده → تعمیمپذیری (Generalisation)
- مثالهایی که مدل از روشون یاد میگیره → دادههای آموزشی (Training Data)
راههای مهار بیشبرازش
- دادههای آموزشی بیشتر و متنوعتر.
- مدل سادهتر، یا قانونهایی که نذارن مدل زیادی پیچوتاب بخوره.
- متوقف کردن آموزش به محض اینکه نمرهی تست دیگه بهتر نشد.
- همیشه سنجیدن مدل روی دادههایی که قبلاً ندیده.
خودت رو امتحان کنسؤال ۴ از ۴
رضا مدل پیشبینی نمرهی امتحانش رو روی همون دانشآموزهایی که روشون آموزش دیده تست میکنه و به مدیرش دقت ۹۸٪ گزارش میده. بهجاش باید چیکار کنه؟
- همین رو گزارش کنه؛ ۹۸٪ فوقالعادهست
- مدل رو روی دانشآموزهایی که تا حالا ندیده تست کنه و اون نمره رو گزارش بده
- اول آموزش رو طولانیتر ادامه بده
- دانشآموزهایی رو که مدل توشون اشتباه کرده حذف کنه
جواب رو ببین
مدل رو روی دانشآموزهایی که تا حالا ندیده تست کنه و اون نمره رو گزارش بده
آره. نمره روی دانشآموزهای آموزشی چیز زیادی رو نشون نمیده. فقط دانشآموزهای دیدهنشده نشون میدن که مدل توی استفادهی واقعی چطور عمل میکنه.
۰۴جمعبندی
مرور درس
- بیشبرازش یعنی یاد گرفتن نویزِ مثالهای آموزشی بهجای الگوی واقعی.
- نشونهش یه اختلاف زیاد بین نمرهی آموزش و نمرهی تسته.
- دادههای تست رو کنار بذار تا مدل هرگز روشون آموزش نبینه، و عیارش رو اونجا بسنج.
- یه الگوی سادهتر که قدرت تعمیم داشته باشه، خیلی بهتر از چفت شدنِ بینقص به دادههای قدیمیه.
به سبک خودت یادش بگیر.
توی اپ از یادآی بخواه این درس رو سادهتر توضیح بده، از زندگی خودت مثال بزنه یا عمیقتر بره. بعد یه مسیر کامل دور هدف خودت بساز.