نرخ پایه: عددی که همه یادشون می‌ره (Base Rates)
چرا جواب مثبت یه آزمایش «۹۰ درصد دقیق» هنوز می‌تونه یعنی احتمالاً سالمی؛ روی یه جدول هزارنفره حسابش می‌کنیم.
نرخ پایه (Base rate)
اینکه یه چیزی قبل از اینکه هیچ شاهدی درباره‌ی یه آدم یا یه مورد خاص ببینی، چقدر رایجه. اگه یه بیماری ۱ درصد مردم رو درگیر کنه، نرخ پایه‌ش ۱ در ۱۰۰ـه. هر جواب آزمایشی رو باید کنار همین عدد خوند.
توی یه شهر هزارنفره که ۱ درصدشون یه بیماری دارن، نرخ پایه می‌گه قبل از اینکه کسی آزمایش بده، انتظار داشته باش حدود ۱۰ نفر اون بیماری رو داشته باشن.
دو جور اشتباهِ یه آزمایش
بیمارها رو پیدا کنه، سالم‌ها رو اشتباهی علامت بزنه
کیفیت یه آزمایش دو طرف داره. حساسیت (Sensitivity) یعنی از آدم‌هایی که واقعاً اون بیماری رو دارن، چندتاشون جوابشون مثبت می‌شه: آزمایشی با حساسیت ۹۰ درصد، از هر ۱۰ نفر ۹ نفر رو پیدا می‌کنه. مثبت کاذب (False positive) یعنی یه آدم سالم که آزمایش اشتباهی علامتش زده. هیچ آزمایش واقعی‌ای از هر دو طرف بی‌نقص نیست، و وقتی کلی آدم سالم رو غربال می‌کنی، حتی یه درصد کوچیک مثبت کاذب هم جمع می‌شه و کلی هشدار الکی می‌سازه.
آزمایشی که از هر ۱۰ بیمار ۹ تا رو پیدا می‌کنه و از هر ۱۰۰ آدم سالم حدود ۹ تا رو اشتباهی مثبت نشون می‌ده، منصفانه می‌شه گفت «حدود ۹۰ درصد دقیقه». این دوتا عدد رو نگه دار؛ الان روی یه جدول هزارنفره ازشون استفاده می‌کنیم.
خودت رو امتحان کن
یه بیماری ۱ درصد بزرگسال‌های یه کشور رو درگیر می‌کنه. نرخ پایه‌ش چنده؟
- ۹۰ درصد، چون آزمایش این‌قدر دقیقه
- ۱ در ۱۰۰: اینکه بیماری قبل از اینکه کسی آزمایش بده چقدر رایجه
- ۹ درصد، یعنی احتمال اینکه جواب مثبت درست باشه
- تا همه آزمایش ندن نمی‌شه فهمید
جواب رو ببین
۱ در ۱۰۰: اینکه بیماری قبل از اینکه کسی آزمایش بده چقدر رایجه
درسته. نرخ پایه فقط یعنی اون بیماری توی این گروه چقدر رایجه، اینجا ۱ در ۱۰۰. قبل از هر آزمایشیه و ربطی به دقت آزمایش نداره.
قدم‌به‌قدم ببین
هزار نفر، ۱۰ نفرشون بیمار یه جدول با ۱۰۰۰ نقطه، هر نقطه یه آدم توی یه شهر. ده‌تاشون که لابه‌لای جدول پخشن نارنجی‌ان: همون آدم‌هایی که بیماری رو دارن، ۱ در ۱۰۰. بقیه، یعنی ۹۹۰ نقطه‌ی خاکستری، آدم‌های سالمن.
آزمایش ۹ نفر از اون ۱۰ نفر رو پیدا می‌کنه همه آزمایش می‌دن. دور ۹تا از ۱۰ نقطه‌ی نارنجی یه حلقه‌ی بنفش کم‌رنگ می‌افته که یعنی جواب مثبت: آزمایش درست ۹ نفر از ۱۰ بیمار رو پیدا می‌کنه، همون حساسیت ۹۰ درصدیش. یه نقطه‌ی نارنجی پایین جدول حلقه نداره: اون آدم بیمار از دست آزمایش در رفته.
حدود ۸۹ آدم سالم رو هم علامت می‌زنه حالا دور ۸۹ نقطه‌ی خاکستری هم که همه‌جای جدول پخشن حلقه‌ی بنفش می‌افته. این‌ها مثبت کاذبن: آدم‌های سالمی که آزمایش اشتباهی علامتشون زده، حدود ۹ درصدِ اون ۹۹۰ نفر. آدم سالم اون‌قدر زیاده که یه درصد خطای کوچیک یه جمعیت بزرگ می‌سازه، و نقطه‌های خاکستریِ حلقه‌دار خیلی بیشتر از نارنجی‌های حلقه‌دارن.
از ۹۸ جواب مثبت، فقط ۹ تا بیمارن همه‌ی کسایی که جوابشون مثبت شده، توی یه جعبه‌ی بنفش سمت راست جمع می‌شن: یه ردیف ۹ نقطه‌ی نارنجی و ۸۹ نقطه‌ی خاکستری، روی هم ۹۸ جواب مثبت. فقط ۹ نفر از این ۹۸ نفر بیمارن. پس توی این شهر جواب مثبت یعنی حدود ۹ درصد احتمال داشتن بیماری، نه ۹۰ درصد.
خودت رو امتحان کن
توی اون شهر هزارنفره، آزمایش ۹ نفر از ۱۰ بیمار و ۸۹ نفر از ۹۹۰ آدم سالم رو مثبت نشون داد. جواب آرش مثبت شده. تقریباً چقدر احتمال داره بیماری رو داشته باشه؟
- حدود ۹۰ درصد
- حدود ۵۰ درصد
- حدود ۹ درصد، چون از ۹۸ جواب مثبت فقط ۹ تا بیمارن
- حدود ۱ درصد، همون قبل از آزمایش
جواب رو ببین
حدود ۹ درصد، چون از ۹۸ جواب مثبت فقط ۹ تا بیمارن
درسته. ۹ + ۸۹ = ۹۸ جواب مثبت داریم و فقط ۹تاش مال آدم‌های بیماره. ۹ از ۹۸ حدود ۹ درصده، تقریباً ۱ در ۱۱. جواب مثبت احتمالش رو بالا برد، از ۱ درصد به حدود ۹ درصد، ولی اصلاً نزدیک ۹۰ درصد نیست.
این اشتباه اسم داره
نادیده گرفتن نرخ پایه
پریدن از «آزمایش ۹۰ درصد دقیقه» به «۹۰ درصد احتمال داره بیمار باشم» اسمش نادیده گرفتن نرخ پایه (Base rate neglect)ـه: قضاوت کردن درباره‌ی شاهد، بدون اینکه ببینی اون چیز از اول چقدر کمیاب بوده. قاعده‌ی سرانگشتیش ساده‌ست. هرچی بیماری کمیاب‌تر باشه، سهم بیشتری از جواب‌های مثبت کاذبن، حتی برای یه آزمایش خوب، چون جمعیت سالم‌ها خیلی بزرگ‌تر از جمعیت بیمارهاست.
مشکل این نیست که آزمایش بده. کارش رو کرد: ۹ نفر از ۱۰ بیمار رو پیدا کرد. تعجب فقط از اون ۹۹۰ آدم سالمی میاد که آزمایش روی اون‌ها هم انجام شد.
خودت رو امتحان کن
اگه یه آزمایش ۹۰ درصد دقیق باشه، جواب مثبت یعنی ۹۰ درصد احتمال داره بیماری رو داشته باشی.
جواب رو ببین
نادرست
غلطه. معنی جواب مثبت به نرخ پایه هم بستگی داره. برای بیماری‌ای که ۱ نفر از ۱۰۰ نفر داره، جواب‌های مثبت همین آزمایش فقط حدود ۹ درصد وقت‌ها درست بودن، چون ۸۹ هشدار الکی از اکثریت سالم، ۹ مورد واقعی رو زیر خودشون گم کردن.
یه آزمایش، دو گروه متفاوت
غربال همه (۱ درصد بیمار)
۱۰۰۰ نفر، ۱۰ نفر بیمار. آزمایش ۹تاشون رو و حدود ۸۹ آدم سالم رو مثبت نشون می‌ده.
از ۹۸ جواب مثبت، ۹تا واقعین: حدود ۹ درصد.
آدم‌های علامت‌دار (۵۰ درصد بیمار)
۱۰۰۰ نفر، ۵۰۰ نفر بیمار. آزمایش ۴۵۰تاشون رو و حدود ۴۵ نفر از ۵۰۰ آدم سالم رو مثبت نشون می‌ده.
از ۴۹۵ جواب مثبت، ۴۵۰تا واقعین: حدود ۹۱ درصد.
خودت رو امتحان کن
همین آزمایش توی یه درمونگاه استفاده می‌شه که نصف بیمارهاش اون بیماری رو دارن. در مقایسه با غربال کل شهر، اونجا جواب مثبت بیشتر قابل اعتماده یا کمتر؟
- بیشتر: وقتی بیماری رایجه، بیشتر جواب‌های مثبت واقعین
- کمتر: بیمار بیشتر یعنی خطای بیشتر
- دقیقاً همون‌قدر، چون آزمایش همونه
- فقط به حساسیت آزمایش بستگی داره
جواب رو ببین
بیشتر: وقتی بیماری رایجه، بیشتر جواب‌های مثبت واقعین
درسته. آزمایش عوض نشد؛ گروه عوض شد. وقتی نصف بیمارها واقعاً بیمارن، موردهای واقعی خیلی بیشتر از هشدارهای الکی‌ان و حدود ۹۱ درصد جواب‌های مثبت درستن.
خودت رو امتحان کن
- هشدار تقلب یه بانک ۹۵ درصد پرداخت‌های تقلبی رو پیدا می‌کنه، ولی فقط ۱ پرداخت از هر ۱۰٬۰۰۰ تا تقلبیه. بیشتر مشتری‌هایی که کارتشون مسدود می‌شه، آخرش معلوم می‌شه کار اشتباهی نکردن.
- همین هشدار روی چندتا حسابی استفاده می‌شه که از قبل گزارش شده هک شدن، و حدود نصف پرداخت‌هاشون تقلبیه. اونجا بیشتر پرداخت‌های مسدودشده واقعاً تقلبین.
چی فرق این دوتا مورد رو توضیح می‌ده؟
- هشدار روی حساب‌های هک‌شده بهتر کار می‌کنه
- اینکه تقلب توی هر گروه چقدر کمیابه: وقتی کمیابه، بیشتر هشدارها الکی‌ان
- مشتری‌های گروه اول صادق‌ترن
- بانک اول هشدارش رو زیادی حساس تنظیم کرده
جواب رو ببین
اینکه تقلب توی هر گروه چقدر کمیابه: وقتی کمیابه، بیشتر هشدارها الکی‌ان
دقیقاً. همون هشداره با همون دقت. چیزی که فرق داره نرخ پایه‌ست. فیلتر اسپم، بازرسی فرودگاه و تشخیص چهره توی شلوغی هم همه به همین می‌خورن: وقتی چیزی که دنبالشی کمیابه، بیشتر هشدارها الکی‌ان.
وقتی درباره‌ی یه آزمایش یا هشدار می‌شنوی
- اول بپرس: اون چیز توی گروهی که آزمایش می‌شه چقدر رایجه؟
- درصدها رو به آدم تبدیل کن: ۱۰۰۰ نفر رو تصور کن و مثبت‌های واقعی و کاذب رو بشمر.
- بیماری کمیاب به‌علاوه‌ی غربال گسترده یعنی خیلی از جواب‌های مثبت کاذبن، حتی برای یه آزمایش خوب.
- جواب مثبت دلیلیه برای یه نگاه دوباره، نه حکم نهایی.
مرور درس
- نرخ پایه یعنی یه چیز قبل از هر شاهدی چقدر رایجه؛ اینجا ۱۰ نفر از ۱۰۰۰ نفر، یعنی ۱ درصد.
- آزمایشی که ۹ نفر از ۱۰ بیمار رو پیدا می‌کرد، حدود ۸۹ نفر از ۹۹۰ آدم سالم رو هم مثبت نشون داد.
- از ۹۸ جواب مثبت فقط ۹ نفر بیمار بودن، پس جواب مثبت یعنی حدود ۹ درصد احتمال، نه ۹۰ درصد.
- نادیده گرفتن کمیاب بودن بیماری، یعنی نادیده گرفتن نرخ پایه، اشتباه معروفه؛ شمردن آدم‌ها روی یه جدول هزارنفره جلوش رو می‌گیره.
- جایی که بیماری رایجه، بیشتر جواب‌های مثبت همون آزمایش واقعین: گروه جواب رو عوض می‌کنه.