پث‌وایز

آمار و سواد دادهدرس ۷ از ۱۲

نرخ پایه: عددی که فراموش می‌شود

چرا نتیجهٔ مثبت در آزمایشی با «دقت ۹۰ درصدی» ممکن است همچنان به معنای سلامت شما باشد؛ بررسی مسأله با شبیه‌سازی روی شبکه‌ای از ۱٬۰۰۰ نفر.

چیزی که از این درس می‌بری

  • نرخ پایه بیانگر شیوع طبیعی پدیده پیش از مشاهدهٔ هر شواهدی است (در مثال ما ۱۰ نفر در ۱٬۰۰۰ نفر، یعنی ۱٪).
  • آزمایشی که ۹ نفر از ۱۰ بیمار را کشف کرد، به اشتباه ۸۹ فرد سالم از ۹۹۰ نفر را نیز مثبت اعلام نمود.
  • از مجموع ۹۸ نتیجهٔ مثبت، تنها ۹ نفر بیمار واقعی بودند؛ بنابراین نتیجهٔ مثبت به معنای احتمال ۹ درصدی است نه ۹۰ درصدی.
فهرست این درس۶
  1. نرخ پایه (Base Rate)
  2. شناسایی بیماران واقعی در برابر هشدار کاذب برای افراد سالم
  3. مغالطهٔ نادیده گرفتن نرخ پایه (Base Rate Neglect)
  4. یک آزمایش واحد در دو جامعهٔ متفاوت
  5. راهنمای عملی مواجهه با نتایج آزمایش‌ها و سامانه‌های هشدار
  6. مرور درس

نرخ پایه (Base Rate)

اسم · آمار و احتمالات

میزان فراوانی یا شیوع یک پدیده پیش از بررسی هرگونه شواهد یا نتایج آزمایشگاهی دربارهٔ یک فرد یا مورد خاص. اگر بیماری خاصی ۱٪ از افراد جامعه را مبتلا کند، نرخ پایهٔ آن ۱ در ۱۰۰ است. هر نتیجهٔ آزمایشی باید در بستر و با مقایسهٔ این نرخ پایه تفسیر شود.

در شهری با ۱٬۰۰۰ نفر جمعیت که ۱٪ آنان به عارضه‌ای مبتلا هستند، نرخ پایه به ما می‌گوید پیش از انجام هر آزمایشی، انتظار حضور حدود ۱۰ فرد مبتلا را داشته باشیم.

۰۲دو شیوهٔ خطای آزمایش

شناسایی بیماران واقعی در برابر هشدار کاذب برای افراد سالم

کیفیت هر ابزار تشخیصی دو بُعد متمایز دارد: حساسیت (Sensitivity) نشان می‌دهد چه نسبتی از افراد واقعاً بیمار به‌درستی مثبت تشخیص داده می‌شوند (حساسیت ۹۰٪ یعنی شناسایی ۹ بیمار از هر ۱۰ نفر). مثبت کاذب (False Positive) زمانی است که فردی کاملاً سالم به اشتباه بیمار تشخیص داده می‌شود. هیچ آزمایشی در جهان واقعی در هر دو بعد کامل و بی‌نقص نیست. هنگامی که جمعیت پرشماری از افراد سالم غربالگری می‌شوند، حتی درصد پایینی از مثبت کاذب به حجم عظیمی از هشدارهای نادرست ختم می‌شود.

آزمایشی که ۹ نفر از هر ۱۰ بیمار را شناسایی کند و ۹ نفر از هر ۱۰۰ فرد سالم را به اشتباه مثبت نشان دهد، اصطلاحاً «دارای دقت حدود ۹۰ درصد» خوانده می‌شود. این دو نسبت را به خاطر بسپارید؛ اکنون آن‌ها را روی جامعه‌ای ۱٬۰۰۰ نفره پیاده خواهیم کرد.

خودت رو امتحان کنسؤال ۱ از ۵

یک بیماری خاص ۱٪ از بزرگسالان یک کشور را مبتلا می‌کند. نرخ پایهٔ این بیماری چیست؟

  1. ۹۰٪، زیرا دقت آزمایش تشخیصی این مقدار است
  2. ۱ در ۱۰۰: میزان شیوع بیماری پیش از انجام آزمایش روی افراد
  3. ۹٪، احتمال اینکه نتیجهٔ مثبتِ آزمایش درست باشد
  4. این نرخ تا پیش از آزمایش سراسری از تک‌تک افراد جامعه نامعلوم است
جواب رو ببین

۱ در ۱۰۰: میزان شیوع بیماری پیش از انجام آزمایش روی افراد

کاملاً درست است. نرخ پایه صرفاً بیانگر میزان شیوع طبیعی عارضه در جامعهٔ هدف است (در اینجا ۱ در ۱۰۰). این شاخص مقدم بر هر آزمایشی است و ارتباطی به دقت ابزار تشخیصی ندارد.

قدم‌به‌قدم ببین

  1. جامعهٔ ۱٬۰۰۰ نفره: ۱۰ فرد مبتلا
    ۱/۴جامعهٔ ۱٬۰۰۰ نفره: ۱۰ فرد مبتلا

    شبکه‌ای شامل ۱٬۰۰۰ نقطه که هر یک معرف یک شهروند است. ده نقطهٔ نارنجی پراکنده، نشان‌دهندهٔ مبتلایان به بیماری‌اند (۱ در ۱۰۰). سایر ۹۹۰ نقطهٔ خاکستری، افراد کاملاً سالم هستند.

  2. شناسایی ۹ نفر از ۱۰ مبتلا توسط آزمایش
    ۲/۴شناسایی ۹ نفر از ۱۰ مبتلا توسط آزمایش

    از تمام افراد آزمایش گرفته می‌شود. دور ۹ نقطه از ۱۰ نقطهٔ نارنجی حلقهٔ یاسی‌رنگ می‌افتد (نتیجهٔ مثبت آزمایش): آزمایش با حساسیت ۹۰ درصدی خود، ۹ بیمار از ۱۰ بیمار را به‌درستی شناسایی می‌کند. یک نقطهٔ نارنجی بدون حلقه می‌ماند؛ این فرد مبتلا از چشم آزمایش پنهان مانده است.

  3. تشخیص اشتباه حدود ۸۹ فرد سالم
    ۳/۴تشخیص اشتباه حدود ۸۹ فرد سالم

    اکنون دور ۸۹ نقطهٔ خاکستری (افراد سالم) نیز حلقهٔ یاسی می‌افتد. این‌ها موارد مثبت کاذب هستند: افراد سالمی که آزمایش به اشتباه آنان را بیمار تشخیص داده است (حدود ۹٪ از ۹۹۰ فرد سالم). از آنجا که جمعیت افراد سالم بسیار پرشمار است، درصد خطای اندک به تشکیل جمعیتی بزرگ می‌انجامد؛ نقاط خاکستریِ علامت‌خورده بسیار بیشتر از نقاط نارنجی هستند.

  4. از ۹۸ نتیجهٔ مثبت، تنها ۹ نفر واقعاً بیمارند
    ۴/۴از ۹۸ نتیجهٔ مثبت، تنها ۹ نفر واقعاً بیمارند

    تمام کسانی که نتیجهٔ آزمایششان مثبت شده در کادر سمت راست گردآوری می‌شوند: ۹ نقطهٔ نارنجی در کنار ۸۹ نقطهٔ خاکستری، مجموعاً ۹۸ نتیجهٔ مثبت. از میان این ۹۸ نفر، تنها ۹ نفر واقعاً بیمارند. بنابراین در این شهر، نتیجهٔ مثبت آزمایش تنها به معنای احتمال ابتلای حدود ۹ درصد است، نه ۹۰ درصد!

خودت رو امتحان کنسؤال ۲ از ۵

در شهری ۱٬۰۰۰ نفره، آزمایش ۹ نفر از ۱۰ بیمار و ۸۹ نفر از ۹۹۰ فرد سالم را مثبت اعلام می‌کند. نتیجهٔ آزمایش آرش مثبت شده است. احتمال اینکه او واقعاً بیمار باشد تقریباً چقدر است؟

  1. حدود ۹۰٪
  2. حدود ۵۰٪
  3. حدود ۹٪، زیرا تنها ۹ نفر از ۹۸ نتیجهٔ مثبت واقعاً بیمار هستند
  4. حدود ۱٪، دقیقاً همانند پیش از انجام آزمایش
جواب رو ببین

حدود ۹٪، زیرا تنها ۹ نفر از ۹۸ نتیجهٔ مثبت واقعاً بیمار هستند

صحیح است. در مجموع ۹۸ = ۸۹ + ۹ نتیجهٔ مثبت ثبت شده که تنها ۹ مورد از آن‌ها به افراد واقعاً بیمار تعلق دارد. نسبت ۹ به ۹۸ حدود ۹٪ (تقریباً ۱ در ۱۱) است. نتیجهٔ مثبت، احتمال بیماری آرش را از ۱٪ اولیه به ۹٪ افزایش داده، اما فرسنگ‌ها با ۹۰٪ فاصله دارد.

۰۳نام علمی این خطای شناختی

مغالطهٔ نادیده گرفتن نرخ پایه (Base Rate Neglect)

جهش شتاب‌زده از گزارهٔ «آزمایش ۹۰٪ دقت دارد» به «من با احتمال ۹۰٪ بیمارم»، نمونهٔ کلاسیک نادیده گرفتن نرخ پایه (Base Rate Neglect) است: قضاوت دربارهٔ یک نشانهٔ جدید با غفلت از میزان نادر بودن اولیهٔ آن پدیده. قاعدهٔ طلایی ساده است: هر چه یک بیماری یا رخداد نادرتر باشد، نسبت هشدارهای مثبت کاذب در کل نتایج مثبت بیشتر خواهد بود (حتی برای ابزاری دقیق)، زیرا جمعیت عظیم افراد سالم بر اقلیت کوچک مبتلایان غلبه می‌کند.

آزمایش کار خود را عالی انجام داده است: ۹ بیمار از ۱۰ بیمار را کشف کرده است. غافلگیری از آنجا ناشی می‌شود که این غربالگری روی ۹۹۰ فرد سالم نیز اجرا شده است.

خودت رو امتحان کنسؤال ۳ از ۵

اگر آزمایشی دارای دقت ۹۰ درصدی باشد، دریافت نتیجهٔ مثبت به این معناست که ۹۰٪ احتمال دارد شما به بیماری مبتلا باشید.

  1. درست
  2. نادرست
جواب رو ببین

نادرست

نادرست است. معنای نتیجهٔ مثبت به نرخ پایهٔ بیماری نیز وابسته است. برای بیماری نادری که شیوع ۱ در ۱۰۰ دارد، تنها حدود ۹٪ از نتایج مثبت واقعاً بیمار هستند؛ زیرا ۸۹ هشدار کاذب افراد سالم بر ۹ مورد مثبت واقعی سنگینی می‌کند.

یک آزمایش واحد در دو جامعهٔ متفاوت

غربالگری همگانی (شیوع ۱٪ بیمار)

۱٬۰۰۰ نفر، ۱۰ مبتلا. آزمایش ۹ بیمار و ۸۹ فرد سالم را مثبت اعلام می‌کند.

از میان ۹۸ نتیجهٔ مثبت، تنها ۹ نفر بیمار واقعی‌اند: حدود ۹٪.

مراجعه‌کنندگان دارای علائم (شیوع ۵۰٪ بیمار)

۱٬۰۰۰ نفر، ۵۰۰ مبتلا. آزمایش ۴۵۰ بیمار و حدود ۴۵ فرد سالم را مثبت اعلام می‌کند.

از میان ۴۹۵ نتیجهٔ مثبت، ۴۵۰ نفر بیمار واقعی‌اند: حدود ۹۱٪.

خودت رو امتحان کنسؤال ۴ از ۵

اگر همان آزمایش در درمانگاهی تخصصی به کار رود که نیمی از مراجعانش واقعاً بیمار هستند، آیا نتیجهٔ مثبت قابل‌اعتمادتر خواهد بود یا کم‌اعتبارتر؟

  1. بسیار قابل‌اعتمادتر: وقتی نرخ پایه بالا باشد، اکثریت قاطع نتایج مثبت واقعی هستند
  2. کم‌اعتبارتر: تعداد بیشتر بیماران سبب خطای بیشتر آزمایش می‌شود
  3. دقیقاً در همان سطح اعتبار، زیرا ویژگی‌های فنی آزمایش یکسان مانده است
  4. اعتبار نتیجه منحصراً به حساسیت آزمایش بستگی دارد
جواب رو ببین

بسیار قابل‌اعتمادتر: وقتی نرخ پایه بالا باشد، اکثریت قاطع نتایج مثبت واقعی هستند

کاملاً درست است. آزمایش ثابت مانده اما جامعهٔ هدف دگرگون شده است. وقتی نیمی از مراجعان بیمار باشند، موارد واقعی بسیار پرشمارتر از هشدارهای کاذب هستند و حدود ۹۱٪ نتایج مثبت صحت دارند.

خودت رو امتحان کنسؤال ۵ از ۵

  1. سامانهٔ کشف تقلب یک بانک ۹۵٪ از تراکنش‌های جعلی را شناسایی می‌کند؛ اما نرخ پایهٔ تقلب تنها ۱ در ۱۰٬۰۰۰ تراکنش است. اکثریت قاطع مشتریانی که کارتشان مسدود می‌شود خطایی مرتکب نشده‌اند.
  2. همان سامانه روی حساب‌هایی اعمال می‌شود که پیش‌تر گزارش نفوذ و هک داشته‌اند (حدود نیمی از تراکنش‌های آن‌ها جعلی است). در این گروه، اکثر کارت‌های مسدودشده واقعاً کلاهبرداری بوده‌اند.

علت تفاوت چشمگیر دقت عملکرد سامانه در این دو سناریو چیست؟

  1. الگوریتم امنیتی روی حساب‌های هک‌شده کارآمدتر برنامه‌نویسی شده است
  2. میزان نادر بودن تقلب در هر گروه: وقتی پدیده نادر باشد، بیشتر آلارم‌ها کاذب خواهند بود
  3. مشتریان گروه اول انسان‌های صادق‌تری بوده‌اند
  4. بانک در مرحلهٔ اول حساسیت سامانه را بیش از حد بالا تنظیم کرده است
جواب رو ببین

میزان نادر بودن تقلب در هر گروه: وقتی پدیده نادر باشد، بیشتر آلارم‌ها کاذب خواهند بود

دقیقاً درست است. سامانه و دقت فنی آن در هر دو سناریو کاملاً یکسان است؛ تفاوت اساسی در نرخ پایه نهفته است. در فیلترهای اسپم، گیت‌های امنیتی فرودگاه و تشخیص چهره در معابر شلوغ نیز همین قاعده حاکم است: هرگاه هدف مورد جست‌وجو نادر باشد، اکثریت آلارم‌ها هشدار کاذب‌اند.

راهنمای عملی مواجهه با نتایج آزمایش‌ها و سامانه‌های هشدار

  • نخست بپرسید: میزان شیوع این پدیده (نرخ پایه) در گروه مورد بررسی چقدر است؟
  • درصدها را به جمعیت عینی تبدیل کنید: جامعه‌ای ۱٬۰۰۰ نفره بسازید و موارد مثبت واقعی و کاذب را شمارش کنید.
  • شیوع نادر در کنار غربالگری سراسری یعنی بسیاری از نتایج مثبت کاذب خواهند بود، حتی با ابزارهای بسیار دقیق.
  • نتیجهٔ مثبت آزمون غربالگری دعوتی برای بررسی‌های دقیق‌تر و آزمایش دوم است، نه حکم نهایی قطعی.

۰۶جمع‌بندی

مرور درس

  • نرخ پایه بیانگر شیوع طبیعی پدیده پیش از مشاهدهٔ هر شواهدی است (در مثال ما ۱۰ نفر در ۱٬۰۰۰ نفر، یعنی ۱٪).
  • آزمایشی که ۹ نفر از ۱۰ بیمار را کشف کرد، به اشتباه ۸۹ فرد سالم از ۹۹۰ نفر را نیز مثبت اعلام نمود.
  • از مجموع ۹۸ نتیجهٔ مثبت، تنها ۹ نفر بیمار واقعی بودند؛ بنابراین نتیجهٔ مثبت به معنای احتمال ۹ درصدی است نه ۹۰ درصدی.
  • نادیده گرفتن نرخ پایه خطایی متداول است؛ تجسم داده‌ها در قالب جامعه‌ای ۱٬۰۰۰ نفره از بروز این خطا جلوگیری می‌کند.
  • در جوامعی با نرخ پایهٔ بالا، اکثریت نتایج همان آزمایش معتبر و واقعی خواهند بود: گروه مورد بررسی، معنای نتیجه را دگرگون می‌کند.

به سبک خودت یادش بگیر.

توی اپ از یادآی بخواه این درس رو ساده‌تر توضیح بده، از زندگی خودت مثال بزنه یا عمیق‌تر بره. بعد یه مسیر کامل دور هدف خودت بساز.

Cafe Bazaar Myket توی اپ شخصی‌سازیش کن