پث‌وایز

آمار و سواد دادهدرس ۱۰ از ۱۲

مقدار پی (p-value) به زبان ساده

مقدار پی به یک پرسش مشخص پاسخ می‌دهد: «اگر در واقعیت هیچ تفاوتی وجود نداشت، مشاهدهٔ چنین نتیجه‌ای چقدر نامحتمل و عجیب بود؟»؛ در این درس پاسخ‌های اشتباهی را که معمولاً به آن نسبت داده می‌شود می‌شناسید.

چیزی که از این درس می‌بری

  • فرض صفر بیانگر پیش‌فرض «عدم وجود هرگونه اثر یا تفاوت» است؛ مانند فرض عادلانه بودن سکه.
  • مقدار پی بیانگر این است که اگر فرض صفر درست می‌بود، شانس تصادفی با چه احتمالی نتیجه‌ای دست‌کم به این شدت افراطی پدید می‌آورد: ۶۰ بار شیر در ۱۰۰ پرتاب به ۰٫۰۶ ≈ p و ۶۵ بار شیر به ۰٫۰۰۴ ≈ p می‌رسد.
  • مرز ۰٫۰۵ > p یک قرارداد سنتی است؛ مقادیر ۰٫۰۴۹ و ۰٫۰۵۱ ارزش شواهدی تقریباً یکسانی دارند و «عدم معناداری» هرگز نشانهٔ نفی قطعی اثر نیست.
فهرست این درس۶
  1. فرض صفر (Null Hypothesis - H₀)
  2. اگر هیچ اثری در کار نبود، مشاهدهٔ این داده‌ها چقدر نامحتمل بود؟
  3. معناداری آماری: مرز ۰٫۰۵ > p
  4. آنچه مقدار پی (p-value) بیان نمی‌کند
  5. معناداری آماری با اهمیت عملی یکسان نیست
  6. مرور درس

فرض صفر (Null Hypothesis - H₀)

اسم · استنباط آماری

فرض آغازینی که می‌گوید در واقعیت هیچ اثر، تفاوت یا رابطهٔ ویژه‌ای وجود ندارد: سکه عادلانه است، دارو بی‌اثر است، یا دو گروه تحت مطالعه کاملاً مشابه‌اند. یک پژوهش علمی هرگز فرض صفر را اثبات نمی‌کند؛ بلکه بررسی می‌کند که آیا داده‌های جمع‌آوری‌شده در صورت درستی فرض صفر، غیرعادی و دور از انتظار به نظر می‌رسند یا خیر.

برای آزمودن اینکه آیا یک سکه دارای تقلب و سنگینی به یک سو است یا نه، فرض صفر می‌گوید: «سکه کاملاً عادلانه و بی‌طرف است و نیمی از پرتاب‌ها شیر خواهد آمد».

۰۲پرسش بنیادین پی‌ولیو

اگر هیچ اثری در کار نبود، مشاهدهٔ این داده‌ها چقدر نامحتمل بود؟

مقدار پی (p-value) به این پرسش پاسخ می‌دهد: «اگر فرض صفر واقعاً درست بود، با چه احتمالی ممکن بود صرفاً بر اثر شانس و نوسان تصادفی، داده‌هایی دست‌کم به همین شدت افراطی به دست آوریم؟» مقدار پیِ کوچک یعنی اگر واقعاً اثری در کار نبود، مشاهدهٔ چنین نتیجه‌ای بسیار نامحتمل و شگفت‌آور می‌بود، که پذیرش فرض صفر را دشوار می‌سازد. مقدار پیِ بزرگ یعنی چنین نتیجه‌ای از همان رویدادهای روزمره‌ای است که شانس و تصادف همواره تولید می‌کنند.

یک سکهٔ سالم در ۱۰۰ پرتاب معمولاً بین ۴۰ تا ۶۰ بار شیر می‌آید. نتیجهٔ ۵۲ بار شیر امری عادی و باورپذیر است؛ اما آمدن ۶۵ بار شیر رخدادی نادر است.

خودت رو امتحان کنسؤال ۱ از ۵

مینا قصد دارد بیازماید که آیا یک کود شیمیایی جدید به رشد سریع‌تر گیاهان کمک می‌کند یا خیر. فرض صفر در این پژوهش کدام است؟

  1. کود شیمیایی سبب افزایش سرعت رشد گیاهان می‌شود
  2. کود شیمیایی هیچ تفاوتی در سرعت رشد گیاهان ایجاد نمی‌کند
  3. کود شیمیایی به سلامت گیاهان آسیب می‌زند
  4. گیاهان با این کود دقیقاً ۱۰٪ سریع‌تر رشد خواهند کرد
جواب رو ببین

کود شیمیایی هیچ تفاوتی در سرعت رشد گیاهان ایجاد نمی‌کند

کاملاً درست است. فرض صفر همواره نقطهٔ شروع «عدم وجود اثر یا تفاوت» است: یعنی کود اثری ندارد. سپس پژوهشگر بررسی می‌کند که آیا شواهد تجربی برای رد این فرضیه کفایت می‌کنند یا خیر.

قدم‌به‌قدم ببین

  1. توزیع پرتاب‌های یک سکهٔ عادلانه در ۱۰۰ بار تکرار
    ۱/۴توزیع پرتاب‌های یک سکهٔ عادلانه در ۱۰۰ بار تکرار

    منحنی زنگوله‌ای یاسی‌رنگ روی محوری از تعداد دفعات شیر، با نشانه‌های ۴۰، ۵۰، ۶۰ و ۶۵. اگر سکه سالم باشد، در ۱۰۰ پرتاب معمولاً حدود ۵۰ بار شیر می‌آید؛ منحنی نشان می‌دهد بسامد وقوع هر نتیجه چقدر است (بیشترین احتمال روی ۵۰ و کاهش تدریجی به دو سمت).

  2. مشاهدهٔ ۶۰ بار شیر
    ۲/۴مشاهدهٔ ۶۰ بار شیر

    نشانگری نارنجی روی عدد ۶۰ در شانهٔ راست منحنی فرود می‌آید. سکه ۱۰۰ بار پرتاب شده و ۶۰ بار شیر آمده است. آیا این نتیجه برای یک سکهٔ عادلانه غیرعادی است؟

  3. محاسبهٔ مساحت دو دُم: ۰٫۰۶ ≈ p
    ۳/۴محاسبهٔ مساحت دو دُم: ۰٫۰۶ ≈ p

    دو دُم منحنی با رنگ نارنجی مشخص می‌شوند: ۶۰ بار شیر یا بیشتر در سمت راست، و ۴۰ بار یا کمتر در سمت چپ. رخداد نتایجی دست‌کم با این فاصله از ۵۰ (در هر دو سو)، در سکه‌ای سالم حدود ۶٪ مواقع رخ می‌دهد. این نسبت احتمال (۰٫۰۶ ≈ p) همان مقدار پی است.

  4. در ۶۵ بار شیر: ۰٫۰۰۴ ≈ p
    ۴/۴در ۶۵ بار شیر: ۰٫۰۰۴ ≈ p

    نشانگر روی ۶۵ قرار می‌گیرد و دُم‌های رنگی (۶۵ یا بیشتر، ۳۵ یا کمتر) به نوارهای بسیار باریکی در انتهای دو طرف منحنی تبدیل می‌شوند. سکهٔ سالم تنها در ۴ بار از هر ۱٬۰۰۰ آزمایش به چنین فاصله‌ای از ۵۰ می‌رسد (۰٫۰۰۴ ≈ p). اکنون باور به «عادلانه بودن سکه» بسیار دشوار است.

خودت رو امتحان کنسؤال ۲ از ۵

در ۱۰۰ بار پرتاب سکه ۶۰ بار شیر آمده و ۰٫۰۶ ≈ p است. کدام برداشت از نظر آماری صحیح است؟

  1. احتمال سالم بودن سکه ۶٪ است
  2. احتمال تقلبی و کج بودن سکه ۹۴٪ است
  3. اگر سکه سالم می‌بود، نتیجه‌ای دست‌کم با این میزان فاصله از ۵۰ در حدود ۶٪ مواقع رخ می‌داد
  4. سکه ۶٪ بیشتر از نرخ معمول شیر می‌آورد
جواب رو ببین

اگر سکه سالم می‌بود، نتیجه‌ای دست‌کم با این میزان فاصله از ۵۰ در حدود ۶٪ مواقع رخ می‌داد

صحیح است. مقدار پی با این فرضِ آغازین محاسبه می‌شود که سکه عادلانه است، و می‌سنجد که شانس تصادفی محض با چه احتمالی داده‌ای با این شدت تولید می‌کند. این شاخص مستقیماً احتمال درست بودن فرض صفر را بیان نمی‌کند.

۰۳مرز قراردادی

معناداری آماری: مرز ۰٫۰۵ > p

بر اساس یک قرارداد تاریخی که به پیشنهاد رونالد فیشر (R. A. Fisher) آماردان برجسته بازمی‌گردد، نتایجی با ۰٫۰۵ > p اصطلاحاً دارای معناداری آماری (Statistically Significant) نامیده می‌شوند. این یک مرز قراردادی و سنتی است، نه قانونی در طبیعت! ارزش شواهد در ۰٫۰۴۹ = p و ۰٫۰۵۱ = p عملاً یکسان است، هرچند اولی «معنادار» و دومی «غیرمعنادار» برچسب می‌خورد. علاوه بر این، نتیجه‌ای که «معنادار آماری نیست» هرگز به معنای اثبات عدم وجود اثر نیست؛ چه بسا حجم نمونهٔ پژوهش برای آشکار ساختن اثر بیش از حد کوچک بوده است.

سکهٔ فرضی ما با ۶۰ بار شیر (۰٫۰۶ ≈ p) اندکی بالاتر از این خط مرزی قرار می‌گیرد. این عدم معناداری ثابت نمی‌کند سکه حتماً عادلانه است؛ بلکه نشان می‌دهد ۱۰۰ پرتاب برای اعلام نظر قطعی کافی نبوده است.

خودت رو امتحان کنسؤال ۳ از ۵

دستیابی به نتیجهٔ ۰٫۰۱ = p در یک پژوهش بالینی، به این معناست که داروی مورد آزمایش با احتمال ۹۹٪ اثربخش است.

  1. درست
  2. نادرست
جواب رو ببین

نادرست

نادرست است. ۰٫۰۱ = p یعنی اگر دارو کاملاً بی‌اثر می‌بود، داده‌هایی دست‌کم به این شدت افراطی در ۱٪ مواقع صرفاً بر اثر شانس پدیدار می‌شدند. این گزاره با احتمال اثربخشی دارو یکی نیست؛ زیرا باور به اثربخشی، به شواهد زیستی پیشین و کیفیت طراحی آزمایش نیز وابسته است.

آنچه مقدار پی (p-value) بیان نمی‌کند

  • احتمال درستی یا نادرستی فرض صفر نیست.
  • احتمال اینکه نتیجه صرفاً یک تصادف گذرا باشد نیست.
  • معیاری برای سنجش بزرگی یا اهمیت بالینی و واقعی اثر نیست.
  • این اصول برگرفته از بیانیهٔ رسمی انجمن آمار آمریکا (ASA) در سال ۲۰۱۶ است که در واکنش به کژفهمی‌های گستردهٔ علمی تدوین شد.

معناداری آماری با اهمیت عملی یکسان نیست

پژوهش عظیم با اثری ناچیز

مطالعه روی ۵۰۰٬۰۰۰ نفر. مصرف دارویی فشار خون را به طور میانگین تنها ۰٫۵ میلی‌متر جیوه کاهش می‌دهد.

مقدار پی فوق‌العاده کوچک است، اما اندازهٔ اثر (Effect Size) چنان ناچیز است که هیچ ارزش درمانی برای سلامت فرد ندارد.

پژوهش کوچک با اثری بزرگ

مطالعه روی ۴۰ نفر. دارویی جدید شدت درد بیماران را تا یک‌سوم کاهش داده است.

مقدار پی ممکن است فراتر از ۰٫۰۵ باشد. چنین نتیجه‌ای سزاوار تکرار در نمونه‌ای بزرگ‌تر است، نه نادیده گرفتن.

خودت رو امتحان کنسؤال ۴ از ۵

پژوهشی با ۵۰۰٬۰۰۰ شرکت‌کننده نشان می‌دهد نوعی رژیم غذایی به کاهش وزن «معنادار آماری» به میزان ۰٫۱ کیلوگرم منجر شده است. منصفانه‌ترین ارزیابی از این یافته چیست؟

  1. چون معنادار است، این رژیم راهکاری فوق‌العاده مؤثر است
  2. احتمالاً ارزش عملی ندارد: در نمونه‌هایی به این بزرگی، حتی اثراتی فوق‌العاده ناچیز نیز معنادار آماری می‌شوند
  3. قطعاً خطایی در محاسبات رخ داده است، زیرا مطالعات بزرگ اثرات کوچک را ثبت نمی‌کنند
  4. ۰٫۱ کیلوگرم به معناداری رسیده است، پس باید به عموم جامعه تجویز شود
جواب رو ببین

احتمالاً ارزش عملی ندارد: در نمونه‌هایی به این بزرگی، حتی اثراتی فوق‌العاده ناچیز نیز معنادار آماری می‌شوند

کاملاً درست است. حجم نمونه‌های بسیار بزرگ قادرند کوچک‌ترین تفاوت‌ها را نیز از نظر آماری معنادار کنند؛ بنابراین پی‌ولیو کوچک نشانهٔ بزرگ بودن اثر نیست. همواره باید «اندازهٔ اثر» را جویا شد: در اینجا ۰٫۱ کیلوگرم برای سلامت هیچ بیماری تعیین‌کننده نیست.

خودت رو امتحان کنسؤال ۵ از ۵

  1. پژوهشگری از پیش یک آزمون مشخص طراحی می‌کند: آیا مصرف حبوبات کلسترول خون را می‌کاهد؟ نتیجه به ۰٫۰۴ = p می‌رسد.
  2. پژوهشگر دیگری ۲۰ مادهٔ غذایی مختلف را روی یک بیماری می‌آزماید و تنها ماده‌ای را که به ۰٫۰۴ = p رسیده است در مقاله گزارش می‌کند.

هر دو پژوهشگر به ۰٫۰۴ = p رسیده‌اند. چرا باید به نتیجهٔ پژوهشگر دوم بسیار کمتر اعتماد کرد؟

  1. حبوبات از نظر علمی مفیدتر از سایر خوراکی‌ها هستند
  2. در ۲۰ بار آزمون مستقل، پیدایش دست‌کم یک نتیجه نزدیک به ۰٫۰۵ صرفاً بر اثر شانس و تصادف آماری مورد انتظار است
  3. پژوهشگر دوم از مقدار پی کوچک‌تری استفاده کرده است
  4. بیماری‌ها را نمی‌توان با شاخص مقدار پی ارزیابی کرد
جواب رو ببین

در ۲۰ بار آزمون مستقل، پیدایش دست‌کم یک نتیجه نزدیک به ۰٫۰۵ صرفاً بر اثر شانس و تصادف آماری مورد انتظار است

دقیقاً درست است. یک مقدار پی یکسان، وقتی حاصل گلچین بهترین نتیجه از میان ۲۰ تلاش مکرر باشد، ارزش علمی ناچیزی دارد. یک فرضیهٔ از پیش‌تعیین‌شده با ۰٫۰۴ = p مدرکی متوسط است؛ اما برنده شدن یک متغیر از میان ۲۰ متغیر، دقیقاً همان چیزی است که شانس آماری به خودی خود تولید می‌کند.

۰۶جمع‌بندی

مرور درس

  • فرض صفر بیانگر پیش‌فرض «عدم وجود هرگونه اثر یا تفاوت» است؛ مانند فرض عادلانه بودن سکه.
  • مقدار پی بیانگر این است که اگر فرض صفر درست می‌بود، شانس تصادفی با چه احتمالی نتیجه‌ای دست‌کم به این شدت افراطی پدید می‌آورد: ۶۰ بار شیر در ۱۰۰ پرتاب به ۰٫۰۶ ≈ p و ۶۵ بار شیر به ۰٫۰۰۴ ≈ p می‌رسد.
  • مرز ۰٫۰۵ > p یک قرارداد سنتی است؛ مقادیر ۰٫۰۴۹ و ۰٫۰۵۱ ارزش شواهدی تقریباً یکسانی دارند و «عدم معناداری» هرگز نشانهٔ نفی قطعی اثر نیست.
  • مقدار پی نه احتمال درستی فرضیه است و نه اندازهٔ اثر: همواره بزرگی واقعی و عملی تفاوت را مطالبه کنید.
  • با آزمودن ۲۰ عامل بی‌اثر، یکی از آن‌ها تصادفاً معنادار خواهد شد؛ بنابراین نسبت به نتایج منفرد در مطالعات چندمتغیره هوشیار باشید.

به سبک خودت یادش بگیر.

توی اپ از یادآی بخواه این درس رو ساده‌تر توضیح بده، از زندگی خودت مثال بزنه یا عمیق‌تر بره. بعد یه مسیر کامل دور هدف خودت بساز.

Cafe Bazaar Myket توی اپ شخصی‌سازیش کن