پث‌وایز

رایانه‌ها چگونه کار می‌کننددرس ۸ از ۱۲

حافظهٔ نهان (کَش): در دسترس نگه‌داشتن داده‌های پرکاربرد

دریابید چرا دسترسی به رم نیازمند صدها پالس ساعت است، حافظه‌های نهان پرسرعت چگونه این وقفه را جبران می‌کنند و چرا پیمایش ترتیبی داده‌ها بسیار سریع‌تر از دسترسی پراکنده است.

چیزی که از این درس می‌بری

  • خواندن داده از حافظهٔ رم حدود ۱۰۰ نانوثانیه (معادل حدود ۳۰۰ پالس ساعت در یک پردازندهٔ ۳ گیگاهرتزی) زمان می‌برد.
  • حافظهٔ نهان (کَش) حافظه‌ای کم‌حجم و فوق‌سریع بر روی تراشه است که رونوشت داده‌های اخیر را در سطوح L1، L2 و L3 نگه می‌دارد.
  • اصابت به حافظهٔ نهان ظرف حدود یک نانوثانیه پاسخ داده می‌شود؛ در حالی که خطای کش به سطوح پایین‌تر و سرانجام رم رجوع کرده و داده را در مسیر برگشت ذخیره می‌کند.
فهرست این درس۷
  1. ۱۰۰ نانوثانیه: زمانی طولانی در مقیاس پردازنده
  2. حافظهٔ نهان (Cache)
  3. اصابتِ پرسرعت در برابر تأخیر ناشی از خطای کش
  4. اگر زمان اصابت در کش L1 معادل یک ثانیه می‌بود
  5. تعداد مراجعات یکسان، سرعت‌های کاملاً متفاوت
  6. سلسله‌مراتب جامع حافظه
  7. مرور این درس

۰۱شکاف سرعت

۱۰۰ نانوثانیه: زمانی طولانی در مقیاس پردازنده

یک پردازندهٔ ۳ گیگاهرتزی در هر ثانیه ۳ میلیارد بار پالس ساعت تولید می‌کند؛ بنابراین هر پالس حدود یک‌سوم نانوثانیه زمان می‌برد. در نتیجه، یک بار خواندن از حافظهٔ رم که حدود ۱۰۰ نانوثانیه طول می‌کشد، معادل ۳۰۰ پالس کلاک زمان می‌برد. در حالی که یک عمل جمع ریاضی ساده تنها حدود یک پالس زمان نیاز دارد. ازاین‌رو اگر پردازنده برای دریافت هر داده ناچار به انتظار برای حافظهٔ رم می‌ماند، تقریباً تمام توان خود را صرف توقف و انتظار بیهوده می‌کرد و عملاً بازدهی ناچیزی داشت.

۱۰۰ نانوثانیه تقسیم بر یک‌سوم نانوثانیه برای هر پالس ≈ ۳۰۰ پالس: بازهٔ زمانی ارزشمندی که پردازنده در خلال آن می‌توانست صدها عمل جمع جبری را تکمیل کند.

خودت رو امتحان کنسؤال ۱ از ۵

پردازنده‌ای با بسامد ۳ گیگاهرتز کار می‌کند (هر پالس حدود یک‌سوم نانوثانیه). در طول یک فرایند خواندن ۱۰۰ نانوثانیه‌ای از حافظهٔ رم، تقریباً چند پالس ساعت سپری می‌شود؟

  1. حدود ۳ پالس
  2. حدود ۳۰ پالس
  3. حدود ۳۰۰ پالس
  4. حدود ۳ میلیارد پالس
جواب رو ببین

حدود ۳۰۰ پالس

کاملاً درست است. ۳ پالس در هر نانوثانیه، ضرب در ۱۰۰ نانوثانیه، برابر با حدود ۳۰۰ پالس ساعت انتظار صرفاً برای واکشی یک دادهٔ منفرد خواهد بود.

حافظهٔ نهان (Cache)

اسم · سخت‌افزار

حافظه‌ای کم‌حجم و فوق‌سریع روی تراشهٔ پردازنده که رونوشتی از داده‌های اخیراً پردازش‌شده را نگهداری می‌کند تا در مراجعات بعدی، نیازی به مراجعه به حافظهٔ رم نباشد. اغلب پردازنده‌ها دارای سه سطح حافظهٔ نهان هستند: سطح ۱ (L1) با ظرفیت تقریبی ۳۲ تا ۶۴ کیلوبایت برای هر هسته و زمان دسترسی حدود ۱ نانوثانیه؛ سطح ۲ (L2) با چند صد کیلوبایت تا چند مگابایت و زمان حدود ۳ تا ۵ نانوثانیه؛ و سطح ۳ (L3) با گنجایش چند مگابایت تا ده‌ها مگابایت (اشتراکی میان تمام هسته‌ها) و زمان دسترسی حدود ۱۰ تا ۲۰ نانوثانیه.

هنگامی که پردازنده به داده‌ای نیاز دارد، ابتدا حافظهٔ L1، سپس L2 و پس از آن L3 را بررسی می‌کند و تنها در صورت نیافتن داده به حافظهٔ رم رجوع می‌نماید.

۰۳اصابت، خطای کش و سطر نهان

اصابتِ پرسرعت در برابر تأخیر ناشی از خطای کش

اگر دادهٔ درخواستی پیشاپیش در حافظهٔ نهان موجود باشد، پدیدهٔ اصابت به حافظهٔ نهان (Cache Hit) رخ می‌دهد و داده ظرف حدود یک نانوثانیه عرضه می‌شود. اگر داده موجود نباشد، با خطای کش (Cache Miss) روبه‌رو می‌شویم: درخواست به سطوح پایین‌تر و در نهایت به رم فرستاده می‌شود. به هنگام بازگشت داده از رم، رونوشتی از آن در کش ثبت می‌گردد. همچنین حافظهٔ نهان هرگز صرفاً یک بایت را واکشی نمی‌کند؛ بلکه یک سطر نهان (Cache Line) کامل (معمولاً ۶۴ بایت) را دریافت می‌کند؛ یعنی با تقاضای یک بایت، ۶۳ بایت مجاور آن نیز بی‌درنگ واکشی می‌شوند.

با خواندن نشانی ۱۰۰۰، حافظهٔ نهان کل بلوکِ نشانی‌های ۱۰۰۰ تا ۱۰۶۳ را دریافت می‌کند. بدین ترتیب تقاضای هر یک از این ۶۴ نشانی در گام‌های بعد، یک اصابت مستقیم و پرسرعت (Hit) خواهد بود.

خودت رو امتحان کنسؤال ۲ از ۵

پردازنده مقداری را تقاضا می‌کند که در هیچ‌یک از سطوح L1، L2 یا L3 وجود ندارد. چه رخ می‌دهد؟

  1. برنامه به دلیل خطای حافظهٔ نهان متوقف می‌شود
  2. داده از حافظهٔ رم واکشی می‌شود و رونوشتی از کل سطر ۶۴ بایتی آن در حافظهٔ نهان ثبت می‌گردد
  3. پردازنده داده را نادیده گرفته و به عملیات بدون آن ادامه می‌دهد
  4. داده از رم واکشی می‌شود، اما حافظهٔ نهان دست‌نخورده باقی می‌ماند
جواب رو ببین

داده از حافظهٔ رم واکشی می‌شود و رونوشتی از کل سطر ۶۴ بایتی آن در حافظهٔ نهان ثبت می‌گردد

کاملاً درست است. خطای کش (Miss) به معنای خطای نرم‌افزاری نیست، بلکه صرفاً نشان‌دهندهٔ یک مسیر دسترسی کندتر است. داده از رم دریافت شده و کل سطر ۶۴ بایتی آن در حافظهٔ نهان نگهداری می‌شود تا مراجعات بعدی با سرعت بالا پاسخ داده شوند.

قدم‌به‌قدم ببین

  1. سلسله‌مراتب حافظه: سطوح L1، L2، L3 و رم
    ۱/۴سلسله‌مراتب حافظه: سطوح L1، L2، L3 و رم

    در مجاورت پردازنده، چهار سطح ذخیره‌سازی با گنجایش فزاینده قرار دارند: کش L1 با ۶۴ کیلوبایت (حدود ۱ نانوثانیه)، کش L2 با ۱ مگابایت (حدود ۴ نانوثانیه)، کش L3 با ۳۲ مگابایت (حدود ۱۵ نانوثانیه)، و حافظهٔ رم با ۱۶ گیگابایت (حدود ۱۰۰ نانوثانیه). هر سطح نسبت به سطح پیشین بزرگ‌تر اما کندتر است (ارقام ذکرشده مقادیری نمونه و تقریبی هستند).

  2. درخواست نشانی ۱۰۰۰: عبور از سطوح کش تا رم
    ۲/۴درخواست نشانی ۱۰۰۰: عبور از سطوح کش تا رم

    پردازنده برای نخستین بار نشانی ۱۰۰۰ را درخواست می‌کند. این نشانی در سطوح L1، L2 و L3 یافت نمی‌شود؛ در هر سطح خطای کش ثبت شده و درخواست در نهایت به حافظهٔ رم هدایت می‌شود. زمان‌سنج حدود ۱۰۰ نانوثانیه را نشان می‌دهد.

  3. بازگشت سطر ۱۰۰۰ تا ۱۰۶۳؛ اصابت سریع در نشانی ۱۰۰۱
    ۳/۴بازگشت سطر ۱۰۰۰ تا ۱۰۶۳؛ اصابت سریع در نشانی ۱۰۰۱

    حافظهٔ رم صرفاً یک بایت ارسال نمی‌کند؛ بلکه کل سطر ۶۴ بایتی (نشانی‌های ۱۰۰۰ تا ۱۰۶۳) را بازمی‌گرداند که در سطوح کش ذخیره می‌شود. بنابراین هنگامی که پردازنده در گام بعد نشانی ۱۰۰۱ را طلب می‌کند، داده پیشاپیش در کش L1 حاضر است: اصابتی مستقیم ظرف حدود یک نانوثانیه.

  4. مقایسهٔ تأخیر ۱۰۰ نانوثانیه‌ای در برابر پاسخ ۱ نانوثانیه‌ای
    ۴/۴مقایسهٔ تأخیر ۱۰۰ نانوثانیه‌ای در برابر پاسخ ۱ نانوثانیه‌ای

    نمایش دو نوار زمانی در کنار یکدیگر: تأخیر خطای کش (حدود ۱۰۰ نانوثانیه) سراسر تصویر را پر کرده است؛ در حالی که زمان اصابت به حافظهٔ نهان (حدود ۱ نانوثانیه) نواری بسیار باریک است. هر دو عملیات یک نوع خواندن هستند، اما وجود داده در کش سرعت را حدود صد برابر افزایش داده است.

خودت رو امتحان کنسؤال ۳ از ۵

بلافاصله پس از خواندن نشانی ۱۰۰۰ در پویانمایی قبل، پردازنده نشانی ۱۰۴۰ را درخواست می‌کند. چه رخ می‌دهد؟

  1. یک خطای کش دیگر و ارجاع به رم (حدود ۱۰۰ نانوثانیه)، زیرا نشانی ۱۰۴۰ قبلاً درخواست نشده بود
  2. یک اصابت سریع در L1 (حدود ۱ نانوثانیه)، زیرا نشانی ۱۰۴۰ همراه با سطر ۱۰۰۰ تا ۱۰۶۳ واکشی شده بود
  3. یک اصابت اما صرفاً در سطح L3، زیرا L1 فقط یک بایت گنجایش دارد
  4. خطای حافظه، زیرا صرفاً نشانی‌های ۱۰۰۰ و ۱۰۰۱ بارگذاری شده بودند
جواب رو ببین

یک اصابت سریع در L1 (حدود ۱ نانوثانیه)، زیرا نشانی ۱۰۴۰ همراه با سطر ۱۰۰۰ تا ۱۰۶۳ واکشی شده بود

کاملاً درست است. عدم اصابت در نشانی ۱۰۰۰ موجب واکشی کل سطر ۶۴ بایتی (۱۰۰۰ تا ۱۰۶۳) شد و نشانی ۱۰۴۰ درون همین سطر جای دارد؛ این مزیت بزرگ معماری سطر نهان است.

اگر زمان اصابت در کش L1 معادل یک ثانیه می‌بود

اگر مقیاس زمان را چنان بسط دهیم که زمان دسترسی به کش L1 معادل یک ثانیه شود، در این صورت خواندن از حافظهٔ رم حدود یک‌ونیم تا دو دقیقه زمان می‌برد. خواندن داده از یک حافظهٔ SSD حدود یک روز به طول می‌انجامید، و دسترسی مکانیکی به داده‌ها روی یک دیسک سخت (هارد HDD) چند ماه زمان می‌برد! این تمثیل معروف نشان می‌دهد که هر گام فاصله گرفتن از هستهٔ پردازنده، چه هزینهٔ زمانی سنگینی را تحمیل می‌کند؛ به همین دلیل است که نگهداری داده‌های پرکاربرد در مجاورت پردازنده اهمیتی حیاتی دارد.

تعداد مراجعات یکسان، سرعت‌های کاملاً متفاوت

پیمایش ترتیبی یک آرایه

خواندن متوالی عناصر ۰، ۱، ۲، ۳ و...

یک بار خطای کش موجب واکشی یک سطر ۶۴ بایتی می‌شود و مراجعات بعدی همگی با اصابت پرسرعت مواجه می‌گردند. پردازنده در اغلب موارد تنها حدود ۱ نانوثانیه درنگ می‌کند.

این مفهوم بیانگر «محلیت مکانی» (Spatial Locality) است: استفاده از داده‌های مستقر در مجاورت داده‌های اخیر.

دسترسی پراکنده در حافظه

دنبال کردن زنجیره‌ای از اشاره‌گرهای پراکنده در نقاط گوناگون رم.

تقریباً هر بار خواندن به یک سطر کش جدید نیاز دارد؛ بنابراین اکثر مراجعات با خطای کش و تأخیر ۱۰۰ نانوثانیه‌ای همراه هستند.

همان تعداد دستورالعمل ممکن است چندین برابر کندتر اجرا شود.

خودت رو امتحان کنسؤال ۴ از ۵

کدام گزینه حافظه‌ها را به ترتیب از سریع‌ترین به کندترین نشان می‌دهد؟

  1. کش L1، ثبات، رم، SSD
  2. ثبات، کش L1، رم، SSD
  3. ثبات، رم، کش L1، SSD
  4. اس‌اس‌دی (SSD)، رم، کش L1، ثبات
جواب رو ببین

ثبات، کش L1، رم، SSD

کاملاً درست است. ثبات‌ها درون هستهٔ پردازنده تعبیه شده‌اند، کش L1 در نزدیک‌ترین فاصله به آن قرار دارد، حافظهٔ رم بیرون از تراشه است و حافظهٔ SSD کندترین بخش این زنجیره است.

سلسله‌مراتب جامع حافظه

  • ترتیب سلسله‌مراتب از بالا به پایین: ثبات‌ها ← کش L1 ← کش L2 ← کش L3 ← حافظهٔ رم ← اس‌اس‌دی (SSD) ← دیسک سخت (HDD).
  • در هر پله حرکت به سوی پایین، حافظه حجیم‌تر، از نظر هزینه به ازای هر بایت ارزان‌تر و در عین حال کندتر می‌شود.
  • کارآمدی حافظه‌های نهان مدیون اصل محلیت (Locality) است: محلیت زمانی (استفادهٔ مجدد از داده‌ها در آیندهٔ نزدیک) و محلیت مکانی (استفاده از داده‌های هم‌جوار داده‌های اخیر).
  • مدیریت حافظهٔ نهان توسط برنامه‌نویس انجام نمی‌شود؛ بلکه سخت‌افزار پردازنده آن را کاملاً خودکار سازماندهی می‌کند.

خودت رو امتحان کنسؤال ۵ از ۵

هر سطح حافظه را به زمان تقریبی خواندن اطلاعات از آن پیوند دهید

  • کش L1
  • کش L3
  • حافظهٔ رم (RAM)
  • حافظهٔ اس‌اس‌دی (SSD)

حدود ۱ نانوثانیهحدود ۱۰ تا ۲۰ نانوثانیهحدود ۱۰۰ نانوثانیهده‌ها میکروثانیه

جواب رو ببین
  • کش L1 → حدود ۱ نانوثانیه
  • کش L3 → حدود ۱۰ تا ۲۰ نانوثانیه
  • حافظهٔ رم (RAM) → حدود ۱۰۰ نانوثانیه
  • حافظهٔ اس‌اس‌دی (SSD) → ده‌ها میکروثانیه

۰۷جمع‌بندی

مرور این درس

  • خواندن داده از حافظهٔ رم حدود ۱۰۰ نانوثانیه (معادل حدود ۳۰۰ پالس ساعت در یک پردازندهٔ ۳ گیگاهرتزی) زمان می‌برد.
  • حافظهٔ نهان (کَش) حافظه‌ای کم‌حجم و فوق‌سریع بر روی تراشه است که رونوشت داده‌های اخیر را در سطوح L1، L2 و L3 نگه می‌دارد.
  • اصابت به حافظهٔ نهان ظرف حدود یک نانوثانیه پاسخ داده می‌شود؛ در حالی که خطای کش به سطوح پایین‌تر و سرانجام رم رجوع کرده و داده را در مسیر برگشت ذخیره می‌کند.
  • کش داده‌ها را در قالب سطرهای کامل ۶۴ بایتی دریافت می‌کند؛ به همین دلیل پیمایش ترتیبی داده‌ها پرسرعت و دسترسی پراکنده در حافظه کند است.
  • سلسله‌مراتب حافظه شامل ثبات‌ها، L1، L2، L3، رم، SSD و HDD است که در هر گام ظرفیت افزایش یافته و سرعت کاهش می‌یابد.

به سبک خودت یادش بگیر.

توی اپ از یادآی بخواه این درس رو ساده‌تر توضیح بده، از زندگی خودت مثال بزنه یا عمیق‌تر بره. بعد یه مسیر کامل دور هدف خودت بساز.

Cafe Bazaar Myket توی اپ شخصی‌سازیش کن