الزامات محاسبهٔ فضا و ظرفیت برق در مرکزداده [1]

مقدمه

طراحی مرکزداده دو عامل اصلی دارد که عبارت‌اند از: «مقدار مصرف فاوا به‌کیلووات» و «ابعاد فیزیکی سالن فاوا و تجهیزات». این دو با «مفهوم ظرفیت برق» وابسته شده‌اند که به‌شکل مبهمی ابعاد ساختمان را به مصرف فاوا ربط می‌دهد. مرکزداده را اغلب با عباراتی همچون «۲٬۰۰۰ متر مربع در ۱٬۰۰۰ وات در متر مربع» توصیف می‌کنند. چنین بیانی، درک شنونده از مشخصات مرکزداده را دچار سردرگمی و ابهام می‌کند. همچنین این رویکردِ قدیمی اغلب باعث استفادهٔ کمتر از ظرفیت تجهیزات برق و سرمایش می‌شود؛ که کاهش بهره‌وری الکتریکی و افزایش هزینهٔ اولیه را در پی دارد.

در این مقاله به توصیف روش بهبودیافتهٔ تعیین ظرفیتِ برق می‌پردازیم. افزون بر این، برای تعیین ظرفیت برق مرکزدادهٔ جدید، توصیه‌هایی ارائه می‌کنیم که برپایهٔ چند ویژگی ساده است.

چرا رویکرد قبلی موثر نیست

روش‌های قدیمی که ظرفیت برق را با بیانی همچون «وات در متر مربع» تعریف می‌کنند، چهار اشکال اصلی دارند.

1. در محدودهٔ محاسبات، مشخص نمی‌کنند چه عواملی را در نظر گرفته‌اند و این عوامل چگونه به تعداد رک‌ها یا دستگاه‌های فاوا مرتبط شده‌اند.
2. در محاسبهٔ برق، مشخص نمی‌کنند چه‌چیزهایی را لحاظ کرده‌اند.
3. دربارهٔ واریانس توان و تحلیل آماریِ میان ظرفیت و مصرف واقعی رک‌ها، هیچ اطلاعاتی فراهم نمی‌کنند. اینکه آیا این عدد بیشترین تعداد است؟ میانگین ناحیه است؟ میانگین بازهٔ زمانی است؟ یا مقدار دیگری را نشان می‌دهد.
4. برای مرکزداده‌ای که برنامهٔ رشد و توسعهٔ متغیر دارد یا ماژولار است یا گام‌به‌گام گسترش می‌یابد، شیوهٔ به‌کارگیری این عدد روشن نیست.

اگر برای برق و ناحیه، تعریف استاندارد فراهم شود می‌توان دو مشکل اول را بهبود بخشید. مشکلات سوم و چهارم که بسیار مهم هستند، با بهبودِ تعریف از میان نمی‌روند. آن روشی برای تعیین ظرفیت خوب است، که به متغیر بودن برق فاوا در هریک از رک‌ها و در طول زمان توجه کند؛ همچنین ماژولار بودن و رشد و توسعه را در بر بگیرد.

برای روشن‌کردن مشکل «ظرفیت مبهم»، مرکزداده‌ای معمول را با ۱٬۲۹۱٫۷ وات بر متر مربع در نظر می‌گیریم. اکنون برای اینکه بفهمیم در رک‌سرورِ مشخص این چه معنایی دارد، باید وات بر متر مربع را با رک مطابقت دهیم. بدین ترتیب بسته به پیش‌فرض‌های موجود همچون سطح اشغال هر رک، ظرفیت ۱٬۲۹۱٫۷ وات بر متر مربع برابر است با توان ۳ تا ۵ کیلووات در رک. وسط این بازه یعنی ۴ کیلووات در رک، به‌نظر منطقی می‌رسد؛ زیرا همان ظرفیت برق اندازه‌گیری‌شدهٔ معمول در مرکزدادهٔ امروزی است. با این حال هنوز متغیرهای مهمی در آن تعریف‌نشده مانده‌اند:

• اگر مصرف رک جداشده (Isolated) در مرکزداده‌ای که ۴ کیلووات در رک ساخته شده است، به‌اندازهٔ ۶ یا ۱۲ یا ۲۰ کیلووات باشد، چه خواهد شد؟
• اگر ظرفیت تجهیزات درون برخی رک‌ها از ۴ کیلووات کمتر باشد، آیا می‌توان از ظرفیت برق و سرمایش مازاد آن‌ها در رک‌های دیگر استفاده کرد؟ اگر می‌توان کدام رک‌ها؟
• اگر بعضی از رک‌ها بیشتر از ۴ کیلووات مصرف داشته باشند، آیا باید فضایی را در اطراف آن‌ها خالی گذاشت؟
• آیا می‌توان بعضی از رک‌ها را که بیشتر از ۴ کیلووات مصرف دارند، در کنار هم قرار داد؟ یا میان آن‌ها باید به‌اندازهٔ مشخصی فاصله باشد؟

با افزایش قابلیت مدیریت‌کردن برق سرور که بار مصرفی را در طی زمان کم‌وزیاد می‌کند، مبهم‌بودن ظرفیت برق پیامدهای بیشتری به دنبال دارد. روش کارآمد برای تعیین ظرفیت برق مرکزداده، باید بتواند به پرسش‌های پیش‌گفته پاسخ بدهد.

در نگاه اول باید به این پرسش پاسخ داد: اگر به‌آسانی برای مرکزداده ظرفیت بسیار زیاد تعیین کنیم، مثلا ۳۰ کیلووات در رک یا ۱۰٬۷۶۴ وات بر متر مربع، چرا مشکل حل نمی‌شود؟ درست است که چنین رویکردی با زیاده‌روی می‌تواند مشکلات پیش‌گفته را از میان بردارد؛ ولی هم‌زمان مشکلات دیگری پدید می‌آورد که هزینه و هدررفت بسیاری در پی دارد. از جمله:

• هزینهٔ مرکزدادهٔ ۱۰٬۷۶۴ وات بر متر مربعی، به‌ازای هر واحد از سطح، حدود ۸ برابر مرکزدادهٔ ۱٬۰۷۶٫۴ وات بر متر مربعی است. ازاین‌رو اگر از همهٔ ظرفیت توان استفاده نشود، مقدار زیادی از هزینهٔ سرمایه‌ای هدر می‌رود.
• اگر مرکزدادهٔ ۱۰٬۷۶۴ وات بر متر مربعی در عمل با ۱٬۰۷۶٫۴ وات بر متر مربع (۳ کیلووات در رک) کار کند، آنگاه مقدار PUE عملیات در بازهٔ ۳ تا ۵ خواهد بود. این عدد نشان می‌دهد که هدررفت انرژی بسیار زیاد است.
• اگر مرکزدادهٔ ۱۰٬۷۶۴ وات بر متر مربعی با تجهیزات فاوای کم‌ظرفیت‌تر تجهیز بشود، پیش از اینکه ظرفیت برق و سرمایش مرکزداده تکمیل شود، فضای فیزیکی آن به اتمام می‌رسد. بنابراین مقدار زیادی از ظرفیت آن بی‌فایده می‌ماند.

این مشکلات را می‌توان به این شکل خلاصه کرد: «ظرفیت اندک و عملکرد کم موجب پیش‌بینی‌ناپذیر بودن تاسیسات می‌شود و مشکلات گوناگونی را پیش می‌آورد که از مصرف و گرمای بیش از اندازه پدید می‌آیند. از سویی اگر ظرفیت به‌مقدار بسیار زیاد تعیین بشود، هزینهٔ اولیه و هزینهٔ عملیاتی بی‌دلیل افزایش می‌یابد.»

برای حل این مشکل در برنامه‌ریزی، می‌باید راه مناسب‌تری را برای تعیین ظرفیت به‌کار گرفت. از سویی به راهنمایی‌هایی نیاز است که با آن‌ها بتوان ظرفیت را در شرایط ویژه تعیین کرد. همچنین بتوان برای هنگامی که ظرفیت آینده نامعلوم است، پاسخ مناسبی داشت.

زیان‌های ناشی از بیان نادرست جزئیات ظرفیت رک‌ها

طراحی هر مرکزداده مقداری از ظرفیت میانگین را به‌عنوان هدف در نظر می‌گیرد. «ظرفیت مصرف برق فاوا» و «ظرفیت سرمایش» به‌شکل مطلوب با یکدیگر برابرند. «ظرفیت سطح اشغال فاوا» بر اساس «تعداد رک‌ها» یا «متر مربع» بیان می‌شود. «ظرفیت طراحی» نیز عبارت است از نسبت ظرفیت (بر مبنای وات) به سطح اشغال. توجه کنید در این متن چنین فرض شده که برق و سرمایش و فضا هر سه در بیشترین ظرفیت ساخته شده‌اند. به‌عنوان نمونه‌ای از ظرفیتِ کلی هدف در طراحی، می‌توان مقدار ۵ کیلووات در رک (۱٬۷۲۲ وات بر متر مربع) را مثال آورد.

اگر تجهیزات فاوا چنان اجرا شوند که از همهٔ برق و سرمایش و فضای مرکزداده استفاده بشود، هیچ زیرساختی بی‌استفاده باقی نمی‌ماند. این همان حالتِ مطلوب استفادهٔ ۱۰۰ درصدی است که تقریبا در عمل غیرممکن است. زیرا مصرف واقعی برق رک‌های فاوا اغلب از پیش معلوم نیست. اگر ظرفیت واقعی عملیات مرکزداده با مقادیر ظرفیت در طراحی هم‌خوانی نداشته باشد، بخشی از منابع یا برق یا سرمایش یا سطح (فضا)، بی‌استفاده می‌ماند. زیرساختِ هدررفته آشکارا هزینهٔ مرکزداده را افزایش می‌دهد؛ زیرا هزینه برای این منابع صرف شده ولی از آن‌ها استفاده نمی‌شود.

اگر ظرفیت واقعی تجهیزات فاوا از مقدار طراحی کمتر باشد، پیش از آنکه از تمام ظرفیت برق و سرمایش استفاده بشود، فضای موجود پر می‌شود و بدین ترتیب بخشی از ظرفیت بی‌استفاده می‌ماند. از سویی اگر ظرفیت واقعی تجهیزات فاوا از مقدار طراحی بیشتر باشد، ظرفیت برق و سرمایش پیش از پر شدن فضا تمام می‌شود و مقداری از سطح بی‌استفاده می‌ماند. برای اینکه تاثیر اقتصادی خطای بین ظرفیت واقعی و ظرفیت طراحی در مرکزداده درک شود، با استفاده از هزینهٔ ظرفیت استفاده‌نشدهٔ زیرساخت‌ها بر هزینهٔ کلی موثر مرکزداده، مدلی ایجاد شده است (هزینهٔ سرمایه‌ای [2] به‌دلار، به‌ازای وات قابل استفادهٔ فاوا). چنین تحلیلی دادهٔ شکل ۱ را به وجود می‌آورد.

شکل ۱: واریانس هزینهٔ موثر یا تفاوت ظرفیت واقعی برق با ظرفیت طراحی ۵ کیلووات در رک

شکل ۱ هزینهٔ سرمایه‌ای موثر مرکزداده را به‌دلار در واتِ قابل استفاده نشان می‌دهد که تابعی است از ظرفیت واقعیِ برق استفاده‌شده در مرکزداده. منحنی آبی (پایین) هزینهٔ کمتر را در طراحی مرکزدادهٔ کلاس دو (Tier 2) نمایش می‌دهد. منحنی قرمز (خط بالایی) نیز نمایش طراحی مرکزدادهٔ کلاس چهار است. این مدل بیانگر مرکزداده‌ای با ظرفیت طراحی ۵ کیلووات در رک (تقریبا ۱٬۷۲۲ وات بر متر مربع) است.

شکل ۱ نشان می‌دهد هنگامی که میانگین ظرفیت واقعیِ برق با ظرفیت طراحی برابر باشد، هزینهٔ موثر به‌ازای وات کمترین مقدار است. از سوی دیگر هرگاه ظرفیت واقعی از مقدار طراحی کمتر باشد، هزینهٔ موثر به‌سرعت افزایش می‌یابد. زیرا در این وضعیت، سطح زیربنای مرکزداده عامل محدودکننده‌ای است که باعث می‌شود ظرفیت برق و سرمایش بی‌استفاده بماند. روشن است برای فراهم‌کردن ظرفیت موجود، پول خرج شده است. این هزینه صرف شده برای اینکه ظرفیت به‌مقدار پیش‌بینی‌شده در طراحی، برای مصارف فاوا استفاده بشود؛ ولی در این حالت با کمتر از آنچه برنامه‌ریزی شده است کار می‌کند. بدین ترتیب هزینهٔ بیشتر صرف وات کمتر می‌شود و هزینه به‌ازای واتِ قابل استفادهٔ مصرفِ فاوا افزایش می‌یابد. از سویی هنگامی که ظرفیت واقعی از مقدار طراحی بیشتر باشد، افزایش هزینهٔ موثر ناشی از هزینهٔ فضای بی‌استفاده اندک خواهد بود. زیرا از تمام سرمایش و برق استفاده شده است و این افزایش فقط به سطح (فضا) ارتباط دارد.

از این مسئله می‌توان نکتهٔ مهمی را دریافت: اجرای فاوا با کمتر از ظرفیت طراحی، بسیار پرهزینه‌تر از اجرای بیشتر از ظرفیت طراحی است.

این نکته بدین دلیل درست است که به‌ازای هر واحد از فاوا، هزینهٔ سطح همواره بسیار کمتر از هزینهٔ برق و سرمایش [3] است. دشوار بودن پیش‌بینیِ ظرفیت واقعیِ تجهیزات فاوای مرکزداده، ما را به نکتهٔ مهم دیگری می‌رساند: اگر در هنگام ساختن مرکزداده، ظرفیت تجهیزات فاوا نامعلوم باشد، ظرفیت طراحی مرکزداده همواره می‌باید از میانگین مقدار برآوردشدهٔ ظرفیت فاوا کمتر باشد.

با این روش، بهره‌بردار مرکزداده از افتادن در منطقهٔ زیان‌بار منحنی در سمت چپ شکل ۱ پرهیز می‌کند. نتیجهٔ مهم دیگری نیز از این مسئله به دست می‌آید؛ موضوعی که کمک می‌کند یکی از عوامل قدیمی ایجادکنندهٔ سوء تفاهم میان بهره‌بردار مرکزداده و مدیریت سازمان از میان برود:

برای مرکزداده‌ای که طراحی درست داشته باشد و از همهٔ ظرفیت برق و سرمایش خود استفاده کند نیز انتظار می‌رود سطح اضافه یا فضای فاوای استفاده‌نشده داشته باشد.

چنین نتیجه‌ای کمی شگفت‌آور و در نگاه اول با شواهد موجود ناسازگار به نظر می‌رسد. با وجود این، از فضای اضافه برای رویارویی با مسئلهٔ عدم قطعیت در ظرفیت تجهیزات فاوا (اکنون یا آینده) استفاده می‌شود. این کار برای جلوگیری از ظرفیت بی‌استفاده و پرهزینهٔ برق و سرمایش، همچون بیمه عمل می‌کند. ظرفیت بی‌استفاده هنگامی ممکن است پدید آید که ظرفیت واقعی از مقدار برنامه‌ریزی‌شده در طراحی کمتر بشود. هرچه عدم قطعیت در ظرفیت آینده بیشتر باشد، باید فضای بی‌استفادهٔ فاوا بزرگ‌تر باشد.

رویکرد جدید

رویکرد جدید برای تعیین الزامات فضا و ظرفیت برق، چهار ویژگی اصلی دارد:

• در شاخص ظرفیت رک برای بیان یکای سطح فیزیکی، «رک فاوا» را به‌جای «سطح کف» به کار می‌برند. «سطح کف» در خروجی‌های فرایند طراحی، برای مواردی همچون بیان مقدار برق بر رک به کار می‌رود.
• روند تعیین شاخص ظرفیت رک، سلسله‌مراتبی و ماژولار است. در نتیجه مقدار ظرفیت ضروری برای سالن‌ها و ناحیه‌های مختلف ممکن است متفاوت باشد.
• دربارهٔ رویکرد تعیین ظرفیت، باید آگاه بود که الزامات برق رک‌های فاوا در مراکزداده گوناگون است و امکان دارد پیشاپیش و به‌درستی تعریف نشده باشد.
• دربارهٔ رویکرد تعیین ظرفیت، باید آگاه بود که الزامات برق رک‌های تجهیزات فاوا گوناگون است و امکان دارد در طول زمان تغییر کند.

اکنون پیش از پرداختن به روش مستندسازیِ شاخص ظرفیت رک، به‌ترتیب دربارهٔ هریک از این ویژگی‌ها توضیح می‌دهیم.

استفاده از رک برای واحد سنجش فضای فیزیکی

استفاده از رک‌های استاندارد، رایج‌ترین الگوی ساخت مرکزداده است. اما انواع دیگری از تجهیزات همچون ذخیره‌ساز داده و مین‌فریم نیز وجود دارند که ابعادشان در قالب رک نیست؛ ولی اندازهٔ بیشتر آن‌ها به‌آسانی درست برابر یک یا چند رک می‌شود. بدین ترتیب رک را معیار سنجش «سطح اجراشدهٔ فاوا» می‌گیریم و از «برق به‌ازای رک» به‌عنوان «معیار استاندارد ظرفیت» استفاده می‌کنیم.

متاسفانه فضای ساختمان‌ها را با سطح کف (فوت مربع یا متر مربع) می‌سنجند که به‌آسانی با رک بیان نمی‌شود. ازاین‌رو در بیشتر مواقع لازم است بتوانیم اندازهٔ رک را به ابعاد سطح طبقه تبدیل کنیم. مشکل آن است که تبدیل رک به سطح کف، به عوامل مهمی بستگی دارد که مستقل از برق به‌ازای رک است و باید جداگانه و به‌روشنی تعیین شوند:

• مقدار فضای ذخیره‌شده، برای آماده‌سازی یا جابه‌جایی رک‌ها در آینده
• مقدار فضای ضروری برای دستگاه‌های زیرساخت برق و سرمایش در داخل سالن فاوا؛ همچون PDU، دستگاه تهویهٔ مطبوع، UPS
• مقدار فضای ضروری برای خروجی، رمپ کف کاذب، همچنین ستون‌ها؛ اگر باشد
• پارتیشن‌هایی همچون قفسه‌های تقسیم‌کننده در محیط فاوا
• مقدار فضای ذخیره‌شده برای پچ‌پنل و تجهیزات شبکه؛ اگر باشد
• مقدار فضای ذخیره‌شده برای رک‌ها یا قفسه‌های ذخیره‌سازی تجهیزات؛ اگر باشد
• قابلیت تطبیق مقدار فضای ذخیره‌شده با ظرفیت واقعیِ کمتر از میانگین ظرفیت طراحی؛ اگر باشد

این عوامل تاثیر بسیاری بر مقدار فضای ضروری و ظرفیت به‌ازای هر واحد از سطح دارند و می‌باید در مرحلهٔ طراحی، همراه با «ظرفیت در رک» به‌روشنی تعریف شوند. با اینکه تعیین این ویژگی‌ها بسیار پیچیده‌تر از فقط تعیین‌کردن «وات به‌ازای متر مربع» است، خواهیم دید که این عوامل به‌سرعت تعیین می‌شوند و هم‌زمان نیز کیفیت و شفافیت را در شاخص ظرفیت رک به‌خوبی بهبود می‌بخشند. چگونگی آن را در ادامه توضیح خواهیم داد.

منطقهٔ ویژهٔ خدمات (PoD) ـ[4] در مرکزداده چیست؟

گروهی از رک‌های فاوا است که با زیرساخت برق و سرمایش جداگانهٔ خودش، به‌شکل یک واحد ترتیب یافته‌اند. با اینکه سالن‌ها پیشاپیش برای اجرای تعداد مشخصی PoD برنامه‌ریزی می‌شوند، ممکن است PoDها جداگانه اجرا بشوند یا به‌مرور توسعه یابند. PoD معمولا در همان سالن محل راه‌اندازی با طراحی استاندارد مونتاژ می‌شود، ولی ممکن است بخشی یا تمام آن پیش‌ساخته باشد. رایج‌ترین حالت PoD همان است که دو ردیف از رک در دو طرف دالان گرم قرار می‌گیرد. طراحی PoD بر اساس روش‌هایی برگرفته از تجربه‌های موفق پیشین انجام می‌شود که از طراحی مراکزدادهٔ بزرگ‌تر به‌دست آمده و بسیار توصیه شده است.

شاخص ظرفیت ماژولار و سلسله‌مراتبیِ رک

در اینجا ضروری است ظرفیت هریک از بخش‌های مختلف مرکزداده، جداگانه تعیین بشود. به‌طور کلی مرکزداده را می‌توان در سلسله‌مراتب زیر [5] خلاصه کرد:

	تاسیسات مرکزداده، شامل:
		یک یا چند سالن (اتاق) فاوا، شامل:
			یک یا چند منطقهٔ ویژهٔ خدمات (PoD) ـ[6]، شامل:
				یک یا چندین رک فاوا

از آنجا که ویژگی‌های گوناگون مرکزداده از شاخص ظرفیت در هریک از سطوح پیش‌گفته تاثیر می‌پذیرد، برای کنترل و پیش‌بینی عملکرد طراحی می‌باید ظرفیت تمامی چهار سطح پیش‌گفته را تعیین کرد. برای نمونه، مقدار توان نقطهٔ توزیع بالادستی و همچنین سیستم هوارسانی هر PoD، بر ظرفیت برق آن تاثیر می‌گذارد.

با اینکه مقدار ظرفیت کل تاسیسات را می‌توان با جمع‌کردن مقدار ظرفیت هریک از بخش‌ها به دست آورد، از این عدد (مانند وات بر متر مربع) اطلاعات کافی برای تسلط بر طراحی و دستیابی به نتیجهٔ پیش‌بینی‌پذیر فراهم نمی‌شود. در این مقاله روشی برای تعیین ظرفیت سلسله‌مراتبی بیان خواهیم کرد.

تنوع ظرفیت مرکزداده

ظرفیت مرکزداده ممکن است در هر گروه از رک‌های فاوا، در هریک از PoDها، همچنین میان سالن‌ها متفاوت باشد. ظرفیت به‌شکل فیزیکی از رک‌به‌رک یا سالن‌به‌سالن فرق می‌کند. این گوناگونی بر بستر زمان نیز رخ می‌دهد؛ زیرا تعداد دستگاه‌های فاوا با گذشت زمان پی‌درپی کم‌وزیاد می‌شود. از سویی مصرف برق دستگاه‌ها به‌فراخور بار فاوا تغییر می‌کند. همچنین ظرفیت عملیاتی هر رک با بقیه متفاوت است و همان نیز آن‌به‌آن عوض می‌شود. بدین ترتیب به نظر می‌رسد تلاش برای تعیین ظرفیت، کار بیهوده‌ای باشد. اما توجه کنید که برای تعیین ظرفیت دلیل مهمی وجود دارد: انتخاب طراحی مناسب برای مرکزداده، تا با آن از خانواده‌ای از تجهیزات فاوا پشتیبانی بشود. بدین ترتیب می‌توان پارامترهای اصلی آن خانواده از تجهیزات را که برای تعیین ظرفیتِ چنین تنوعی کافی است شناسایی کرد.

برای مشخص‌کردن ظرفیت هریک از سطوح سلسله‌مراتب مرکزداده، همچون سالن با چند «واحد» PoD، یا PoD با چند «واحد» رک، می‌توان از پنج پارامتر اساسی که جدول ۱ بیان می‌کند استفاده کرد.

توجه شود که سطح کف از جملهٔ پارامترهای ورودیِ اصلی شاخصِ ظرفیت رک نیست. مقدار سطح کف در واقع خروجی محاسبه‌شده‌ای است که از پارامترهای تعیین ظرفیت و دیگر عوامل طراحیِ وابسته به سطح کف به دست می‌آید. (نگاه کنید در همین مقاله به بخش «استفاده از رک برای واحد سنجش فضای فیزیکی»)

جدول ۱: پنج پارامتر اصلی ضروری برای تعیین فضا و ظرفیت

پارامتر تعیین ظرفیت	تعریف	چگونگی استفاده در طراحی
تعداد واحدها	تعداد رک‌های هر PoD، یا تعداد PoDهای هر سالن، یا سالن‌ها (اتاق‌ها) در هر تاسیسات	برای تبدیل مقادیر برق و سرمایش و فضای هر واحد (رک، PoD، سالن) به مقادیر کلی
میانگین توان مصرفی هر واحد در مرحلهٔ طراحی (به‌کیلووات)	پیش‌بینی کل مصرف برق به‌ازای میانگین هر واحد در تمام آن جامعهٔ آماری	برای برآورد مقادیر سیستم‌های برق و سرمایش در سطح PoD، سالن، تاسیسات
اوج مصرف برق در واحد (به‌کیلووات)	بیشینهٔ مصرف پیش‌بینی‌شدهٔ برق در هر واحد جامعهٔ آماری	برای پیش‌بینی الزامات سیستم توزیع برق و سرمایش
عدم قطعیت برق واحد (به‌درصد)	سنجش عدم قطعیت که برای مصرف واقعی برق در مقایسه با میانگین توان مصرفی در مرحلهٔ طراحی انتظار می‌رود	تعیین فضای ذخیره‌شدهٔ ضروری برای اطمینان از آنکه اجرای با ظرفیت کم، باعث ظرفیت بی‌استفاده و پرهزینه در برق و سرمایش نخواهد نشد
نسبت مصرف برق مدیریت‌شده (به‌درصد)	عامل کاهش برق (درصد میانگین توان مصرفی در مرحلهٔ طراحی)، با توجه به کارکردهای مدیریت برق در تجهیزات فاوا	برای ایجاد نقطهٔ مصرف عملیاتی، برای سیستم‌های برق و سرمایش، در جهت تعیین بهره‌وری و مصرف انرژی

روشن است تعداد واحدها و میانگین توان مصرفی، برای شکل‌گیری روش تعیین ظرفیت هر واحد، در مرحلهٔ طراحی ضروری است. ولی سه مفهوم «مقدار اوج مصرف برق»، «عدم قطعیت توان در هر واحد»، «نسبت مصرف مدیریت‌شده» مفاهیم جدیدی هستند که اکنون معرفی می‌کنیم. معرفی آن‌ها بدین دلیل لازم است که از میانگین توان مصرفی در مرحلهٔ طراحی، اطلاعات ضروری برای برآورد سیستم‌های توزیع برق و سرمایش به دست نمی‌آید. همچنین در محاسبهٔ بهره‌وری برای تعیین سطوح عملیاتی، اطلاعات کافی فراهم نمی‌شود.

نمونه‌هایی از تبیین شاخص ظرفیت رک

برای نشان‌دادن روش بهبودیافتهٔ تعیین ظرفیت و چگونگی ارتباط آن با سطح کف، دو نمونه می‌آوریم: نخست یک اتاق سرور کوچک ۴۰ کیلوواتی و دوم چند سالن تاسیسات پیچیده‌ترِ ۲ مگاواتی که برنامهٔ رشد و توسعه نیز دارد.

نمونهٔ ۱: اتاق سرور کوچک

نمونهٔ سادهٔ اتاق سرور کوچک ۴۰ کیلوواتی، بدین دلیل انتخاب شده که تاسیسات آن فقط از یک اتاق فاوا و یک PoD تشکیل شده است. ظرفیت در این نمونه برای سطح اتاق تعیین می‌شود. اتاق در اینجا همتای PoD است که گروهی از رک‌های فاوا را در بر می‌گیرد. این نمونه ساختار تعیین ظرفیت ساده‌ای دارد. در کاربرگ شکل ۲ نمای کاملی از روند این طراحی را مشاهده می‌کنید. (نیز نگاه کنید به لینک دو مقاله در پاورقی شمارهٔ [7])

این روش راهنمایی روشن و گویا برای طراحی فراهم می‌کند. خانه‌های زرد در جدول، جای ورودی‌های کاربر است. خلاصهٔ عملکرد نیز محاسبه شده است.

شکل ۲: کاربرگ ساماندهیِ پارامترهای ضروری برای تعیین ظرفیت و فضا؛ نمایش محاسبهٔ مقادیر خلاصه‌شده [8]

پارامترهای تعیین ظرفیت با روش‌های سادهٔ زیر مشخص می‌شوند:

1. تعداد رک‌ها را الزامات فاوا تعیین می‌کند.
2. برای تعیین میانگین توان مصرفی هر رک، در مرحلهٔ طراحی از مشخصاتی استفاده می‌شود که سازندگان تجهیزات فاوا ارائه می‌کنند، یا اینکه مقادیر میانگین معمول طراحی را برای هر گروه از تجهیزات در نظر می‌گیرند. در نمونهٔ بالا، مقدار آن برای اتاق سرور شرکتیِ معمول، ۴ کیلووات در رک انتخاب شده است.
3. اوج مصرف برق را با برآورد بیشینهٔ مقدار، یا با پیش‌بینی توان مُجاز رک انتخاب می‌کنند. در نمونهٔ بالا بیشینهٔ ظرفیت را ۸ کیلووات تعیین کرده‌اند. [9]
4. برآورد عدم قطعیت در مصرف برق رک، با توجه به ترکیب‌های گوناگونِ اجرای فاوا انجام می‌شود، یا با انتخاب مقادیر طراحیِ معمول مصارف به دست می‌آید. در نمونهٔ بالا ظرفیت پیش‌بینی‌شده در اجرا به‌مقدار ۱۵± درصد از میانگین توان مصرفی طراحیِ ۴ کیلوواتی انتخاب شده است.
5. عملکرد مدیریت برقِ تجهیزات فاوا، معیار محاسبهٔ نسبت توان مدیریت‌شده است. در نمونهٔ بالا انتظار می‌رود عملکرد مدیریت برق بتواند مقدار واقعی میانگین مصرف فاوا را تا ۷۰ درصد از میانگین توان مصرف طراحی کاهش دهد.

برای تعیین مقدار فضای ضروری در سالن، می‌باید نخست نیاز فضای تجهیزات فاوا را، از جمله دسترسی به رک جلو و عقب مشخص کرد [10]؛ آنگاه ضرورت‌های دیگر فضا را به الزامات فضای کلی افزود. کاربرگ شکل ۲ چنان ترتیب یافته که برای هر استفادهٔ غیر فاوا از محیط، می‌توان فضایی را در قالب یکای «جای رک‌» یا متر مربع کنار گذاشت. این در هنگام محاسبه، برای دستگاه‌های بزرگ و جاگیر سودمند خواهد بود؛ مانند تجهیزات توزیع برق و سرمایش و پچ‌پنل‌های شبکه که دوروبر رک‌ها نصب می‌شوند. «پیشنهاد ذخیرهٔ فضا برای عدم قطعیت در طراحی» برپایهٔ عدم قطعیت توان محاسبه می‌شود که کاربر تعیین می‌کند. کاربر به‌آسانی اندازه‌ای از متر مربع یا جای رک را برای برآورده‌کردن ذخیرهٔ فضای پیشنهادی کنار می‌گذارد. پیشنهاد ذخیرهٔ فضا در نمونهٔ بالا ۳٫۱۶ متر مربع است و کاربر می‌تواند با کنار گذاشتن دو جای رک (۳ متر مربع) کمابیش به این اندازه دست یابد.

باید در نظر داشته باشیم که «مشخص‌کننده» همیشه به تمام اطلاعات پیش‌گفته دسترسی ندارد. زیرا امکان دارد تعریف الزامات فاوا هنوز مبهم باشد یا پیکربندی دقیق هنوز نهایی نشده نباشد. به همین دلیل در پیوست ۱، جدولی از مقادیر معمول مصارف مختلف آورده‌ایم. در اینجا فکر اصلی این نیست که ظرفیت را به‌شکل دقیق و بازتاب‌دهندهٔ طرح فاوای با جزئیاتِ دستگاه‌به‌دستگاه تعیین کنند. البته این تقریبا هیچ‌گاه پیشاپیش معلوم نمی‌شود. بلکه در تعیین ظرفیت می‌باید از عملکرد پیش‌بینی‌پذیر و تعریف‌شدهٔ مرکزداده اطمینان یافت.

روش تعیین ظرفیت در این نمونه، به‌روشنی برای طراحی مشخص می‌کند که هرگاه میانگین توان مصرفی در طراحی برابر ۴ کیلووات و اوج مصرف هر رک برابر ۸ کیلووات یا کمتر باشد، از هر ترکیبی تا ۱۲ رک پشتیبانی می‌کند. افزون بر این پیش‌بینی می‌شود مقدار میانگین مصرف برق، با نظر به مدیریت توان برابر با ۷۰ درصد از ۴ کیلووات در رک یا درمجموع ۳۴ کیلووات باشد. بنابراین هر تضمین عملکرد برای بهره‌وری دستگاه اصلی برق و سرمایش، می‌باید در همین مقدار از ظرفیت برق باشد. می‌توان برای اجرای فاوای مرکزداده، سیاست جسورانه‌ای در پیش گرفت. بدین ترتیب که بیشینهٔ مصرف برق به‌ازای رک، به‌مقدار ۸ کیلووات باشد و مصارف در میان رک‌ها بیشتر تقسیم شوند. با بودن فضای اضافی می‌توان اطمینان داشت هرگاه ظرفیت واقعی برق فاوا تا ۱۵ درصد کمتر از مقدار میانگین توان مصرفی طراحی (۴ کیلووات) باشد، می‌توان از تمام برق و سرمایشی که در دسترس است بهره برد. توجه کنید اگر در تعیین ظرفیت از روش قدیمی وات در متر مربع استفاده بشود، هیچ‌یک از این اطلاعات اساسی را نخواهیم داشت.

نمونهٔ ۲: مرکزدادهٔ بزرگ

مرکزداده در این نمونهٔ ۲ مگاواتی با سلسله‌مراتب زیر تعریف شده است:

	تاسیسات مرکزداده، شامل:
		۴ سالن (اتاق) فاوا، شامل:
			۹ منطقهٔ ویژهٔ خدمات (PoD)، شامل:
				۱۰ رک فاوا

برای تعیین ظرفیت مرکزدادهٔ بزرگ، دو رویکرد اصلی وجود دارد:

1. از سطح رک یا PoD آغاز شود و به‌سوی ظرفیت تاسیسات پیش رود. [جزءبه‌کل]
2. از سطح تاسیسات آغاز شود و به‌سوی سالن‌ها و PoDها و رک‌ها پیش رود. [کل‌به‌جزء]

در حالت مطلوب می‌باید رویکرد اول را به کار برد. ولی این در بسیاری از موارد شدنی نیست؛ زیرا محدودیت‌های سطح تاسیسات همچون منابع برق شهری یا ابعاد فیزیکی ساختمان، همان اول تعریف شده است. با نظر به الزامات شناخته‌شدهٔ برق کل تاسیسات، می‌باید تعیین ظرفیت را از کل به جزء تا سطح سالن (اتاق) و PoD پیش برد؛ آنگاه تمام این مقادیر را تا سطح تاسیسات دوباره جمع زد. برای این کار از شیوهٔ زیر استفاده می‌شود:

1. شمردن سالن‌های تاسیسات، با تعیین برق هر سالن
2. شمردن PoDهای هر سالن، با تعیین برق هر PoD
3. شمردن رک‌های هر PoD، با تعیین برق هر رک
4. مشخص‌کردن پارامترهای استفاده از فضا در تاسیسات، سالن، PoD
5. تعیین‌کردن پارامترهای باقی‌ماندهٔ ظرفیت
6. سنجیدن و تاییدکردنِ کل ظرفیت و محدودیت‌های طراحی
7. تنظیم‌کردن و تکرار، تا برآورده‌شدن تمام الزامات طراحی

برای ساده‌شدن کار در این نمونه، ظرفیت تمام سالن‌ها و PoDها یکسان فرض شده و تنوع و تغییر تنها در سطح رک است. این فرض در بسیاری از موارد  برای طراحی، مناسب به شمار می‌رود. کاربرگ‌هایی را که در شکل ۳ می‌بینید، برای تعیین‌کردن ظرفیت در نمونهٔ ۲ مگاواتی استفاده شده‌اند.

شکل ۳: نمونه‌ای از کاربرگ مرکزدادهٔ ۲ مگاواتی

این کاربرگِ فشرده، در خود اطلاعات زیادی دربارهٔ طراحی دارد. کاربرگ دارای سه ستون است. ستون سمت چپ، بیانگر چگونگی شکل‌گیری تاسیسات از سالن‌ها است. ستون میانی، چگونگی شکل‌گیری سالن از PoDها را نشان می‌دهد. ستون سمت راست نیز چگونگی شکل‌گیری PoD از رک‌ها را بیان می‌کند. ویژگی‌های مرکزداده که از کاربرگ برای این نمونهٔ ۲ مگاواتی تعریف شده است عبارت‌اند از:

• هر PoD دارای ۱۲ رک فاوا، ۴ جای رک برای توزیع برق و سرمایش ردیفی، ابعاد سطح اشغال: ۶ در ۴ متر
• هدفِ میانگین مصرف برق در طراحی: ۵ کیلووات در رک
• اوج مصرف مجاز در هر رک: ۱۲٫۵ کیلووات؛ تا هنگامی که برق PoD از ۵۰ کیلووات برای همگی ۱۲ رک با هم بیشتر نشود.
• همهٔ نیاز فضای داخلی در این طراحی: ۲٬۳۵۲ متر مربع
• ظرفیت مرکزداده با استفاده از معیار معمول «وات بر متر مربع در سطح سالن فاوا»: ۱٬۲۰۶ وات بر متر مربع
• هر PoD دارای ۲ جای رک اضافه است تا هرگاه میانگین برق از ۵ کیلووات در رک کمتر باشد، از برق و سرمایش آن استفاده شود.
• هر سالن دارای ۲ جای PoD اضافه است. یکی برای اینکه در هنگام آماده‌سازی PoDهای جدید ناچار به تغییر PoDهای موجود نشویم. دیگری برای اینکه از برق و سرمایش آن در هنگامی که میانگین برق از ۵ کیلووات در رک کمتر باشد استفاده شود.

در مقایسه با نمونهٔ قبلی که یک اتاق بود، این کاربرگ در کار کردن با فضای ذخیره‌شده، برای پرداختن به عدم قطعیتِ ظرفیت، به‌شکل پیچیده‌تر و کارآمدتری عمل می‌کند. این شیوه در سطح فاوا و در رک به عدم قطعیت می‌پردازد. بنابراین کاربر نیازمند به محاسبهٔ آن در سطح سالن یا PoD نیست؛ زیرا این سطوح با جمع سطوح پایین‌تر از خود محاسبه می‌شوند. از سویی کاربر نیز می‌تواند در طراحی برای محاسبهٔ عدم قطعیت، فضاهایی را در سطوح مختلف ذخیره کند. می‌توان در هر PoD برای رک‌های بیشتر، در هر سالن برای PoDهای بیشتر، همچنین در تاسیسات برای سالن‌های بیشتر، فضای اضافه برای عدم قطعیت ظرفیت کنار گذاشت؛ یا ترکیبی از هر سه حالت را به کار برد. روش مناسب‌تر این است که ذخیره‌کردن فضا با هندسهٔ سالن و عوامل دیگر سازگار باشد. این کاربرگ الزامات کلی فضا را پیگیری می‌کند و به کاربر امکان می‌دهد فضای لازم را با هر ترکیبی از رک‌ها و PoDها و سالن‌های اضافه ذخیره کند.

رویکرد توسعهٔ مرکزدادهٔ دارای PoD و سالن متنوع

مطلوب این است که در تاسیسات، طراحی PoD و اتاق به‌شکل استاندارد و یکسان باشد. این ویژگی مزایای بسیاری دارد. از جمله:

• سادگی مقیاس‌گذاری (Scaling)
• استانداردسازی ابزارها و شیوه‌ها، همچنین روش‌های مدیریت
• سادگی برنامه‌ریزی و طراحی

از سویی این ویژگی همیشه مناسب و بلکه شدنی نیست؛ به‌دلیل:

• وجود انواع گوناگون از تجهیزات شناخته‌شدهٔ فاوا، با الزامات بسیار متفاوت
• سالن‌های با ابعاد از پیش تعیین‌شده، بدون امکان استانداردسازی
• PoDهای گوناگون با الزامات پایایی (Availability) متفاوت، که بر اندازهٔ فضای اشغال‌شدهٔ تجهیزاتِ افزونهٔ سرمایش و برق تاثیر می‌گذارد.

از بهترین راهکارهای توصیه‌شده برای مرکزدادهٔ بسیار بزرگ، تعیین تعداد محدودی از مدل مرجع برای رک‌های استاندارد، PoDهای استاندارد، همچنین سالن‌های استاندارد است. برای نمونه ممکن است در مرکزداده‌ای بزرگ، برای کم‌ظرفیت و پرظرفیت و ذخیره‌سازی، سه PoD استاندارد گوناگون با سطح اشغال یکسان تعیین بشود. می‌توان مرکزداده را متناسب با پیش‌بینی ترکیبِ این PoDها طراحی کرد؛ ولی انعطاف‌پذیری باید چنان تنظیم شود که در اجرای درازمدت با این ترکیب هم‌خوانی داشته باشد.

کاربرگ شکل ۳، از میانگین آماری رک‌هایی استفاده می‌کند که در PoD استاندارد و در سالن استاندارد اجرا شده‌اند. برای به‌کارگیری این روش، در ترکیب عملی می‌باید گسترش کاربرگ با انواع از پیش تعیین‌شده‌ای از PoDها یا سالن‌ها انجام بشود.

انتخاب مقدار برای پارامترهای ظرفیت

از آنجا که نادرست‌بودن پارامترهای ظرفیت موجب هزینهٔ بسیار می‌شود، در این قسمت برای انتخاب مقدار، راهنمایی لازم را بیان می‌کنیم. در پیوست ۱ مقادیر ظرفیت برای تعدادی از مصارف متداول پیشنهاد شده است. این آغاز بسیار خوبی در توسعهٔ مشخصات ظرفیت برای هر نوع از نصب است. می‌توان این اطلاعات را به همین شکل که هستند به کار برد یا متناسب با الزامات ویژه آن‌ها را تنظیم کرد.

تعداد واحدها

تعداد واحدها برای مرکزداده‌ای که کوچک و ساده باشد، همان تعداد رک‌های فاوا است که در اتاق هستند. برای مرکزدادهٔ بزرگ، تعداد واحدها سه مقدار است: تعداد رک‌های فاوا در هر PoD، تعداد PoDها در هر سالن، تعداد سالن‌ها در تاسیسات. بیشتر این مقادیر با محدودیت‌های تاسیسات تعیین می‌شود. البته تعداد رک‌های فاوا در PoD، مقدار مهمی است که در بسیاری از جنبه‌های طراحی نقش دارد. اکنون این پرسش پیش می‌آید که آیا عدد مناسبی برای تعداد رک‌های درون PoD وجود دارد؟

از آنجا که طبق تعریف، هر PoD معمولا سیستم‌های توزیع برق و سرمایش را نیز در بر می‌گیرد، اغلب اجرای آن با ظرفیت کمتر از ۲۰ کیلووات عملی نیست که بسته به ظرفیت شامل ۲ تا ۶ رک می‌شود. به‌دلیل اینکه به‌طور کلی PoD را گروه‌های به‌هم‌پیوسته از رک در نظر می‌گیرند و معمولا وجود مسیر خروج کارکنان در اطراف PoD از نظر قانونی اجباری است، بیشینهٔ تعداد رک کمابیش ۲۴ عدد است که بسته به ظرفیت، ۷۵ تا ۵۰۰ کیلووات می‌شود. در تعیین ابعاد PoD، استفاده از تجربه‌های آموزندهٔ پیشین در تغییر و توسعه به‌روش «PoD به PoD» در مقابل روش رک‌به‌رک، عامل مهمی است. کوچک‌تر بودن PoD امکان تغییرات کوچک‌تر را نیز فراهم می‌کند. PoD با ظرفیت ۵۰۰ کیلووات تقریبا ۱٬۰۰۰ سرور را در خود جای می‌دهد؛ چنین چیزی تنها برای خدمات‌دهندگان بزرگ رایانش ابری مناسب است. برای بسیاری از مشتریان، بازهٔ ۵۰ تا ۱۰۰ کیلووات با ۱۰۰ تا ۲۰۰ سرور اندازهٔ عملی‌تری است.

به‌طور کلی توصیه می‌شود هر PoD دارای ۸ تا ۲۴ رک باشد. این عدد در مرکزدادهٔ بزرگ و کم‌ظرفیت بیشتر است. برای مرکزدادهٔ کوچک و پرظرفیت، تعداد کمتری پیشنهاد می‌شود.

میانگین توان مصرفی هر واحد در مرحلهٔ طراحی

انتخاب میانگین توان مصرفیِ هر واحد در مرحلهٔ طراحی، مسئلهٔ سردرگم‌کننده و بحث‌انگیزی است. این انتخاب بر طراحی و هزینهٔ مرکزداده تاثیر بسیاری دارد. توصیه‌هایی که دراین‌باره بیان می‌شوند متناقض هستند. نخست توجه کنید که بیشتر بررسی‌ها، تفاوت مقدار اوج مصرف و مقدار عدم قطعیت را که در تعیین ظرفیت بسیار مهم هستند، به‌درستی نمی‌دانند و از هم جدا نمی‌کنند.

به یاد داشته باشید مقدار میانگین توان مصرفی در طراحی، عبارت است از مقدار نامی توان میانگین هر رک، که در بزرگی جامعهٔ آماری آن نوع رک ضرب شده باشد. اگر هر رک را در طراحی توان مصرفی ۵ کیلووات بگیریم، رک‌های ۲۰ کیلوواتی تا هنگامی که مجموع مقدار اوج مصرف‌شان از بیشینهٔ مصرف تعیین‌شده برای PoD بیشتر نشود، می‌توانند همچنان در آن PoD باقی بمانند. اغلب این تمایل وجود دارد که میانگین توان مصرفی هر رک در طراحی بیشتر از نیاز تعیین بشود، تا تجهیزات فاوایی را که در آینده اضافه می‌شوند نیز تامین کرده باشد. ولی چنان‌که گفتیم با این کار برای اینکه حاشیهٔ ایمنی ظاهری به دست آید، الزامات برق افزایش می‌یابد. بدین ترتیب است که برای دوراندیشی، مقدار را بیشتر در نظر می‌گیریم. ولی پیش‌تر در این مقاله توضیح داده‌ایم که این کار موثر نیست. مقدار بیشتر از آنچه در واقعیت اجرا می‌شود، ممکن است مرکزداده را به‌سمت چپ منحنی تصویر ۱ برانَد و به هدررفت بسیار زیاد و ناکارآمدی (Inefficiency) دچار سازد. از بهره‌برداران مرکزداده آن دسته گرفتار چنین وضعیتی می‌شوند که مقدار میانگین توان مصرف رک را در طراحی زیاد گرفته‌اند و گمان کرده‌اند مرکزداده‌ای طراحی می‌کنند که نیازهای آینده را نیز برآورده خواهد ساخت. رویکرد مناسب‌تر این است که مصرف کلی برق مرکزداده را به کیلووات انتخاب کنیم؛ آنگاه دربارهٔ برآورد برق هر رک بهترین حدس ممکن را در نظر بگیریم. پشتیبانی ظرفیت‌ آتی از مقدار طراحی متفاوت است. ما در بخش بعدی با استفاده از پارامترهای عدم قطعیت و اوج مصرف آن را بررسی خواهیم کرد.

بازهٔ توان مصرفی در مرکزدادهٔ امروزی، از ۲ تا ۳۰ کیلووات در رک است. مقدار میانگین بیش از ۱۲ کیلووات نادر است و اغلب در رایانش با عملکرد بسیار خوب (HPC) ـ[11] یا مصارف پرظرفیت رایانش ابری عملی می‌شود. بیشتر مراکزدادهٔ سازمان‌ها که کاربری‌های ترکیبی دارند، از مقدار میانگین بازهٔ ۴ تا ۸ کیلووات در رک بهره می‌گیرند. با این‌همه به‌طور کلی، مقادیر میانگین کنونی مرکزداده برای پیش‌بینی مقادیر آینده عامل مناسبی نیست.

امروزه ظرفیت رک با یکپارچه‌سازی (Consolidation)، استانداردسازی، فناوری جدید سرور، همچنین مجازی‌سازی بسیار افزایش یافته است. برپایهٔ قاعدهٔ کلی، در مرکزدادهٔ جدیدی که برای مصارف فاوای ترکیبی طراحی شده باشد، میانگین توان مصرفی هر رک در مرحلهٔ طراحی می‌باید از مصرف کنونی سازمان دست‌کم ۵۰ درصد بیشتر باشد.

عدم قطعیتِ توان مصرفی هر واحد

چنانچه ظرفیت به‌شکل موثر تعیین شده باشد، مقدار عدم قطعیتِ توان مصرفیِ هر واحد همواره کمابیش غیر از صفر خواهد بود. تنها استثنا حالتی است همچون رایانش با عملکرد بسیار خوب (HPC)، هنگامی که تاسیسات برای اجرای فاوای مشخص و استاندارد ساخته شده باشد و الزامات برق تجهیزات فاوا کاملا مشخص باشد.

توجه کنید با عدد عدم قطعیت می‌توان توضیح داد که چرا ظرفیت میانگین توان در همهٔ رک‌ها با میانگین توان مصرف هر واحد در مرحلهٔ طراحی فرق دارد. از این عدد نمی‌توان برای مقایسهٔ هریک از واحدها استفاده کرد؛ مثلا بین رک‌ها، سالن،… .

برای نمونه اگر از پیش معلوم باشد که مصرف فاوای ۸۰ درصد از رک‌ها ۴ کیلووات و ۲۰ درصد از رک‌ها ۲۰ کیلووات است، آنگاه مطمئن خواهیم بود میانگین توان مصرفی هر واحد در مرحلهٔ طراحی ۷٫۲ کیلووات در رک (میانگین وزنی یا Weighted Average) است. با اینکه ترکیبی از رک‌ها در بازهٔ ۴ تا ۲۰ کیلووات در این نمونه وجود دارد، بازهم عدم قطعیت توانِ هر واحد از تمامی این رک‌ها، برابر صفر است. اگر درصد رک‌های ۴ کیلوواتی ۸۰ درصد نباشد و به‌جای آن ۷۰ تا ۹۰ درصد باشد و بقیهٔ رک‌ها همان ۲۰ کیلووات باشند، آنگاه عدم قطعیت توان هر واحد، ۱٫۶± کیلووات یا ۲۲ درصد خواهد بود.

برای تعیین عدم قطعیت توانِ هر واحد، چنین فرض می‌کنیم که مرکزداده کاملا زیرِ بار است. آنگاه تفاوت میان اعداد پیش‌فرضِ اجرای فاوا را که به کم‌ترین و به بیشترین توان مصرفی میانگین در رک می‌انجامد در نظر می‌گیریم، و نصف آن را به کار می‌بریم. به‌دلیل هزینه‌بر بودن طراحی برای عدم قطعیت، بهتر است به‌جای اینکه از بدترین شرایط و فرض‌های بیشترین و کم‌ترین ظرفیت استفاده بشود، پیش‌فرض‌هایی را در نظر بگیریم که ظرفیت را در بازهٔ ۸۰ درصد اطمینان تعیین می‌کنند.

اوج مصرف برق به‌ازای هر واحد

گوناگونی توانِ رک‌ها کمابیش در همهٔ مراکزداده وجود دارد. اغلب توان رک‌ها از ۵۰ وات (پچ‌پنل) تا ۳۰ کیلووات (سرورهای خشابی با عملکرد بسیار خوب و تمام‌ظرفیت) مشاهده می‌شود. این امر بیانگر بازهٔ ۱ تا ۶۰ در پیش‌فرض‌های توان است.

اگر مرکزداده باید با گوناگونیِ توان رک‌ها کار کند، سیستم‌های توزیع برق و سرمایش باید بتوانند الزامات مقدار «اوج مصرف» رک‌ها را فراهم کنند. ازاین‌رو ضروری است مقدار «توزیع» برق و سرمایش از پیش‌بینی میانگین توان مصرفی هر واحد در مرحلهٔ طراحی بیشتر باشد. عامل تعیین‌کننده در انتخاب منابع برق و دستگاه‌های سرمایش، مقدار «میانگین توان مصرفی هر رک در مرحلهٔ طراحی» است. ولی برای تعیین مشخصات فنی شبکهٔ توزیع برق و سرمایش، عاملی که نقش تعیین‌کننده را دارد، مقدار «اوج توان مصرفی رک» است. با اینکه بهره‌گرفتن از اندازهٔ بیشتر از نیاز در توزیع برق و سرمایش هزینهٔ اضافی در بر دارد، الزامات ناشی از تغییرات توان رک‌ها را برآورده می‌کند. هنگامی که نسبت اوج مصرف برق رک به میانگین توان مصرفی هر واحد در مرحلهٔ طراحی، ۳ برابر یا بیشتر باشد، آنگاه شاید برای مدیریت هزینه خوب باشد که در کاهش این نسبت تلاش بشود. برای بهینه‌سازی نسبت اوج مصرف به میانگین توان مصرفی هر واحد، دو شیوه در مرحلهٔ طراحی به کار می‌رود:

1. برای هر ظرفیت، PoD جداگانه‌ای تعیین شود و رک‌های با توان همانند در آن قرار گیرد. بدین ترتیب در بین PoDها، میانگین توان مصرفی رک در طراحی متفاوت خواهد بود؛ ولی در هر PoD، نسبت بین اوج مصرف و میانگین توان در طراحی کاهش می‌یابد.
2. بیشینهٔ توان مصرفی رک با اجرای سیاست‌هایی مهار شود. سپس هرگاه لازم باشد که در هریک از رک‌ها، تجهیزات را بیشتر از ظرفیت مشخص‌شده نصب کنند، آن تجهیزات در میان چند رک مختلف به‌گونه‌ای پخش شوند که بارگذاری در بازهٔ مجاز رعایت شده باشد. در هنگامی که از اوج توان مصرفی بهره‌برداری می‌شود، دیگر به پیش‌بینی تجهیزات توزیع برق و سرمایشِ اضافه نیازی نخواهد بود. این شیوه برای مرکزداده‌ای بسیار کارآمد است که رک‌های سرور خشابی در آن درصد کوچکی از رک‌ها باشند.

در پیوست ۱ برای کاربردهای گوناگون، مقادیر معمول ارائه شده که به ایجاد اوج مصرف مناسب کمک می‌کند.

نسبت توان مدیریت‌شده

در سیستم‌های مدرن فاوا، ویژگی‌های مدیریت توان باعث می‌شود میانگین مصرف برق در طول زمان، از مقدار مصرف در شرایط بیشینهٔ بار کمتر باشد. در سیستم‌های برق و سرمایش، محاسبات ظرفیت می‌باید متناسب با توان مصرفی فاوا در شرایط بیشینهٔ بار (کارایی) طراحی شود. البته بی‌شک میانگین توان مصرفی در بهبود بازده الکتریکی عدد مهم‌تری است؛ زیرا برآورد میانگینِ مصرف برق عملیاتی را در سیستم‌های برق و سرمایش نشان می‌دهد.

هرچه این نسبت کوچک‌تر باشد، سیستم‌های برق و سرمایش بیشتر ناچار خواهند بود در شرایطی عمل کنند که مصرف کم است. البته در چنین وضعیتی معمولا بهره‌وری آن‌ها کاهش می‌یابد. در بیشتر مراکزدادهٔ امروزی، نسبت توان مدیریت‌شده تقریبا ۹۵ درصد است. ولی پیش‌بینی می‌شود در چند سال آینده این عدد برای بسیاری از مصارف ۴۰ تا ۸۰ درصد باشد.

توجه کنید که نسبت توان مدیریت‌شده، هیچ‌کدام از این چیزها را به‌شکل مشخص تغییر نمی‌دهد و اصلاح نمی‌کند: ناحیه‌ای از مرکزداده، ظرفیت نامی و ظرفیت سرمایش، سیستم‌های توزیع برق و سرمایش. با این حال به بهره‌وری یا PUE مرکزداده تاثیر زیادی می‌گذارد و می‌باید در انتخاب طراحی سیستم نقش داشته باشد. مقدار نسبت توانِ مدیریت‌شدهٔ کم، نشانهٔ طراحی ماژولار و توسعه‌پذیر است. یا طراحی‌ای که بهره‌وری بسیار خوبی در مصارف کم نشان می‌دهد و در هزینهٔ انرژی چرخهٔ عمر مرکزداده باعث صرفه‌جویی چشمگیر می‌شود. اگر به نسبت توان مدیریت‌شده در محاسبات مرکزداده بی‌توجهی بشود، نتیجهٔ محاسبه و شبیه‌سازی که برای پیش‌بینی بهره‌وری انرژی انجام بشود، بیش از اندازه خوش‌بینانه و مشکوک خواهد بود.

سیاست‌های ظرفیت فاوا

بسیار پیش می‌آید که ظرفیت رک را بهره‌بردار مرکزداده انتخاب می‌کند. برای نمونه هنگام نصب سرورهای معمول، به‌سادگی می‌توان ظرفیت رک را با فضاهای پرنشدهٔ درون آن محدود کرد. افزون بر این هرگاه کاربر در اجرای دستگاه‌ها هوشمندانه‌تر عمل کند، می‌تواند مقدار وات به‌ازای رک را با ترکیب دستگاه‌های کم‌ظرفیت و پرظرفیت در درون رک‌ها مهار کند. مسئولیت چنین تصمیم‌هایی ممکن است برعهدهٔ بهره‌بردار مرکزداده باشد، یا اختیار آن را کاربران یا دیگر نهادها داشته باشند.

ضروری است هر مرکزداده سیاست‌هایی دربارهٔ ظرفیت داشته باشد. سنجش اوج مصرف برقِ رک را نباید با حدس‌هایی برپایهٔ بدترین حالت و با برآورد بیشترین توان آتی دستگاه‌های فاوا تعیین کرد. باید محدوده‌ای منطقی ایجاد کرد و تجهیزات را واداشت تا در آن محدوده بمانند. اگر برای رک‌ها بازهٔ پیش‌بینی‌شدهٔ گسترده‌ای از توان کارکردی تعیین بشود، می‌توان از محدود شدن برق مصرفی رک در PoD بهره‌مند شد. برای چنین تاسیساتی نخست PoDها را به‌شکل مشخص، برای ظرفیت زیاد یا ظرفیت کم می‌سازند، سپس سیاست‌های‌شان را با توجه به نوع PoD تعریف می‌کنند.

مشکلی فراگیر در مراکزدادهٔ کنونی مشاهده می‌شود. بدین شکل که برخی یا بسیاری از تجهیزات فاوا، با مقدار بیشتر از میانگین یا با مقدار بیشتر از اوج ظرفیت پیش‌بینی‌شده در طراحی کار می‌کنند. چنین اضافه‌باری سیستم سرمایش و توزیع برق را دستخوش کاستی می‌کند. این وضعیت به مصرف زیاد و گرمای بیش از حد می‌انجامد. پیش‌آمدن چنین وضعیتی بدیهی است. پیش‌تر گفتیم که این مشکل در اجرای با ظرفیت کم نیز وجود دارد. زیرا ممکن است حتی در هنگامی که سیستم زیر بار می‌رود، ظرفیت برق و سرمایش به‌مقدار زیادی مازاد و بی‌استفاده بماند. استفادهٔ ناکارآمد و پراکنده و بی‌دلیل از فضای رک‌ها از عوامل اصلی ظرفیت کم است. بدین ترتیب نظارت بر مصرف برق و اعمال سیاست در هر دو اجرای رک، چه کم‌ظرفیت و چه پرظرفیت ضروری است. یک نمونه از سیاست ظرفیت را در پیوست ۲ مشاهده می‌کنید.

کاربرد مرکزدادهٔ با طراحی ماژولار

راهکارها و روش‌هایی را که توضیح دادیم، در هر مرکزداده‌ای می‌توان به کار برد. این روش‌ها در تعیین ظرفیت مرکزدادهٔ استاندارد نیز کاربرد دارند. ماژول‌های استاندارد و از پیش طراحی‌شده یا طراحی‌ مرجع برای PoDها و سالن‌ها و تاسیسات، می‌توانند و باید بتوانند ظرفیت را با استفاده از این روش تعیین کنند و طراحی مرکزداده را به‌خوبی ساده‌تر سازند.

برای آگاهی بیشتر دربارهٔ طراحی ماژولار و شیوهٔ اعمال تعیین ظرفیت و مسائل مربوط به آن، به مقالهٔ «مشخصات معماری ماژولار مرکزداده» [12] مراجعه کنید.

نتیجه‌گیری

هنگامی که ظرفیت برق مرکزداده تنها با عددی همچون وات بر متر مربع مشخص می‌شود، ویژگی‌های مهمی از عملکرد تاسیسات تعریف‌نشده باقی می‌ماند. این مسئله باعث سردرگمی بسیار در فرایندهای تعیین ظرفیت، طراحی، همچنین راه‌اندازی نهایی می‌شود و درک بهره‌برداران از قابلیت‌های مرکزداده را محدود می‌سازد.

منابع مرکزداده باید به‌گونه‌ای مشخص شوند که امکان سامان‌دادن به محدودیت‌های اصلی طراحی فراهم باشد. از سویی باید به مهندسان و پیمانکارانی که جزئیات را طراحی می‌کنند، راهنمای روشن ارائه دهد. در فرایند تعیین ظرفیت باید اطلاعاتی ارائه شود که بهره‌بردار مرکزداده برای تعیین سیاست‌ها و شیوه‌های عملیاتی به آن‌ها نیاز دارد. کاربران می‌باید اطمینان یابند که عملکرد مرکزداده پیش‌بینی‌پذیر خواهد بود.

رویکرد منطقی و سریعی که در این مقاله معرفی شد، جزئیات کافی دربارهٔ مستندسازی الزامات فضا و ظرفیتِ مرکزداده فراهم می‌آورد تا اطمینان یابیم که تاسیسات عملکرد پیش‌بینی‌پذیر دارد و برپایهٔ حدس‌وگمان کار نمی‌کند. راهنمای جزئیات طراحی در مرکزداده‌ای که ظرفیت آن با چنین شیوه‌ای مشخص می‌شود، در مقایسه با روش‌های پیشین بسیار روشن‌تر و کامل‌تر است.

حتی مرکزدادهٔ با اطلاعات ناقص و برنامهٔ نامعلوم نیز از این روش بهره‌مند می‌شود. در ادامه مقادیر معمول طراحی را برای کمک به تعریف مشخصات ظرفیت ارائه کرده‌ایم. پیش‌بینی می‌شود که PoDها و سالن‌ها و تاسیساتی که استاندارد و ماژولار و از پیش طراحی‌شده هستند، با استفاده از این روش بتوانند ظرفیت را تعیین کنند و طراحی تاسیسات آسان‌تری داشته باشند.

پیوست ۱: کاربرد پارامترهای معمول برای توضیح شاخص ظرفیت

جدول (الف) مقادیر معمول نقطهٔ آغازین را در محاسبهٔ سطح و ظرفیت مرکزداده ارائه داده است. توجه شود که بعضی از این مقادیر را نمی‌توان به همهٔ مراکزداده تعمیم داد؛ زیرا به طراحی و مدل کسب‌وکار بستگی دارد و باید برای پروژه‌های خاص، جداگانه تعیین بشود.

جدول (الف): پنج پارامتر اصلی تعیین شاخص ظرفیت و سطح

پیوست ۲: بیانیهٔ نمونه دربارهٔ روش‌های تعیین شاخص ظرفیت

روش‌های زیر راهنمای نصب تجهیزات فاوا است که برای مطمئن‌بودن از عملکرد قابل اطمینان و پیش‌بینی‌پذیر مرکزداده ارائه شده است:

سیاست‌های شاخص ظرفیت

ـ این PoD برای میانگین توان در هر رک … کیلووات و اوج مصرف … کیلووات طراحی شده است. ـ تمام جای سرورها (RU یا Rack Unit) باید با تجهیزات فاوا پر شود یا با پنل‌های کاذب بسته شود، تا بهره‌وری در بیشترین مقدار باشد و نقاط داغ کاهش یابد. ـ رک‌های جدا را ممکن است نتوان برای توان بیشتر از بیشینهٔ ظرفیت پیکربندی کرد. به این دلیل که ظرفیت سیستم توزیع برق به‌اندازه‌ای نیست که از تجهیزات با ظرفیت بیشتر از مقدار اوج مصرف پشتیبانی کند، یا اینکه رک جریان هوای کافی دریافت نمی‌کند. هرگاه توان رکِ مشخص از اوج مصرف بیشتر بشود، باید یکی از گزینه‌های زیر را به کار برد: بعضی از تجهیزات فاوای آن رک، میان رک‌های دیگری که بیشینهٔ مصرف‌شان کمتر از اوج مصرف است پخش شوند. در صورت امکان با کابل‌کشیِ دوباره، ظرفیت رک‌های فعلی افزایش یابد. PoD جایگزینی که مقدار اوج مصرف رک در آن بیشتر باشد، پیدا یا راه‌اندازی شود. ـ اگر رک‌ها با دستگاه‌های کم‌ظرفیتی همچون پچ‌پنل، سویچ، دستگاه ذخیره‌ساز، یا دیگر دستگاه‌های کم‌مصرف پیکربندی شده باشند، مطمئن بشوید که میانگین توان رک‌های PoD نزدیک به ظرفیت میانگین می‌ماند. زیاده‌روی در نصب تجهیزات کم‌ظرفیت، موجب ظرفیت مازاد و بی‌فایده در برق و سرمایش می‌شود. اگر میانگین توان از ظرفیت PoD کمتر باشد، اجرای یکی از گزینه‌های زیر پیشنهاد می‌شود: نصب فیزیکی دستگاه‌ها را وارسی کنید تا مطمئن شوید چیدمان به‌گونه‌ای است که تا حد ممکن از فضای بی‌استفادهٔ درون رک (RU) کاسته است. بعضی از دستگاه‌های کم‌ظرفیت را در بخش انتهایی رک و متصل به ستون‌های پشتی نصب کنید تا فضای اشغال‌شدهٔ RU کاهش یابد و بتوان از این فضا بهتر استفاده کرد. اگر ممکن است از پچ‌پنل‌های پرظرفیت استفاده کنید. ـ برای تعیین مصرف برقِ رک‌های موجود، تجهیزات در دسترس و آمادهٔ نصب، همچنین تجهیزات پیشنهادی، با مهندسان مرکزداده مشورت کنید.

پانویس

[1] این مطلب بخشی از کتاب «آئین‌نامهٔ مهندسی مرکزداده» و ترجمهٔ فارسی مقالهٔ زیر است:

APC White Paper 155: “Calculating Space and Power Density Requirements for Data Centers” (Revision 0)

نویسنده نیل راسموسن (Neil Rasmussen) [آشنایی با نویسنده و مطالعه‌ی مقالات فارسی او]، مترجم نازلی مجیدی، بازنویسی و ویراستاری پرهام غدیری‌پور، به‌کوشش دکتر بابک نیکفام، تهیه‌شده در باشگاه مراکزداده

[2] A Capital Expenditure (CAPEX)

[3] این نکته دربارهٔ ظرفیت‌های معمول امروزی درست است. هزینهٔ فضا را تنها زمانی می‌توان با هزینه‌های سرمایش و برق مقایسه کرد که ظرفیت کمتر از ۱ کیلووات در رک باشد.

[4] Data center Point of Delivery (PoD)

[5] توجه کنید این سلسله‌مراتب کلی است و تمام آن ممکن است‌ برای مرکزدادهٔ کوچک‌تر قابل اجرا نباشد. برای نمونه تاسیسات اتاق سرور کوچک ممکن است تنها یک اتاق با یک PoD باشد که تعیین ظرفیت برای آن بسیار ساده خواهد بود.

[6] منطقهٔ ویژهٔ خدمات (PoD) ناحیه یا خوشه یا ردیف نیز نامیده می‌شود. این واژه‌ها در طراحی مرکزداده برای بیان مفاهیم دیگری نیز استفاده می‌شود و به‌کاربردن آن‌ها برای PoD چندان مناسب نیست. در مرکزدادهٔ کوچک ممکن است این سطح را نادیده بگیرند و به‌سادگی رک‌های فاوا را در اتاق اجرا کنند.

[7] مقالهٔ «پروژه‌های مرکزداده: برنامه‌ریزی سیستم»؛ متن اصلی: «APC White Paper 142: Data Center Projects: System Planning» و مقالهٔ «مشخصات معماری ماژولار مرکزداده»؛ متن اصلی: «APC White Paper 160: Specification of Modular Data Center Architecture»

[8] یکای مساحت در جدول متن اصلی «فوت مربع» بود. در متن فارسی آن را به متر مربع تبدیل کرده‌ایم. (ویراستار)

[9] بازهم توجه می‌دهیم که قابلیت اوج مصرف بدین منظور است که در هنگام اوج مصرف بتوان جابه‌جایی رک‌ها را انجام داد. یادآوری می‌شویم که کل مصرف برق رک‌ها هیچ‌گاه از مقدار میانگین محاسبه‌شده در طراحی بیشتر نمی‌شود.

[10] به‌عنوان بخشی از سطح اشغال رک، درنظرگرفتن فضای لازم برای داشتن دسترسی از جلو و عقب کار مفیدی است. زیرا هنگام افزودن یا خارج‌کردن رک از PoD، این دسترسی‌های ضروری و فضاهای خروجی به‌شکل خودکار محاسبه می‌شوند و به محاسبهٔ جداگانه نیاز نخواهد بود.

[11] High Performance Computing (HPC)

[12] APC White Paper 160: Specification of Modular Data Center Architecture