انتخاب توان مصرفی بهینه برای مرکز داده

مقدمه

امروزه متوسط ظرفیت عملیاتی مرکز داده به طور قابل ملاحظه‌ای کمتر از پیش‌بینی‌ها است. انتظارات اصلی در مراکز داده بزرگ، این بوده که تا کنون، ظرفیت آنها تا kW 30 در رک، افزایش یافته باشد. با این وجود، رشد میانگین ظرفیت به آهستگی پیش رفته و امروزه ظرفیت مورد نظر تنها بین kW 3-5 در رک می‌باشد. مراکز داده ای که برای ظرفیت پیش‌بینی‌شده‌ای بسیار زیاد طراحی شده‌اند، به احتمال زیاد پیش از استفاده‌ی کامل از تمام منابع سرمایش و برق خود، فضای IT مختص خود را کاملا مصرف خواهند نمود. برای اغلب مراکز داده، داشتن ظرفیت بلا استفاده برق و سرمایش بسیار پرهزینه می باشد. به نمونه ساده بیان شده در شکل 1 توجه شود.

شکل 1: نمونه نتایج حاصل از انتخاب تراکم بالا بر مبنای پیش بینی ها

نتایج تعیین ظرفیت معمولا در نظر گرفته نمی شود. اما همچنانکه در نمونه بالا نشان داده شده است، این موضوع می تواند تاثیر چشمگیری در استفاده از منابع سرمایش و توان مصرفی داشته باشد. در گزارش ” محاسبه الزامات فضا و توان مصرفی در مراکز داده”[1] روشهای سنتی و کاستی های آن در طراحی فضا و برق مورد بحث قرار گرفته و یک متدولوژی مناسب برای تعیین این الزامات (دربردارنده انواع کاربرگ‌ها) ارائه داده است.

در این گزارش محور توجه بر روندهای فناوری IT، ظرفیت بهینه، محیط های ترکیبی فاوای موجود در اغلب مراکز داده و هزینه زیرساخت ها با ظرفیت‌های متغیر، متمرکز شده است. شکل 2 خلاصه ای از تحلیل هزینه سرمایه را نشان می‌دهد(جزئیات مدل هزینه در پیوست بیان شده است). همانطور که در شکل مشخص است، در محدوده ظرفیت kW/rack 1 تا kW/rack 5 نمودار هزینه در وات، کاهش شدیدی داشته و بعد از این محدوده، منحنی حالت مسطح به خود می گیرد. بر مبنای این منحنی هزینه، این گزارش متوسط ظرفیت بهینه در هر رک را بین kW 5-8 در رک، پیشنهاد داده است. با اجرای تجهیزات فاوا در ظرفیت‌های پایین­تر، هزینه به ازای هر وات افزایش یافته و از سوی دیگر، با اجرای تجهیزات در ظرفیت‌های بالاتر،  بر پیچیدگی طراحی افزوده شده اما در ازای آن، مزیت قابل توجهی حاصل نخواهد شد.

شکل 2: صرفه جویی‌های هزینه بر حسب وات در ظرفیت بالاتر از 5kW در رک، ناپدید می شود. هزینه ها شامل رک، PDU رک، شاخه‌مدارها و فضای اشغال شده می باشد.

از آنجا که همیشه درجه ای از عدم قطعیت، در برنامه ریزی برای تجهیزات آتی فاوا وجود دارد، زیرساخت های سرمایش و برق مصرفی باید قابل انعطاف طراحی و جرا شده تا مرکز داده توانایی عملکرد در ظرفیت بالاتر یا پایین تر از حد انتظار را داشته باشد. راهبردهای برنامه‌ریزی برای دستیابی به چنین انعطاف پذیری نیز در گزارش بیان شده است.

چرا ظرفیت‌های بالا به صورت گسترده اجرا نمی شوند؟

به 2 دلیل اصلی، مراکز داده معمولا تجهیزات IT را با متوسط ظرفیتی کمتر از ظرفیت پیش بینی شده، اجرا می کنند:

• مصارف ترکیبی فاوا
• پیشرفت فناوری IT

مصارف ترکیبی فاوا

در عین حال که می‌توان یک رک را با سرورهای تیغه ای تکمیل کرده و به ظرفیت 20kW یا حتی بیشتر در رک دست یافت، اما به ندرت این شرایط برای غالب رک های مرکز داده قابل اجراست.[2] در رک های سرور، رکهای ذخیره سازی، و رک های شبکه، این ظرفیت متوسط معمولا کمتر نیز می باشد. در نتیجه حین بررسی ظرفیت، باید مشخص نمود که مقادیر مورد بحث، میانگین یا حداکثر ظرفیت است. شکل 3 تاثیر فضای مصارف ترکیبی بر میانگین ظرفیت را به تصویر کشیده است.  این مقادیر بیانگر مرکز داده‌ای معمولی در سازمان است.

شکل 3: مصارف ترکیبی در مراکز داده، میانگین ظرفیت را پایین می آورد.

پیشرفت فناوری IT

برنامه‌ریزی برای تراکم (به طور کلی طراحی ظرفیت)، چالشی در برابر مدیرانIT می باشد زیرا فناوری IT دائما در حال تغییر و رشد است. در یک چرخه بروزرسانی معمولی 2-4 ساله، گرایش به سمت بزرگ جلوه دادن نیازهای آینده و همچنین داشتن یک حاشیه امن، بسیار بیشتر شده است. دلیل این موضوع، عدم قطعیت در نوع تجهیزات فاوای مورد نیاز و میزان مصرف آن، می باشد. ویژگی‌های زیر باید برای تجهیزات IT در نظر گرفته شود :

• ویژگی های درج شده بر برچسب‌های روی تجهیزات، مصرف واقعی برق را نشان نمی‌دهد.
• توان مصرفی تجهیزات IT در طول زمان ثابت نمی باشد.
• عملکرد(رایانش) در هر وات، همواره در حال پیشرفت است.

تجهیزات معمولا، به همان میزان توان اسمی درج شده در مشخصات را، مصرف نمی کنند. به طور معمول، مقدار مصرف در دستگاه‌ها  کمتر از 50% مقدار برق ثبت شده در برچسب‌ها، می باشد. مصرف واقعی آنها به پیکربندی دستگاه مورد نظر بستگی دارد. ابزارهایی مثل HP’s Power Adviser[3] برای تخمین مقدار واقعی برق مصرفی تجهیزات فاوا استفاده می شوند. البته باز هم با استفاده از سرورهای HP’s 1U و سرورهای Moonshot مربوط آن(مانند سال 2014)، پیکربندی یک رک کامل که بیش از 10kW مصرف کند، دشوار خواهد بود.

با تغییر بار کاری وارد بر دستگاه‌ها، مصرف برق تجهیزات IT در طول زمان نیز تغییر می‌کند. سیستم های مدیریت توان در سرورهای مدرن، در طول عملکرد معمول می تواند به واریانس در برق با فاکتور 2 و بیشتر بیانجامد(اوج مصرف در مقابل مصرف ایده‌آل). همچنین محدودیت دینامیک مصرف برق در بسیاری از سرورها، حداکثر مصرف برق دستگاه را محدود می کند.

عملکرد به ازای وات در چیپ های سرور رو به بهبود است. در جدول 1 نمونه ای  از این تغییر عملکرد از سال 2010 تا 2013 نشان داده شده است. علاوه بر آن، مطابق شکل 4 مصرف برق هر RU نیز در طول زمان کاهش یافته است.

جدول 1: نمونه ای از بهبود عملکرد چیپ سرورها ازسال 2010 تا2013

	Xeon E5520	Xeon E5-2670v2
سال	2010	2013
تعداد هسته	4 هسته	10 هسته
توان	80 وات	115 وات
رتبه‌ی میانگینCPU	4588[1]	20516[2]
عملکرد بر وات	4588/80=57	20516/115=178

[1] – http://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E5520+%40+2.27GHz&id=1243

[2] – http://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E52670+v2+%40+2.50GHz&id=2152&cpuCount=2

 

شکل 4: روند توان بر حسب U در سرورهای رایج، شامل سرورهای pizza box servers، سرورهای تیغه ای و سرورهای بهینه مصرف

با توجه به روند کاهشی یا ثابت فعلی در مصرف برق چیپ‌ها، کمبود صرفه‌جویی‌های چشمگیر در هزینه از طریق استفاده از ظرفیت‌های بالاتر و همچنین عادت دیرینه‌ی صنعت در تخمین بیش از جد از ظرفیت‌های آتی، به نظر می‌رسد حداقل در آینده‌ی قابل پیش‌بینی، مراکز داده به ظرفیتی بالاتر از 5-10kW در رک دست نخواهند یافت. مشخص است که انتظار می‌رود الزامات فاوا به ظرفیت‌های بالاتری همچون رایانش با عملکرد بالاتر، تغییر کند اما، حتی در چنین فضاهایی نیز، مزایای حاصل از ظرفیت بالاتر با چالش‌هایی روبرو خواهد بود.

عوامل هزینه های سرمایه

در این گزارش یک مدل هزینه ی سرمایه ایجاد و توسعه داده شده که با تغییر ظرفیت مرکز داده، هزینه‌ی رک ها، فضا، برق و توزیع سرمایش را کمی سازی می‌کند. یک مرکز داده‌ی 1 مگاواتی(فاقد افزونگی) با ظرفیت میانگین بین kW 1 تا kW 60 در هر رک، مورد تحلیل قرار گرفته است. در این تحلیل الزامات فضا، تعداد و نوع رک ها، کلید های توزیع و کابلهای توزیع در نظر گرفته شده است. در تمام ظرفیت‌های رک، مقدار مصرف برق بر 1MW ثابت نگه داشته شده بدان معنا که برای یک مقدار ظرفیت مشخص، تمام رک‌ها مقدار مشابهی برق مصرف خواهد نمود. این روش فرضی در توزیع برق اجازه داده تا تاثیر هزینه ناشی از تغییرات توان رک حذف شود. البته این تاثیرات در قسمت بعد به صورت جداگانه کمّی‌سازی و تحلیل خواهد شد. در پیوست نیز جزئیاتی از متدولوژی و فرضیات این مدل، ارائه شده است.

در آنالیز حساسیت، 3 متغیر مهم نشان داده شده که مطابق شکل 2، اثری تعیین کننده بر منحنی هزینه به ازای هر وات ظرفیت دارند :

• پهنا و عمق رک ها
• نوع هر واحد توزیع برق در رک
• تعداد رک ها و فضای اشغالی آنها

همانطور که قبل نیز بیان شد، در منحنی هزینه به ازای وات، شیب تند کاهشی از kW/rack 1 تا kW/rack 5 مشاهده می‌شود زیرا کاهش تعداد رک ها و فضای اشغالی باعث صرفه جویی در انرژی می شود. اما اگر ظرفیت به همین گونه افزایش یابد، میزان هزینه های اضافی ناشی از نوع رک ها( رکهای با عمق و پهنای بیشتر) و همچنین هزینه های توزیع برق در رک (با کلیدهای قطع جریان و رابط‌های بزرگتر) از صرفه جویی ها به وجود آمده حاصل از کاهش تعداد رک‌ها و فضای اشغالی بیشتر خواهد شد. البته در ظرفیت بیشتر از kW/rack 5 نیز صرفه جویی انرژی وجود دارد ولی  این مقدار بسیار کمتر خواهد بود. نکته دیگر اینکه در ظرفیت بالا، می بایست مزایای صرفه‌جویی به دست آمده در برابر پیچیدگی های طراحی سنجیده شده و ارزیابی شود. شکل 5 رابطه بین این سه عامل را به تصویر کشیده است.

شکل 5: سه متغیر مهم کلید موثر بر معادله‌ی هزینه سرمایه‌ی ظرفیت

تاثیر بر برق

مدل ارائه شده در این گزارش هزینه‌ی سرمایه منابع برق شهری (مانند ژنراتور و UPS )  را در بر نگرفته زیرا تغییر در ظرفیت رک فاوا تاثیری بر این منابع ندارد. به عبارتی اگر مقدار مصرف (تعداد رک 10 × 10kW/rack)  یا (تعداد رک 20 × 5kW/rack) باشد، ظرفیت UPS و ژنراتور یکسان خواهد بود.

از آن جا که با تغییر ظرفیت، ابعاد PODها (تعداد رک‌هایی که از یک PDU یا RPP تغذیه می‌شوند) نیز تغییر خواهد نمود، در نتیجه هزینه‌ی پنلهای کنترل برق (RPP) یا واحدهای توزیع برق (PDU) نیز به طور جزیی تغییر خواهند کرد. البته این میزان هزینه زیاد نبود و در نتیجه این تغییر، عامل مهمی در تعیین ظرفیت بهینه محسوب نمی‌شود.

هزینه توزیع برق در رک عامل مهمی به شمار رفته زیرا با افزایش تراکم، ظرفیت بیشتر شده و درنتیجه باید از PDUهای رک گرانتری (ضخامت سیم بیشتر، کلید قدرت بزرگتر) برای پشتیبانی تجهیزات استفاده کرد. با توجه به ولتاژ عملیاتی، تک فاز یا سه فاز بودن برق و همچنین مقدار جریان ورودی به کلیدهای قدرت، مقادیر مشخصی برای تعیین میزان توان قابل پشتیبانی توسط PDUهای رک، وجود دارد. جدول 2 این اعداد را بیان نموده است. جزئیات بیشتر نیز در گزارش ” گزینه های تامین برق رک برای ظرفیت‌های بالا در کشورهای دارای برق AC 230V”[6] و همچنین گزارش ” گزینه های تامین برق رک‌های پرظرفیت”[7] ارائه شده است.

وات در رک: معیار اندازه‌گیری مفیدتری برای سنجش ظرفیت در مباحث مرتبط با ظرفیت، بسیاری از خبرگان مرکز داده هنوز از واحدهایی چون وات بر متر مربع یا وات بر فوت مربع استفاده می‌کنند. این امر به سردرگمی‌هایی منجر شده زیرا اغلب مشخص نیست چه سطحی در اندازه‌گیری‌ها استفاده شده است(آیا تنها سطح رک مورد توجه بوده، یا سطح حدفواصل مورد نیاز یا زیرساخت‌های فیزیکی فاوا نیز در نظر گرفته شده است). به همین دلیل، وات بر رک، واحد اندازه‌گیری مناسب‌تری به شمار رفته زیرا ابهامی در تعریف آن وجود ندارد. برای اطلاعات بیشتر به گزارش “راهنمایی برای تعیین توان مصرفی مرکز داده”[1] مراجعه کنید.

[1] – White Paper 120, Guidelines for Specification of Data Center Power Density

زمانی که واحدهای توزیع برق رک از جریان  25A (30A در آمریکای شمالی) یا با آمپر بیشتر استفاده می شود، شاخه‌مدارهایی که برق پریز ها را تامین می کنند، می بایست توسط کلیدهای قدرت قرار گرفته داخل رک‌ها، محافظت شوند. از نظر قابلیت اطمینان، بسیاری از اپراتورهای مراکز داده از بکارگیری این کلیدهای اضافی (یا به عبارتی نقاط خرابی بیشتر) اجتناب می کنند در نتیجه جریان در PDU رک، به16A/20A محدود می‌شود. این موضوع محدودیتی طبیعی در حدود kW/rack 11-11.5 برای اوج ظرفیت تعیین می‌کند.

جدول 2: اعداد طبیعی برای ظرفیت بر حسب مشخصات کلیدهای قدرت

ولتاژ در آمریکای شمالی	تک فاز			سه فاز
	A 20	A 30	A 40	A 20	A 30	A 40
V 120	kW 1.9	kW 2.9	kW 3.8	kW 5.8	kW 8.6	kW 11.5
V 208	kW 3.3	kW 5.0	kW 6.7	kW 5.8	kW 8.6	kW 11.5
V 240	kW 3.8	kW 5.8	kW 7.7	kW 11.5	kW 17.3	kW 23.0
ولتاژ اروپا	A 16	A  25	A 32	A 16	A 25	A 32
V 230	kW 3.7	kW 5.8	kW 7.4	kW 11.0	kW 17.3	kW 22.1

تاثیر بر سرمایش

مدل ارائه شده در این گزارش هزینه سرمایه سیستم سرمایش در ابعاد وسیع (مانند چیلر و برج خنک کننده ) را در نظر نگرفته زیرا این نوع خنک کننده ها نیز مانند منابع برق شهری، از تغییرات ظرفیت رک IT ، تاثیر نمی پذیرند.

همان‌طور که در مدل هزینه‌ی سرمایه فرض شده، بهترین راهکار برای مراکز داده، جداسازی جریان های هوای سرد و گرم از طریق سیستم‌های بسته می باشد. از آنجا که برای سرمایش تمامی رک‌ها با تمام ظرفیت‌های منطقی، می‌توان از تعداد یکسانی دستگاه‌های سرمایش استفاده کرد، توزیع سرمایش (سرمایش ردیفی و اتاقی) نیز از منحنی هزینه‌ی سرمایه حذف شده است (شکل 2). باید توجه داشت که در ظرفیت kW/rack 30 و بیشتر از این مقدار از سرمایش ردیفی، هزینه‌ی قابل توجهی هدر رفته و تحمیل می‌شود. این تاثیر برای سرمایش اتاق در نظر گرفته نشده است.

وقتی جریانهای هوای گرم و سرد توسط سیستم‌های بسته جدا نمی شوند، به سبب دمای متغیر هوای ترکیب شده، تاثیر محسوسی بر هزینه‌ی سرمایه دستگاه‌های توزیع هوا (CRAH/CRAC) به وجود می‌آید (بسته به جانمایی و ظرفیت). زمانی که از سرمایش محیطی بدون اجرای سیستم بسته، استفاده شده، هزینه سرمایه به طور یکنواخت تا حدود ظرفیت kW/rack 7 افزایش پیدا می کند و در ظرفیت بالاتر از این مقدار، سرمایش مداوم  تمامی رک ها در این فضا دشوارتر خواهد بود.

زمانی که از سرمایش ردیفی بدون اجرای سیستم بسته، استفاده شده، شیب منحنی هزینه تغییر خواهد کرد. در ظرفیت‌های پایین هزینه‌ی بیشتری به دلیل سیستم باز متضرر می‌شود زیرا کولرها باید در فاصله دورتری از تجهیزات IT که می باید خنک شوند، قرار دارند. با افزایش ظرفیت، اثر کوپل بسته ارتقا یافته، تفاوت هزینه ای با حالت اجرای سیستم بسته کمتر شده و منحنی هزینه‌ تقریبا مشابه منحنی هزینه‌ی سیستم هوای بسته خواهد شد.

ظرفیت و جریان هوا : تجهیزات فاوای هوا خنک، طوری طراحی شده اند که میزان مشخصی از جریان هوا را دریافت نموده و هوای گرمتری را تحویل دهند. در یک میزان مشخص از مصرف برق(kW)، هر یک از این تجهیزات به مقدار متفاوتی جریان هوا نیاز دارند. در این گزارش رابطه بین توان مصرفی و جریان هوا بررسی شده است زیرا که تاثیر زیادی بر تعداد دستگاه‌های سرمایش مورد نیاز برای خنک کردن مرکز داده می گذارد. با استفاده از داده های قابل دسترس در جداول ویژگی های Energy Star، مشاهده شده که با افزایش ظرفیت، CFM/kW  کاهش می‌یابد(شکل 6). بر مبنای فرمول انرژی گرمایی[9]، نیاز به جریان هوایی کمتر به معنی TΔ بالاتر است و T Δ بالاتر به معنای بالاتر بودن ظرفیت در هر دستگاه سرمایش می باشد. در نتیجه تعداد دستگاه‌های سرمایش کمتری برای سرمایش همان میزان بار(kW) لازم است.

شکل 6: ارتباط بین ظرفیت سرور و جریان هوا

تحلیل حساسیت مدل هزینه نشان داده که روند کاهشی CFM، عاملی تعیین کننده در هزینه های سرمایه نبوده و در نتیجه از تحلیل حذف شده است. در این تحلیل جریان هوا را 3.54 m3/minute/kW(125 CFM/kW) فرض شده است.

تاثیر بر رک و فضا

با افزایش میانگین توان در هر رک، تعداد رک ها کاهش می یابد (با فرض میزان بار ثابت فاوا). به طور مثال افزایش توان از kW/rack 3 به kW/rack  6 ، یعنی از نصف هزینه‌ی مربوط به رک ها جلوگیری شده است. با این وجود در مرحله‌ای از افزایش توان، به دلیل انبوه کابل‌های مورد استفاده،  می بایست از رک های بزرگتر استفاده نمود. رک های پهن‌تر و/یا عمیقتر گرانتر از رک‌های استاندارد، می باشند. این افزایش هزینه رک ها، می تواند صرفه جویی حاصل شده از کاهش تعداد رک ها را جبران کند. به همین خاطر است که  منحنی شکل 2 در توان بیشتر از kW 5، مسطح می شود.

با صرفه‌جویی در تعداد رک ها، در میزان فضای اشغالی از اتاق IT نیز صرفه جویی می شود. هزینه فضا (در هر متر مربع یا فوت مربع) از مکانی به مکان دیگر متفاوت بوده اما معمولا، از زیرساخت های سرمایش و منابع کلان برق شهری ارزان‌تر می باشد. به همین دلیل، بهتر است که توان را بیش از حد مورد نیاز برآورد کرده و اجازه داد تا مقداری از فضا، بلااستفاده باقی بماند تا آن که با استفاده از تمام فضا، مقداری ظرفیت بلااستفاده برق و سرمایش داشت که هزینه‌ی بیشتری از حالت اول دارد.

راهنمایی برای تعیین توان متوسط رک

در این تحلیل‌ها، راهنمایی های زیر برای تعیین میانگین توان مصرفی هر رک در مرکز داد‌ه‌ای جدید یا بازسازی شده، پیشنهاد داده است :

• با متوسط ظرفیت kW/rack 5-8، هزینه بر حسب وات بهینه خواهد بود.
• طراحی برای ظرفیت متوسط کمتر از kW/rack 5، باعث افزایش هزینه ها و زیان مالی می شود.
• طراحی برای ظرفیت متوسط بیشتر از kW/rack 8، باعث کاهش صرفه جویی در هزینه ها می شود.
• در ظرفیت‌های متوسط بیشتر از kW/rack 15، تاثیر منفی پیچیدگی های طراحی، مزایای صرفه جویی در هزینه‌ها را از بین برده و بی‌تاثیر می‌سازد.

با افزایش ظرفیت هر رک از 15kW به بالا، طراحی‌های به کار گرفته شده در پروژه‌های مرکز داده، با پیچیدگی‌هایی روبرو شده که معمولا تاثیر صرفه جویی در هزینه را از بین می‌برد. به برخی از این چالش های طراحی در زیر اشاره شده است:

• مدیریت کابل شبکه؛
• مدیریت کابل برق؛
• چالش های جریان هوا؛
• توان تحمل گرما (بدون سیستم سرمایش) در زمان قطع برق؛
• وزن رک ها و بارگذاری طبقات؛
• کلیدهای قدرت اضافی برای ظرفیت‌های (آمپر) بیشتر در PDUهای رک.

بر مبنای یافته های تحلیل هزینه، با توجه به ….. در PDUهای رک، روند های تکنولوژی‌های فعلی IT و پیچیدگی های طراحی که در ظرفیت‌های بسیار بالا به وجود آمده، بیشتر مراکز داده می بایست برای ظرفیت متوسط kW/rack 5-8 با بیشینه kW/rack 11-11.5 طراحی شوند.

ملاحظات عملکردی

علاوه بر هزینه های سرمایه،  ظرفیت نیز بر عملکرد مراکز داده تاثیر خواهد داشت. با افزایش تراکم در یک ظرفیت مشخص و در نتیجه کاهش ابعاد فضای مربوطه، بازده سرمایش بهبود خواهد یافت زیرا کانال‌ها و لوله ها در مسیر کوتاه‌تری اجرا شده و طول کمتری خواهند داشت. با کوتاه شدن طول لوله‌ها، هدررفت در پمپ و فن کاهش می‌یابد. وقتی جریان هوا بر کیلووات برای مصارف فاوا کاهش یابد، بازده سرمایش افزایش خواهد یافت(مطابق همان روند فاوا که پیشتر مطرح شد). زیرا جریان هوای کمتر در هر کیلووات به معنیT Δ (تفاضل حرارتی) بیشتر بوده و در نتیجه، بهره‌وری انتقال گرمای در کولرها افزایش می‌یابد.

با افزایش ظرفیت رک ها، نکته‌ی دیگری که باید مورد توجه قرار گیرد، زمان تحمل گرمایی است که در واقع همان مدت زمانی‌ است که پس از قطع برق و از کار افتادن سیستم سرمایش، طول می‌کشد تا هوای ورودی به تجهیزات فاوا به آستانه‌های مجاز دمایی خود رسیده و از آن دما فراتر رود. معمولا :

• برای ظرفیت ثابت (kW)، با افزایش تراکم و کاهش فضای اشغالی رک ها، مدت زمان تحمل گرمایی روند کاهشی به خود می گیرد.
• برای اتاق با ابعاد ثابت، با افزایش تراکم و ظرفیت، زمان تحمل گرمایی سیر کاهشی خواهد داشت.

استراتژی‌های سیستم هوای بسته، مدت زمان تحمل گرمایی را بهبود خواهد بخشید تا پیش از آن که در اثر قطع برق، دمای هوای ورودی تجهیزات فاوا به سطح بحرانی برسد، فرصت زمانی بیشتری در اختیار باشد. علاوه بر این، استراتژی‌هایی مانند قرار دادن فن‌ها و پمپ ها در مسیر برق UPS نیز به افزایش مدت زمان تحمل گرمایی کمک خواهد نمود. جزئیات بیشتر در مورد این اثر، در گزارش ” افزایش دمای مرکز داده حین از کار افتادن سیستم سرمایش”[10] ارائه شده است.

معمولا با افزایش تراکم، استفاده از ظرفیت شاخه‌مدار نیز بیشتر می شود. درحالی که درگذشته با افزایش تراکم، از 50% یا کمتر ظرفیت یک مدار استفاده می‌شد، امروزه این عدد به نزدیکی 80% رسیده است تا ظرفیت کلیدها را به بیشینه مقدار خود برساند. وقتی برای یک مدار خاص، حاشیه امن کمتری در نظر گرفته شده باشد، به نظارت  بیشتری نیاز خواهد بود تا از بروز اضافه‌بار در مدارها و در نتیجه توقف عملکرد جلوگیری شود.

رویارویی با عدم قطعیت

تنها معدودی از اپراتورها یا طراحان مراکز داده، می توانند به طور 100% از میزان تراکم توان رک های خود برای سالهای آینده مطمئن باشند. بر مبنای درجه‌ی عدم قطعیتی که وجود دارد، مدیران مرکز داده “سیاست های بیمه ای” مختلفی انتخاب می‌کنند:

•  برآوردهای بیش از حد نیاز در سطح رک – PDUهای رک، کلیدها و کابل های داخل هر رک، برای پاسخگویی به اوج ظرفیت مورد انتظار در هر یک از رک‌های دخل pod، برآورد شده اما ظرفیت pod از متوسط ظرفیت کل فراتر نرود.
• برآوردهای بیش از حد نیاز در سطح pod – PDUها یا RPPها و تمامی اجزای رک قرار گرفته در یک منطقه یا pod، برای پاسخگویی به اوج ظرفیت مورد انتظار در هر یک از رک‌های داخل pod، برآورد شده اما ظرفیت اتاق از متوسط ظرفیت کل فراتر نرود.

برآوردهای بیش از حد نیاز در سرتاسر اتاق –  برق کلی، سرمایش کلی، توزیع سرمایش، تمامی اجزای رک قرار گرفته در یک رک و یک منطقه یا pod، برای پاسخگویی به اوج ظرفیت مورد انتظار در هر یک از رک‌های داخل اتاق، برآورد شود.

ظرفیت متوسط در برابر اوج ظرفیت ظرفیت متوسط مقدار میانگین از ظرفیت تمام رک‌های داخل فضا (pod یا اتاق) است. اوج ظرفیت بیشترین مقدار ظرفیتی است که در فضا مشاهده شده و تمام رک‌ها برای پشتیبانی از این مقدار، طراحی می‌شوند. عبارت نسبت اوج ظرفیت به متوسط برای تعریف سطح تغییرات این دو مقدار، به کار می‌رود. نسبت 1 یعنی هر رک تنها می‌تواند تا مقدار متوسط ظرفیت برق مصرف کند. اما نسبت 2 یعنی هر رک می‌تواند تا 2 برابر متوسط ظرفیت، برق مصرف کند.

از آنجا که به ندرت تمام رک‌ها در سرتاسر مراکز داده، تراکم یکسانی دارند، به بررسی نتایج هزینه‌ای پرداخته می‌شود که ناشی از برآوردهای بیش از حد نیاز در توزیع برق رک، podها و کل اتاق برای توانایی پشتیبانی از اوج ظرفیت، می‌باشد.(به متن داخل کادر بالا مراجعه کنید.) با تغییر از سطح رک به منطقه و از منطقه به کل اتاق، انعطاف پذیری ظرفیت در داخل فضا بهبود می‌یابد. البته مقداری افزایش هزینه نیز ایجاد خواهد شد. در تحلیل‌های انجام شده، برآوردهای بیش از حد نیاز، پیامدهای مالی زیر را به دنبال داشته است:

• در سطح رک : برآوردهای بیش از حد نیاز در توزیع برق در اجزای رک برای پشتیبانی از نسبت اوج ظرفیت به متوسط معادل 2، هزینه اضافی کمتر از 1% هزینه کل کل پروژه‌ی مرکز داده را به دنبال خواهد داشت.(به شکل 7 رجوع شود.)
• در سطح منطقه (pod) : بزرگی بیش از اندازه PDUها و توزیع برق رک، برای پشتیبانی از نسبت اوج ظرفیت به متوسط معادل 2، هزینه اضافی تا 4% هزینه‌ی کل پروژه‌ی مرکز داده را به دنبال خواهد داشت.
• در سطح اتاق : بزرگی بیش از اندازه ظرفیت اتاق، برای پشتیبانی از نسبت اوج ظرفیت به متوسط معادل 2، هزینه اضافی  20% یا بیشتر (بسته به مقدار اضافی لحاظ شده در برآوردها) از هزینه‌ی کل پروژه‌ی مرکز داده را در پی خواهد داشت.

شکل 7: هزینه اضافی در طراحی توزیع رک در اوج ظرفیت 11.5kW در حدود 0.08 دلار بر وات می باشد. یعنی کمتر از 1% هزینه کل مرکز داده

در مجموع، اگر با عدم قطعیت بالایی در ظرفیت اجرا شده روبرو بوده و بتوان از طریق سیاست‌هایی پیکربندی رک‌ها را محدود کرد، برآوردهای بیش از حد نیاز می بایست در سطح رک ها اعمال شود.

ظرفیت بلااستفاده

آن چنان که تحلیل هزینه نشان می دهد، مقدار تراکم توان بهینه در محدوده بین kW/rack 5 تا kW/rack 8 قرار دارد. بسیاری از مراکز داده که از تجهیزات فاوای از پیش آماده استفاده می‌کنند، به طور طبیعی در این محدوده قرار می‌گیرند. اما اگر تراکم توان واقعی اجرا شده کمتر یا بیشتر از ظرفیت طراحی باشد، چه اتفاقی خواهد افتاد؟ دو سناریوی زیر را در نظر بگیرید:

سناریو1 : مرکز داده برای ظرفیتی بالاتر از ظرفیت اجرا شده، طراحی شده باشد.

اگر مرکز داده با ظرفیتی کمتر از مقدار طراحی شده، اجرا شود، سطح قابل استفاده از فضای فاوا، پیش از اینکه زیرساخت های سرمایش و قدرت به  طور کامل استفاده شوند، اشغال خواهد شد. نمونه ای از این حالت در شکل 1 آمده است. از آن جا که به طور منطقی، باید از روی احتیاط و برای رویایی با مشکلات احتمالی، اجرا و ساخت متناسب با ظرفیت بالاتری انجام می‌شود، این موضوع چالشی در تعیین ظرفیت محسوب خواهد شد. اما در واقعیت، چنین روش اجرایی با هزینه همراه خواهد بود.

سناریو 2 : مرکز داده برای ظرفیتی کمتر از مقدار اجرا شده، طراحی شده باشد.

زمانی که مرکز داده در ظرفیتی بیشتر از ظرفیت طراحی شده، اجرا شود، از تمام ظرفیت سیستم سرمایش و برق استفاده شده اما رک ها و/یا مقداری از فضا، بلااستفاده باقی می‌ماند.

برای اغلب مراکز داده عدم استفاده‌ی کامل از فضا بهتر از عدم استفاده از تمام توان زیرساخت های سرمایش و برق می باشد( یا هزینه اضافی کمتری دارد). در نتیجه مرکز داده می بایست برای میزان تراکم توان کمتر از مقدار پیش‌بینی ‌شده، طراحی گردد.

در هر دو حالت، در صورتی که در همان روز اول، تجهیزات مورد نیاز تامین و نصب شوند، می‌تواند ظرفیت بلااستفاده را نیز به کار گرفته و تامین کرد. بهترین راه کارها برای به حداقل رساندن ظرفیت بلااستفاده عباتند از :

• طراحی یک جعبه اتصال بیرون از تابلو اصلی تا در آینده، بتوان بدون شرایط hot work یا احتیاج به توقف عملکرد قسمتی از مرکز داده در حال کار، ظرفیت‌های اضافی مورد نیاز را اضافه کرد.
• در نظر گرفتن فضاهای خالی برای نصب کلیدهای قدرت اضافی، بر خروجی برق شهری (ظرفیت UPS)، به منظور جلوگیری از ظرفیت بلااستفاده در برق شهری، بدون ایجاد توقف عملکرد یا دیگر اقدامات تهاجمی.
• قرار دادن شیرهای یدکی لوله به منظور جلوگیری از بروز ظرفیت بلااستفاده سرمایش کلی، بدون نیاز به اقدامات تهاجمی یا توقف عملکرد.
• نصب رک های IT به صورت منطقه به منطقه، به منظور به حداقل رساندن رک های بلااستفاده، در صورتی که ظرفیت اجرا شده بیشتر از ظرفیت طراحی‌شده باشد.
• اگر بازه‌ای برای ظرفیت در نظر گرفته شده باشد، می بایست برخی از منطقه‌ها را برای متوسط ظرفیت بالاتر و باقی منطقه‌ها را برای ظرفیت متوسط طراحی نمود تا منابع با بهره‌وری بیشتری مورد استفاده قرار گیرند.
• در نظر گرفتن podها برای بهینه‌ترین استفاده از منابع سرمایش.
• تدوین و اعمال سیاست های اجرای ظرفیت، که به عنوان قوانینی برای اجرای بهینه‌ی تجهیزات فاوا در رک‌ها، عمل کند.

ماژول‌های پیش ساخته مرکز داده با توجه به سطح بالای انعطاف پذیری‌شان، گزینه ها بسیار مناسبی در ظرفیت‌هایی محسوب می‌شوند که بسیار بالاتر یا پایین‌تر از مقدار واقعی، پیش‌بینی شده‌اند. در گزارش ” انواع مراکز داده ماژولار پیش ساخته”[11]توضیحاتی درباره ماژول های برق، ماژول های سرمایش، ماژول های IT و ماژول‌های یکجا و یکپارچه ارائه شده است. زمانی که مرکز داده مقداری از ظرفیت قدرت و سرمایش خود را به دلیل اشغال تمام فضای IT بلااستفاده باقی می‌گذارد، می‌توان ماژول های IT را در فضای پارکینگ ساختمان اضافه کرده و در سیستم سرمایش و برق فعلی از آن استفاده کرد. با استفاده از این راهبرد از توقف عملکرد جلوگیری می شود. به طور مشابه زمانیکه مرکز داده فضای بلااستفاده داشته باشد، می‌توان با اضافه کردن ماژول‌های پیش ساخته سرمایش و/یا برق، از تمام فضای فاوا استفاده کرد.

نتیجه

اگرچه در گزارش‌های بسیاری از صنایع افزایشی سریع در ظرفیت‌های رک فاوا پیش‌بینی شده است، اما اغلب مراکز داده هنوز تجهیزات IT خود را با ظرفیت kW/rack 3-5 اجرا می‌کنند. انتخاب توان مصرفی رک فاوا، تاثیری مستقیم بر هزینه سرمایه‌ی مرکز داده خواهد داشت.

در این گزارش هزینه های تغییر در ظرفیت تحلیل شده و نتیجه گرفته شده که ظرفیت متوسط بهینه kW/rack 5-8 می باشد. اجرای متوسط ظرفیت در مقداری پایین تر از این، به هزینه‌های غیرضروری منجر شده و اجرای مقداری بیشتر از این نیز، باعث پیچیدگی های غیرقابل پیش بینی شده که بازده چشمگیری نیز ندارد. از آنجا که معمولا تمامی رک های مرکز داده ظرفیت یکسانی ندارند، توصیه می شود تمام رک‌ها برای اوج ظرفیتی معادل kW/rack 11-11.5 طراحی شوند که دارای میزان کمی هزینه اضافی (کمتر از 1%) است.

ظرفیت تعیین شده از ویژگی های بسیار مهمی است که باید در مراحل اولیه طراحی مرکز داده مورد بحث قرار گیرد. یک راهبرد پربازده در تعیین ظرفیت شامل موارد زیر است :

• معماری مبتنی بر منطقه (pod) انعطاف‌پذیر در تامین اوج ظرفیت؛
• تامین تجهیزات و تسهیلات مورد نیاز در محل پروژه برای پاسخگویی به عدم قطعیت در ظرفیت اجرا شده.

 

پیوست

مدل هزینه

متدولوژی هزینه به ازای وات، متغیر با متوسط ظرفیت

به منظور مشخص نمود پیامدهای هزینه‌ی سرمایه‌ی مرکز داده، یک نمونه مرکز داده 1 مگاواتی در 12 متوسط ظرفیت مختلف(ظرفیت بازه kW/rack 1 تا kW/rack 60 )، تحلیل شده است. در این تحلیل، از رویکردهای زیر استفاده شده است :

• جانمایی: برای هر ظرفیت، یک جانمایی بهینه برای رکهای IT، PDUها و کولرها تعیین شده است.
• هزینه فضا: فضای نهایی اتاق(m2) بر مبنای جانمایی تجهیزات سنجیده شده است. یک هزینه‌ی پیشفرض به ازای واحد فضا در نظر گرفته شده و از آن، برای محاسبه هزینه نهایی فضا، استفاده شده است.
• هزینه سرمایش: کولرهای ردیفی با استفاده از ابزارهای پیکربندی سرمایش و با قیمت‌های معمول خرده فروشی پبکربندی شده اند. در تعیین تعداد کولرهای مورد نیاز در هر منطقه، سیستم راهروهای بسته گرم در نظر گرفته می شوند.
• هزینه توزیع: PDUها و PDUهای رک و طول کابل با توجه به اندازه pod و ظرفیت رک و قیمت نیز بر مبنای قیمت معمول خرده فروشی تعیین می‌شوند. هزینه‌ی نصب و طراحی نیز تخمین زده می شود.
• هزینه رک: تعداد رک ها بر اساس جانمایی مشخص شده است.  نوع رک‌ها (از جهت عرض و عمق) با تغییر ظرفیت، تغییر می‌کند. در تعیین قیمت رک ها نیز از قیمت معمول خرده فروشی استفاده شده است.

تحلیل حساسیت نشان داده که کولرها وPDUها عوامل تعیین‌کننده‌ای در تغییرات هزینه نمی باشند. آنالیز ساده‌ای، تنها بر مبنای فاکتورهای هزینه رک، هزینه PDU رک و هزینه فضا انجام شده است. تصویر2 این گزارش، نشان دهنده نتایج آنالیز ساده سازی شده می باشد.

متدولوژی برای میزان هزینه اضافی بر وات با تغییر اوج ظرفیت

جدول شکل 7  نشان دهنده هزینه اضافی ناشی از تغییر اوج ظرفیت بوده که برای جانمایی معمولی از مرکز داده 1 مگا واتی با متوسط ظرفیت 5.76 کیلووات در رک می باشد. حالت هایی با نسبت اوج ظرفیت به میانگین برابر با 1.5، 2.3، 3.5، 4.6، و 6.9 تحلیل شده است. این اعداد بر مبنای حداکثر ظرفیت‌ها در PDUهای رک موجود در بازار می باشد. رویکردهای آنالیز در زیر آمده است :

• هزینه توزیع: به منظور پشتیبانی و مدیریت اوج ظرفیت در داخل رکِ درون منطقه (بدون انحراف از متوسط کلی ظرفیت)، هر رک می بایست با کلید خروجی PDU، کابل و PDU رک پیکربندی شده که قابلیت پشتیبانی در تراکم های بالا را داشته باشد.
• هزینه کل پروژه مرکز داده: ابزار محاسبه هزینه‌ی سرمایه‌ی مرکز داده به منظور تخمین مجموع هزینه‌ی پروژه مورد استفاده قرار گرفته است. سپس هزینه های اضافی ناشی از ارتقای توزیع با هزینه کل مقایسه می شود.

داده و فرضیات :

قیمت PDUها، کولرها، PDUهای رک و رک‌ها از قیمت های موجود محصولات اشنایدر الکتریک و با استفاده از قیمت‌های معمول خرده‌فروشی به دست آمده است. جدول A1  لیستی از فرضیات اضافی شبیه‌سازی که در این تحلیل مورد استفاه قرار گرفته، را آورده است.

 

فرضیات	اندازه
الزامات جریان هوای IT	3.54 متر مکعب بر دقیقه بر کیلووات برای تمامی تراکم ها
ولتاژ توزیع	120 ولت برای هزینه به وات در ظرفیت یکسان – 240 ولت برای تحلیل‌های اوج ظرفیت به متوسط
هزینه فضا	1614 دلار در هر مترمربع
عرض و عمق استاندارد رک ها	برای تراکم های کمتر از 8 کیلووات
رک ها عریض (با عمق استاندارد)	برای تراکم های بین 8 تا 20 کیلووات
رک های عریض و عمیق	برای تراکم های بیشتر از 20 کیلو وات
طول کابلهای ارتباطی PDU به PDUهای رک	بسته به جانمایی برای آنالیزهای هزینه به وات تغییر می کند. برای آنالیزهای نسبت اوج ظرفیت به متوسط، این طول 10 متر فرض می شود.
سرمایش	سرمایش کوپل بسته همراه با سیستم بسته – تمامی سرورهای هوا-خنک می باشند.
افزونگی	بدون افزونگی (معماری 1N)

[1] – White Paper 155, Calculating Space and Power Density Requirements for Data Centers
[2] – نکته: رایانش با عملکرد بالا یا HPC از این قانون مستثناست.
[3] – http://www8.hp.com/us/en/products/servers/solutions.html?compURI=1439951
[4] – http://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E5520+%40+2.27GHz&id=1243
[5] – http://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E52670+v2+%40+2.50GHz&id=2152&cpuCount=2
[6] – White Paper 28, Rack Powering Options for High Density in 230VAC Countries
[7] – White Paper 29, Rack Powering Options for High Density
[8] – White Paper 120, Guidelines for Specification of Data Center Power Density
[9] – Q (W) = 0.176 * ΔT in C * CFM OR Q(W) = 0.316 * ΔT in F * CFM
[10] – White paper 179, Data Center Temperature Rise during a Cooling System Outage
[11] – White Paper 165, Types of Prefabricated Modular Data Centers