راهبردهای سرمایشی برای رک‌های با ظرفیت بسیار زیاد و انبوه سرورهای خشابی (Blade Server) ـ[1]
مقدمه
میزان برقی که تجهیزات نصب‌شده در هر رک مصرف می‌کنند، ممکن است بسیار متفاوت باشد. میانگین توان مصرفی هر رک در مرکزداده تقریبا ۱٫۷ کیلووات است؛ ولی اگر رک با سرورهای پرظرفیت مانند سرور خشابی پر بشود، تا بیش از ۲۰ کیلووات نیز افزایش می‌یابد. نیاز برق و سرمایش چنین مصارفی بسیار بیشتر از ظرفیت طراحی‌شده در مرکزدادهٔ معمول است.
بهره‌برداران دربارهٔ کار با رک‌های با مصرف بیشتر از ۱۰ کیلووات، تجربهٔ کمی دارند. ولی از شرایط جدید چنین برمی‌آید که بسیاری از آنان در آینده با نصب تجهیزات و تامین سرمایش و برق برای رک‌های پرظرفیت، به‌شکل تکی یا چندتایی، روبه‌رو خواهند شد.
ساده‌ترین راه‌حل برای این مشکل، طراحی مرکزداده‌ای است که بتواند برای هر رک تا ۲۰ کیلووات افزونگی برق و سرمایش تامین کند. متاسفانه چنین کاری هیچ‌گاه از نظر فنی ممکن و مقرون‌به‌صرفه نیست. انتخاب‌کردن مرکزدادهٔ نامناسب برای بهره‌برداری پرظرفیت، باعث چندین برابر شدن هزینهٔ چرخهٔ عمر زیرساخت فیزیکی می‌شود. هدف اصلی این مقاله ارائه‌کردن طرح کلیِ با قابلیت اجرا است؛ همچنین راهبردهای موثری که با آن‌ها بتوان رک‌های پرظرفیت و سرورهای خشابی را در مرکزداده راه‌اندازی کرد.
در این مقاله ابتدا دربارهٔ مفهوم «توان مصرفی» (Power Density) توضیح می‌دهیم. سپس مقادیر واقعی توان مصرفی را در مرکزدادهٔ فعلی و همچنین مرکزدادهٔ جدید بررسی می‌کنیم. آنگاه رویکردهای عملی برای دستیابی به سیستم پرظرفیت ارائه می‌دهیم و محدودیت‌ها و مزایای هریک از آن‌ها را بیان می‌کنیم. در پایان نیز برای اجرای رایانش پرظرفیت، راهکارهای منطقی و عملی ارائه می‌نماییم.
روشن‌کردن مفهوم «توان مصرفی» در مرکزداده
به‌دلیل ابهام در معنای اصطلاح «توان مصرفی»، هنگام به‌کاربردن آن ممکن است بدفهمی‌های بسیاری رخ بدهد. معمولا توان مصرفی را با «وات در متر مربع» یا «وات در رک» بیان می‌کنند. چنین توصیف ساده‌ای هنگامی کافی است که همهٔ رک‌ها به‌مقدار یکسان برق مصرف کنند. ولی عملا در مرکزداده، رک‌ها توان مصرفی بسیار گوناگونی دارند. در نمونه‌های واقعی (شکل ۱)، توان مصرفی به‌ترتیب در سطح رک، در سطح ردیف، در سطح اتاق اندازه‌گیری شده است و می‌بینیم که با هم بسیار متفاوت هستند. چنین تفاوتی تاثیر زیادی بر طراحی سیستم‌های زیرساخت برق و حتی بیشتر از آن بر طراحی سیستم سرمایش دارد.
در شکل ۱ برای محاسبهٔ ظرفیت، سطح اشغال (Footprint) هر رک را ۲٫۳ متر مربع در نظر گرفته‌ایم. [2] ظرفیت رک‌ها ۱۲ کیلووات است که در یک اتاق معمول نصب شده‌اند. در الگوی اول، ۱۵ درصد از رک‌های اتاق ۱۲ کیلووات ظرفیت دارند و بقیه ۱ کیلوواتی هستند. در الگوی دوم نیز همان ۱۵ درصد از رک‌ها ۱۲ کیلوواتی هستند؛ ولی همهٔ آن‌ها را در یک ردیف کنار هم چیده‌اند. در الگوی سوم، ظرفیت مصرف برقِ همگی رک‌های اتاق ۱۲ کیلووات است. اوج مصرف برق در هر سه الگو، برای مقدار ۱۲ کیلووات در رک یکسان است؛ یعنی ۵٫۲ کیلووات بر متر مربع. با این حال در سطح ردیف و در سطح اتاق، توان مصرفی آن‌ها بسیار متفاوت است.
شکل ۱: توان مصرفی به‌وات در واحد سطح، برای سه نوع پیکربندی سالن: در رک، در ردیف، در سالن
تفاوت میان توان مصرفی در سه الگوی شکل ۱، در حقیقت بیانگر الگوهای واقعی نصب تجهیزات است. این تفاوت‌ها به‌مقدار زیادی بر طراحی زیرساخت برق و سرمایش تاثیر می‌گذارند. ظرفیت کلی سیستم برق و سیستم سرمایش، به‌سادگی از حاصل‌جمع برق مصرف‌شده در تجهیزات این دو بخش به دست می‌آید. از این طریق به‌آسانی می‌توان ابعاد کلی UPS و دستگاه‌های «تهویهٔ مطبوع سالن‌های سرور» (CRAC) ـ[3] را به‌درستی تعیین کرد. مشکلاتی که از مقدار اوج مصرف و کم‌وزیاد شدن مصرف برق به وجود می‌آید، بیش‌ازهمه به توزیع برق و هوارسانی در مرکزداده اثر می‌گذارد.
باید توجه داشت که تعریف پیش‌گفته از توان مصرفی، ناظر است بر تمامی سطح طبقه. از جمله محیط‌هایی همانند راهروهایی که چون به آن‌ها نیاز هست، در اندازه‌گیری‌ها به مجموع سطح اشغال رک‌ها اضافه می‌شوند. این روش رایج‌ترین روش محاسبهٔ ظرفیت است که در این مقاله نیز استفاده می‌شود. با این حال در برخی نوشته‌ها، به‌ویژه در مستندات تولیدکنندگانِ تجهیزات اصلی کامپیوتری (OEMها) [4]، در تعریف ظرفیت که به‌شکل وات در واحد سطح بیان می‌شود، فقط سطح اشغال رک‌ها را محاسبه می‌کنند. اگر مقدار ظرفیت، بر مبنای سطح اشغالِ تجهیزات محاسبه بشود، آنگاه باید حدود ۷۵ درصد کمتر از مقدار خودش در محاسبات وارد شود.
ظرفیت توان مصرفی واقعی در مرکزدادهٔ فعلی
اشنایدر الکتریک و سازمان‌های دیگر، با نظرسنجی از طراحان و بهره‌برداران مرکزداده توانسته‌اند توان مصرفی کارکرد فعلی مراکزداده و همچنین محدودیت در طراحی مراکزدادهٔ جدید و موجود را تعیین کنند. جدول ۱ خلاصه‌ای از دادهٔ به‌دست‌آمده از منابع مختلف را نمایش می‌دهد. این داده مشتریان سازمانی، کارکنان خدماتی، همچنین مهندسان را در بر می‌گیرد و مربوط به بازهٔ سال‌های ۲۰۰۲ تا ۲۰۰۳ است. مقدار واقعی توان مصرفی کلی به‌ازای هر رک که در اینجا به دست آمده، بسیار به مقادیری که از نظرسنجی تازهٔ دانشگاه برکلی به دست آمده نزدیک است.
| ویژگی | میانگین در مراکزداده | ۹۰ درصد از مراکزداده کمتر از این مقدار هستند |
حداکثر مقدار مشاهده‌شده |
| توان مصرفی در طراحی | ۰٫۳۸ کیلووات بر متر مربع |
۰٫۶۵ کیلووات بر متر مربع |
۲٫۱۵ کیلووات بر متر مربع |
| توان مصرفی واقعی در کارکرد | ۰٫۲۷ کیلووات بر متر مربع |
۰٫۴۳ کیلووات بر متر مربع |
۱٫۶۱ کیلووات بر متر مربع |
| توان مصرفی در طراحی، به‌ازای هر رک | ۱٫۱ کیلووات بر رک |
۱٫۸ کیلووات بر رک |
۶ کیلووات بر رک |
| توان مصرفی کلی واقعی، به‌ازای هر رک | ۱٫۷ کیلووات بر رک |
۲ کیلووات بر رک |
۴ کیلووات بر رک |
| متوسط توان واقعی، به‌ازای هر رک، در پرظرفیت‌ترین ردیف رک | ۲ کیلووات بر رک |
۳ کیلووات بر رک |
۷ کیلووات بر رک |
| بیشترین توان واقعی رک | ۳ کیلووات | ۶ کیلووات | ۱۲ کیلووات |
نکته: رک در اینجا شامل رک‌های تجهیزات همچون DASD و کامپیوترهای مین‌فریم است. برای تجهیزاتی که بزرگ‌تر از رک باشند، مجموع سطح اشغال آن‌ها را محاسبه می‌کنند و مقدار آن را به‌شکل «معادل با سطح اشغال رک» در نظر می‌گیرند.
این داده نشان می‌دهد که توان مصرفی در طراحی مرکزداده، به‌طور متوسط ۰٫۳۸ کیلووات بر متر مربع است. یعنی اگر سطح اشغال هر رک ۲٫۸ متر مربع فرض بشود، توان مصرفی به‌ازای هر رک ۱٫۱ کیلووات خواهد بود. متوسط ظرفیت بر واحد رک در عمل، بیشتر از مقداری است که در طراحی محاسبه می‌شود؛ زیرا مقدار آن به متوسط توان مصرفی ۰٫۳۸ کیلووات بر متر مربع نمی‌رسد. چنین وضعیتی در درجهٔ اول به این دلیل رخ می‌دهد که در مراکزداده، تمام سطح پیش‌بینی‌شدهٔ سالن‌های سرور از رک پر نمی‌شود. برای نمونه در مرکزداده‌ای که طراحی شده تا توان مصرفی هر رک ۱٫۱ کیلووات باشد (سطح اشغال هر رک ۲٫۸ متر مربع [5])، اگر رک‌ها نیمی از سطح کف را اشغال کنند، توان مصرفی در هر رک ۲٫۲ کیلووات خواهد بود.
باید توجه داشت که این داده فقط دربارهٔ محیط‌های متداول برای تولید است. گاهی متوسط توان مصرفی در محیط‌های توسعه و تست از این بیشتر می‌شود؛ چنانکه در آن‌ها حداکثر توان مصرفی نیز مشاهده شده است.
شکل ۲: فراوانی توزیع مصرف واقعی برق رک‌ها، نمایش رابطه با بهترین پیکربندی ممکن در رک
شکل ۲ نمودار فراوانیِ توزیع برق مصرفی در هر رک را بر اساس دادهٔ به‌دست‌آمده از تحقیقات نمایش می‌دهد. [6] بدین وسیله می‌توان دربارهٔ عوامل تعیین‌کنندهٔ توان مصرفی دیدگاه جامع‌تری به دست آورد. ارتفاع هر میله در نمودار، بیانگر درصدی از رک‌ها است که توان مصرفی همانند دارند. بازهٔ هر میله ۵۰۰ وات است. برای نمونه، میلهٔ ۱٫۵ کیلوواتی بیانگر درصد رک‌هایی است که توانی بین ۱ تا ۱٫۵ کیلووات دارند.
توجه کنید چنانکه شکل ۲ نشان می‌دهد، توان تعداد بسیار زیادی از رک‌های موجود در مرکزدادهٔ معمول از ۵۰۰ وات کمتر است. این‌ها رک‌های تجهیزات کابل‌کشی شبکهٔ دیتا و سویچ شبکه و سرورهای کم‌ظرفیت هستند. همچنین رک‌هایی که در بسیاری از آن‌ها فضای عمودی زیادی بی‌استفاده مانده است.
نکتهٔ دیگر این است که تعداد رک‌های دارای توان بیشتر از ۲ کیلووات بسیار کم است و تعداد رک‌هایی که توان بیشتر از ۸ کیلووات دارند ناچیز است.
بر روی نمودار شکل ۲ خطوط مرجع قرمز رنگی می‌بینید. دو خط اول مشخص‌کنندهٔ بازهٔ توان مصرفی متوسط است که با نظرسنجی از مهندسان مشاور به دست آمده است و در طراحی مراکزدادهٔ جدید به آن توجه می‌شود.
دو خط انتهایی نیز بازه‌ای از توان مصرفی را مشخص می‌کند که از پرکردن رک‌ها با سرورهای دارای بیشترین ظرفیت موجود به دست می‌آید؛ که همان سرورهای 1U و سرورهای خشابی باشند. مقادیر این بازهٔ توان مصرفی، از طراحی مراکزدادهٔ جدید و از مقادیر واقعی در مراکزداده موجود بسیار بیشتر است. توان رک‌های با سرورهای خشابی از رک‌های با سرورهای 1U بیشتر است؛ ولی باید توجه داشت که مقدار توان مصرفی سرورهای خشابی تقریبا دو برابر سرورهایی معمول 1U است. پس در مقدار یکسانِ کارایی و عملکرد فاوا، می‌توان مصرف سرورهای خشابی را ۴۰ درصد کمتر از مصرف سرورهای سنتی گرفت.
از بررسی دادهٔ موجود می‌توان نکات زیر را به دست آورد:
- بیشتر رک‌ها در مرکزداده، با توان کمتر از مقدار طراحی عمل می‌کنند.
- تجهیزات پرظرفیت فاوا، در واقع برای بیشینهٔ ظرفیت خود نصب نمی‌شوند.
- مقادیر ظرفیت توان مصرفی که اغلب دربارهٔ آن می‌گویند، در بیشتر مراکزدادهٔ فعلی و حتی در مراکزدادهٔ آینده نیز دست‌یافتنی نیست.
در این مقاله اصطلاح «پرظرفیت» بیانگر رک‌های با توان بیشتر از ۳ کیلووات است. این رک‌ها در مراکزدادهٔ فعلی، در بخش بالایی بازهٔ متوسط ظرفیت سرمایش جای دارند.
الزامات برق و سرمایش برای رک‌های پرظرفیت
رک 42U که در آن ۶ شاسی سرور خشابی به‌ارتفاع ۷ U نصب شده باشد، نمونهٔ رک پرظرفیت است. در این رک، هر شاسی ۳ کیلووات و کل رک ۱۸ کیلووات برق مصرف می‌کند که بدین ترتیب به ۱۸ کیلووات برق و ۱۸ کیلووات سرمایش نیاز دارد. چنین چیزی را معمولا سیستمِ با ماموریت حساس به شمار می‌آورند که هم در برق و هم در سرمایش به افزونگی نیاز دارد.
الزامات برق
از دیدگاه توان، سیستم پیش‌گفته که ۶ شاسی سرور خشابی دارد، اگر پیکربندی معمولِ دو مسیرهٔ ۴ سیمی داشته باشد، به‌احتمال زیاد به منبع تغذیهٔ ۲۴ یا ۲۰ آمپری با ولتاژ ۲۰۸ یا ۲۳۰ نیاز خواهد داشت. کابل‌کشی برای چنین مداری حجیم است و معمولا آن را در سقف اجرا می‌کنند تا مسیر جریان هوا در کف کاذب تنگ نشود. این به‌ویژه هنگامی مهم است که تعدادی از رک‌های پرظرفیت نزدیک به یکدیگر باشند. برای هنگامی که از کف کاذب استفاده می‌شود، روش دیگری نیز وجود دارد. می‌توان ارتفاع زیر کف را تا اندازه‌ای که فضا برای کابل‌ها کافی باشد افزایش داد. اجرای کابل‌کشی در هر دو روش، پرحجم است و همین مسئله راه‌اندازی مرکزداده را پیچیده و گران می‌کند. با کمک این روش‌ها، تامین افزونگی برق در رک‌های با ظرفیت بسیار زیاد ممکن می‌شود.
الزامات سرمایش
فراهم‌کردن سرمایش برای رک‌های با ظرفیت بسیار زیاد، از تامین برق بسیار دشوارتر است. آن سیستم سرور خشابی که پیش‌تر گفتیم، برای سرمایش تقریبا به ۱٬۱۸۰ لیتر بر ثانیه هوای سرد ورودی نیاز دارد. همین مقدار هوا با ۱۱ درجهٔ سانتی‌گراد افزایش دما، از پشت رک تهویه می‌شود. تجهیزات چه سرمایش فراهم بشود چه نشود، این حجم از هوا را به گردش درمی‌آورند. اگر سیستم نتواند هوای سرد لازم را برای رک فراهم کند، آن رک هوای تهویه‌شدهٔ خودش را یا هوای تجهیزات کناری را دوباره به درون می‌کشد. بدین ترتیب در داخل تجهیزات، گرمای بیش از حد به وجود می‌آید. در اینجا چهار عامل کارگشا برای دست‌یافتن به عملکرد مناسب در سرمایش ضروری است:
- تامین ۱٬۱۸۰ لیتر بر ثانیه هوای سرد برای رک
- دفع ۱٬۱۸۰ لیتر بر ثانیه هوای گرم تهویه‌شده از رک
- دور نگه‌داشتن هوای گرم تهویه‌شده از ورودی هوای تجهیزات
- فراهم‌بودن همهٔ این‌ها؛ به‌شکل بی‌وقفه و در حالت افزونه
دستیابی به هرکدام از این عوامل بسیار دشوار است. در ادامه دربارهٔ مشکلات و موانع اجرای هریک توضیح می‌دهیم.
تامین ۱٬۱۸۰ لیتر بر ثانیه هوای سرد برای رک
هر رک در کف کاذب مرکزدادهٔ معمول، یک تایل تهویه (کف‌پوش سوراخ‌دار) ویژهٔ خودش دارد. هر تایل تهویهٔ متوسط، تقریبا تا ۱۴۲ لیتر بر ثانیه هوای سرد فراهم می‌کند. بدین ترتیب رک ۱۸ کیلوواتی در کف‌پوشِ مقابل خود، به ۸ تایل تهویه نیاز دارد. این ۸ برابر بیشتر از تعدادی است که به‌طور معمول به آن اختصاص می‌دهند. در نتیجه برای جادادن این ۸ تایل تهویه، باید عرض دالان و همچنین فواصل میان رک‌ها تا حد زیادی افزایش یابد. چنین کارهایی در مرکزدادهٔ معمول امکان‌پذیر نیست.
شکل ۳ ظرفیت سرمایش رک را به‌عنوان تابعی از جریان موثر هوای سرد نشان می‌دهد. مقدار نشت هوا از کف کاذب، تقریبا ۲۵ درصد از حجم کل هوای سردی است که از دستگاه‌های سرمایش می‌آید. ولی این مقدار را در محاسبهٔ جریان موثر هوای سرد وارد نمی‌کنند. نمودار نشان می‌دهد همچنان که جریان هوا بیشتر می‌شود و ظرفیت سرمایش افزایش می‌یابد، دستیابی به مقدار سرمایش کافی برای رک‌های با ظرفیتِ بیشتر دشوارتر می‌گردد. دالان‌های سرد بسته ظرفیت سرمایش رک را تقریبا تا ۱۰ کیلووات بر رک افزایش می‌دهند. توجه کنید که ظرفیت سرمایش کف کاذب برای سرورهای خشابی، بیشتر از تجهیزات معمول فاوا است. زیرا سرورهای خشابی در مقایسه با تجهیزات معمول فاوا، در مقدار مصرف برق برابر، به‌طور متوسط ۴۰ درصد کمتر به جریان هوا نیاز دارند.
شکل ۳: نمایش ظرفیت سرمایش رک، به‌عنوان تابعی از جریان موثر هوای سرد
چنانکه در شکل ۳ می‌بینیم، دستیابی به جریان هوای بیشتر از ۱۴۲ لیتر بر ثانیه در رک، نیازمند اقدامات ویژه‌ای است. از جمله طراحی دقیق کف کاذب، مناسب بودن جای CRACها، جلوگیری از نشت هوا، همچنین رفع موانع جریان آزاد هوا در زیر کف کاذب همچون لوله‌ها و کابل‌ها. برای دست‌یافتن به جریان هوای بیشتر از ۲۳۶ لیتر بر ثانیه، باید از تایل‌های تهویهٔ ویژه‌ای استفاده بشود که به شبکهٔ فلزی شبیه‌اند. هریک از این تایل‌های مشبک (Grate Tile) در مرکزدادهٔ معمول تا ۳۳۰ لیتر بر ثانیه جریان هوا تامین می‌کنند. گرچه با به‌کارگیری آن‌ها، گرادین فشار زیر کف به‌شدت تغییر می‌کند و بر جریان هوای محیط اطراف نیز اثر می‌گذارد. این عوامل بر یکنواختی و پیش‌بینی‌پذیری ظرفیت سرمایش تاثیر می‌گذارند و محدودیت‌های غیرقابل پیش‌بینی و نامطلوبی ایجاد می‌کنند.
معمولا گمان می‌رود افزایش ارتفاع کف کاذب، بسیاری از مشکلات را از میان می‌برد. یکی از این مشکلات، دشواری در یکنواخت نگه‌داشتن ظرفیت سرمایش است. اشنایدر الکتریک برای بررسی این موضوع از دینامیک سیالات محاسباتی (CFD) برای شبیه‌سازی آثار تغییر ارتفاع کف کاذب در طراحی‌های معمول سرمایش استفاده کرد. شکل ۴ برخی از نتایج مهم این بررسی را نمایش می‌دهد. این داده نشان می‌دهد ارتفاع کف کاذب با ظرفیت سرمایش ارتباط دارد. چنانکه انتظار می‌رفت، با افزایش ارتفاع کف کاذب، میزان اختلاف ظرفیت سرمایش میان تایل‌های تهویه کاهش یافت.
از این بررسی دو نتیجهٔ دور از انتظار به دست آمده است. اول اینکه، حجم جریان هوا در دادهٔ نتیجه، تقریبا بی‌تاثیر بوده است. این بدان معنا است که اختلاف ظرفیت سرمایش میان تایل‌های تهویه، ناشی از شکل هندسی کف کاذب است و حجم جریان هوا تقریبا اثری بر آن ندارد. دوم اینکه، تغییرات جریان هوا در تایل‌های مشبک بسیار بیشتر است. برای نمونه، میزان تغییرات تایل‌های تهویه در کف کاذبِ ۶۱ سانتی‌متری، برای تایل سوراخ‌دار استاندارد ۳۰ درصد؛ ولی برای تایل مشبک ۲۳۰ درصد است. در واقع گاهی جریان هوا در تایل‌های مشبک برعکس می‌شود؛ یعنی به‌جای آنکه هوای سرد را به تجهیزات فاوا بدمند، هوای محیط را به‌پایین می‌کشند.
شکل ۴: تغییرات جریان هوا به‌عنوان تابعی از ارتفاع کف کاذب، برای دو نوع از تایل مشبک
با اینکه مشکل پیش‌گفته در جریان هوای کف کاذب نامطلوب است، تداخل و تغییرات جریان هوا را در برخی از مراکزداده نمی‌توان رفع کرد؛ به همین دلیل نیز باید آن را تا ۳۰ درصد پذیرفته دانست. در عین حال چنین مقدار زیادی که شکل ۴ برای تایل‌های مشبک نشان می‌دهد پذیرفتنی نیست. زیرا با این وضعیت در برخی از بخش‌های سالن، سرمایش کافی به رک‌ها نمی‌رسد. نکتهٔ مهم آن است که افزایش ارتفاع کف کاذب مفید است؛ ولی هرقدر هم که ارتفاع افزایش یابد، برخی از مشکلات برطرف نخواهد شد. ازاین‌رو با اینکه گاهی استفاده از تایل تهویهٔ مشبک مفید است، داده نشان می‌دهد استفاده از این تایل‌ها برای افزایش ظرفیت کلیِ توان مصرفی مرکزداده، روش موثری نیست.
مطابق شکل ۳ برای رک مفروض ۱۸ کیلوواتی پیش‌گفته، حتی اگر طرح سرمایش دست‌ودل‌بازانه‌ای هم اجرا بشود، باز به ۳ تا ۴ تایل مشبک نیاز خواهد بود. با این‌همه در طرح معمول مرکزداده، در کف فقط یک تایل تهویه به هر رک اختصاص می‌دهند. اگر این اطلاعات را با دادهٔ شکل ۴ دربارهٔ تغییرات جریان هوا کنار هم بگذاریم، روشن خواهد شد که با اختصاص‌دادن یک تایل تهویه برای هر رک، مطابق روش سنتی، نمی‌توان به‌سادگی رک‌های با توان تقریبی ۶ کیلووات را در یک ناحیه به‌شکل متعادل و پایدار خنک کرد. استفاده از سیستم دالان بستهٔ سرد یا گرم، این مقدار را در هر ناحیه تا ۱۰ کیلووات در رک افزایش می‌دهد. برای دریافت اطلاعات بیشتر دربارهٔ سیستم‌های سرمایش گرم و سرد بسته، به مقالهٔ «مقایسهٔ دالان گرم بسته با دالان سرد بسته» [7] مراجعه کنید.
دفع ۱٬۱۸۰ لیتر بر ثانیه هوای گرم تهویه‌شده از رک
برای بازگرداندن هوا به سیستم سرمایش، سه روش وجود دارد: از طریق اتاق، از کانال هوا، از پلنوم سقف. هوای گرمی که از تجهیزات خارج می‌شود، به‌شکل مطلوب باید بدون هیچ موقعیتی برای درآمیختن با هوای محیط یا کشیده‌شدن به‌سوی ورودی هوای تجهیزات، یک‌راست به سیستم سرمایش بازگردد. برای چنین کیفیتی، به مسیری نیاز است که کاملا باز و مستقیم و آزاد و بدون هیچ مانع باشد. در منابع مرجع چنین بیان شده که برای دست‌یافتن به جریان هوای ۱٬۱۸۰ لیتر بر ثانیه، به کانالی نیاز است دایره‌ای شکل، به‌قطر ۳۰ سانتی‌متر، که هوا در آن با سرعت تقریبی ۵۶ کیلومتر بر ساعت حرکت کند. البته با استفاده از دالان‌های با ارتفاع چند متر که جداکنندهٔ جریان هوای برگشتی باشند و در ارتفاع بالا اجرا بشوند نیز می‌توان چنین شرایطی را فراهم کرد. با این حال بسیاری از مراکزداده برای بازگرداندن هوای گرم تهویه‌شده، نیازمند به کانال‌های بازگشت هوا یا پلنوم سقف کاذب هستند. بسیاری دیگر نیز برای هدایت جریان هوایی که از رک باز می‌گردد، به زیر سقف اتاق اکتفا می‌کنند که تنها چند فوت (حداکثر کمتر از ۳ متر) بالاتر از رک‌ها قرار دارد؛ یعنی سقف کاذب. این موارد چالش‌های فنی بسیاری را بر سر راه طراحی قرار می‌دهد.
امکان دفع هوای گرم از رک نیز به‌اندازهٔ قابلیت تامین هوای سرد دشوار است. ازاین‌رو همچون تامین هوای سرد، دفع بیش از ۱۸۹ لیتر بر ثانیه هوای گرم برگشتی از رک در هر ناحیه نیز به طراحی تخصصی، اطمینان از عملکرد، همچنین فراهم‌کردن افزونگی ضروری برای سیستم سرمایش نیاز دارد.
دور نگه‌داشتن هوای گرم تهویه‌شده از ورودی هوای تجهیزات
به فاصلهٔ میان خروجی هوای گرم و ورودی هوای سرد در تجهیزات فاوا «کوتاه‌ترین مسیر بازگشت هوای تهویه‌شده» می‌گویند. یکی از اجزای بسیار مهم در طراحی مرکزداده آن است که مسیر نامطلوبِ بازگشت هوای تهویه‌شده را با مسیرهای تامین هوای سرد و مسیرهای دفع هوای گرم مهار کنند. این مسئله به‌ویژه در محیط‌های پرظرفیت چالش‌برانگیزتر است. زیرا سرعت زیادِ جریان هوا باید بر مقاومت سیستم هوارسانی و هوای برگشتی غلبه کند. استفاده از پنل‌های کاذب که در ادامه خواهیم گفت، برای جلوگیری از بازگشت هوای تهویه‌شده از داخل رک راهکار موثری است. راه‌های بازگشت هوای تهویه‌شده در مقالهٔ «اشتباه‌های قابل پیش‌گیری که تداوم کار سرمایش مرکزداده را به‌خطر می‌اندازند» [8] به‌تفصیل بیان شده است.
فراهم‌کردن تمامی این کارکردها در حالت افزونه و مستمر
در مرکزدادهٔ با پایایی (Availability) بسیار خوب هنگام خاموش‌شدن دستگاه‌های CRAC، چه با برنامه‌ریزی باشد چه بر اثر ازکارافتادگی ناخواسته، تجهیزات باید به کارکرد خود ادامه بدهند و متوقف نشوند. به‌عبارت دیگر سیستم سرمایش باید افزونگی کافی برای هنگام ازکارافتادن هریک از واحدهای CRAC داشته باشد. در طراحی سنتی مرکزداده برای تامین هوای کف کاذب یا پلنوم سقفی مشترک، از چندین واحد CRAC استفاده می‌کنند. زیرا گمان می‌کنند هوای سرد خارج‌شده از همهٔ CRACها با هم یکی می‌شود و فشار یکسانی در سرتاسر پلنوم هوارسان ایجاد می‌کند. این سیستم به‌شکلی طراحی می‌شود که در هنگام ازکارافتادن هریک از واحدهای CRAC، الزامات جریان هوا و سرمایش برآورده باشد.
جریان هوای پلنوم در مرکزدادهٔ سنتی، همگام با بیشترشدن توان مصرفی عملیات افزایش می‌یابد. با افزایش جریان هوا، فرضیات اساسی دربارهٔ سیستم پلنوم مشترک دگرگون می‌شود. سرعت جریان هوای داخل پلنوم در این وضعیت با خاموش‌شدن تنها یک CRAC به‌کلی تغییر می‌کند. همچنین امکان دارد جهت جریان هوا در تایل‌های تهویهٔ کف معکوس بشود و هوا برعکس به زیر، یعنی به‌درون کف کاذب کشیده شود. این در نتیجهٔ اثر ونتوری یا همان کاهش فشار سیال در هنگام عبور از بخش تنگ مجرا رخ می‌دهد. همچنان که توان مصرفی افزایش می‌یابد، قابلیت پیش‌بینی کارکرد سیستم سرمایش در هنگام بروز مشکلات کمتر می‌شود. به همین دلیل نیز نصب تجهیزات پرظرفیت با روش‌های کمّی، مانند دینامیک محاسباتی سیالات یا CFD، چندین بار شبیه‌سازی می‌شود تا افزونگی تعیین و تامین گردد.
از سویی مفهوم سرمایش بی‌وقفه در محیط‌های پرظرفیت دچار چالش می‌شود. در سیستم سرمایش سنتی معمولا به‌جای UPS از ژنراتور آماده‌به‌کار استفاده می‌کنند. در مرکزدادهٔ متوسط، وقفه‌ای که تا شروع‌به‌کار ژنراتورها وجود دارد پذیرفته است. زیرا کمبود جریان هوا و کاستی در سرمایش که بر اثر تاخیر ۵ تا ۲۰ ثانیه‌ای تا به‌کار افتادن ژنراتورها رخ می‌دهد، کمابیش دما را فقط ۱ درجهٔ سانتی‌گراد بیشتر می‌کند. ولی دمای مصارف پرظرفیت (حدود ۱۸ کیلووات در رک) با این میزان از قطع برق، ۸ تا ۳۰ درجهٔ سانتی‌گراد افزایش می‌یابد که بی‌شک پذیرفته نیست. بدین ترتیب کارکرد بی‌وقفهٔ فن‌ها و پمپ‌های CRAC و گاهی حتی خود دستگاه‌های CRAC، برای اطمینان از سرمایش بی‌وقفهٔ تجهیزات پرظرفیت ضروری است. ضرورت تامین استمرار برق سیستم سرمایش با بهره‌گیری از UPS، باعث افزایش هزینه می‌شود که خود مانع بزرگی در اجرای رایانش پرظرفیت است.
پنج راهبرد برای اجرای رک‌های پرظرفیت و سرورهای خشابی
برای اجرای رک‌های پرظرفیت و سرورهای خشابی، پنج روش اصلی وجود دارد:
- سرمایش گسترده: برق و سرمایش به‌مقدار میانگین برای کل سالن فراهم باشد؛ تجهیزات پرظرفیت در میان رک‌های سالن پخش شوند. بدین ترتیب می‌توان مصرف برق رک‌هایی را که از متوسط مصرف طراحی بیشتر است پراکنده ساخت.
- سرمایش تعدیلی: برق و سرمایش به‌مقدار میانگین برای کل سالن فراهم باشد؛ رک‌های پرظرفیت به‌شیوه‌ای مشخص بتوانند از سرمایش اضافی و بی‌استفادهٔ رک‌های نزدیک به خودشان استفاده کنند.
- سرمایش تکمیلی: برق و سرمایش به‌مقدار میانگین برای کل سالن فراهم باشد؛ بتوان رک‌های پرظرفیت را با استفاده از تجهیزات سرمایشی تکمیلی به‌مقدار نیاز و بیشتر از متوسط طراحی خنک کرد.
- ناحیه‌های اختصاصی پرظرفیت: برق و سرمایش به‌مقدار میانگین برای کل سالن فراهم باشد؛ سرمایش بیشتری برای بخش‌های مشخص و محدود از سالن تامین بشود و رک‌های پرظرفیت فقط در همان نواحی ویژه نصب شوند.
- سرمایش سالنی: برق و سرمایش ضروری برای همهٔ رک‌های سالن به‌مقدار اوج ظرفیتِ پیش‌بینی‌شده فراهم باشد.
در ادامه دربارهٔ هریک از این پنج روش و معایب و مزایای آن‌ها توضیح می‌دهیم.
روش ۱: سرمایش گسترده
اگر برق و سرمایش به‌مقدار میانگین برای کل سالن فراهم باشد و تجهیزات پرظرفیت در میان رک‌های سالن پخش بشوند، می‌توان مصرف برق رک‌هایی را که از متوسط مصرف طراحی بیشتر است پراکنده ساخت.
این روش برای سرمایش تجهیزات پرظرفیت در مرکزدادهٔ امروزی، پرطرفدارترین راهکار است. خوشبختانه ضرورتی ندارد سرورهای 1U و خشابی نزدیک به هم یا داخل یک رک نصب بشوند. می‌توان آن‌ها را به‌شکل پراکنده در میان رک‌های مختلف نصب کرد. هنگامی که تجهیزات پرظرفیت در میان رک‌ها تقسیم شوند، نیاز برق هیچ رکی از توان مصرفی پیش‌بینی‌شده در طراحی بیشتر نمی‌شود؛ بدین ترتیب عملکرد سرمایش قابل پیش‌بینی خواهد شد.
شکل ۵: نمونهٔ پنل‌های کاذب رک از نوع چفتی ماژولار، برای استفادهٔ گسترده و کنترل جریان هوای طراحی شده در مرکزداده (APC # AR8136BLK)
توجه داشته باشید که با پخش‌کردن تجهیزات در میان رک‌های مختلف، فضای عمودی خالی و بی‌استفادهٔ زیادی در داخل رک‌ها خواهیم داشت. این فضای خالی را باید با پنل‌های کاذب پوشاند تا همان طور که در مقالهٔ «بهبود عملکرد سرمایش رک با استفاده از پنل‌های کاذب مدیریت جریان هوا» [9] شرح داده‌ایم، از کاهش عملکرد سرمایش جلوگیری شود. در شکل ۵ نمونه‌ای از پنل کاذب چفتی ماژولار را که برای هوابند کردن رک‌ها استفاده می‌شود مشاهده می‌کنید.
افزون بر سرمایش، عوامل دیگری نیز هستند که نیاز به پخش‌کردن تجهیزات پرظرفیت را در میان رک‌ها ایجاب می‌کنند. مانند اینکه ممکن است دسترسی به تعداد ضروری از منبع برق یا داده، برای رک‌ها امکان‌پذیر یا عملی نباشد. یا زیاد بودن حجم کابل‌کشی در پشت رکِ سرورهای 1U، مسیر هوا را مسدود کند و حتی مانع از بسته‌شدن درهای عقبی بشود.
روش ۲: سرمایش تعدیلی
برق و سرمایش به‌مقدار میانگین برای کل سالن فراهم باشد؛ ولی رک‌های پرظرفیت به‌شیوه‌ای مشخص بتوانند از سرمایش اضافی و بی‌استفادهٔ رک‌های نزدیک به خودشان استفاده کنند.
این راهکار رایگان و معمولا عملی است؛ ولی به‌ندرت مستندسازی شده است. سرمایش تعدیلی از این مسئله بهره می‌برد که بعضی از رک‌ها کمتر از مقدار متوسط طراحی‌شان برق مصرف می‌کنند. در این روش، از ظرفیت استفاده‌نشدهٔ هوارسانی و بازگرداندن هوای تهویه‌شدهٔ بخش‌های کم‌مصرف، برای رک‌های کناری که همان سرعت جریان هوا را دارند استفاده می‌شود. قانون ساده‌ای همچون «رک‌های پرظرفیت را نزدیک به هم قرار ندهید» البته سودمند است، ولی با اجرای مقررات پیچیده‌تر بی‌شک می‌توان رک‌ها را تا دو برابر مقدار متوسط طراحی خنک کرد. چنین مقرراتی را می‌توان با رویه‌ها و توافق‌های تاییدشده و با نظارت بر مصرف برق رک‌ها برقرار کرد. همچنین می‌توان این کار را با استفاده از سیستم مدیریت از جمله ISX Manager اشنایدر الکتریک به‌شکل خودکار درآورد. آمدن تجهیزات جدیدتر فاوا که مصرف برق در آن‌ها کم‌وزیاد می‌شود، خودکارسازی این کارکرد را ضروری‌تر می‌کند.
شکل ۶: نمونه‌ای از مقررات «سرمایش تعدیلی»، برای استفادهٔ رک‌های پرظرفیت از سرمایش استفاده‌نشدهٔ رک‌های کناری
شکل ۶ نمونه‌ای از مقررات موثری را نمایش می‌دهد که می‌توان با این روش اجرا کرد. این مقررات برای اضافه‌کردن تجهیزات جدید اِعمال می‌شود تا مشخص کند که آیا مطابق با ظرفیت موجود در سیستم سرمایش، می‌توان تجهیزات جدیدی را نصب کرد یا خیر. ظرفیت سرمایش اضافی موجود در هر رک، بر اساس این مقررات در اختیار رک دیگر قرار می‌گیرد. در چنین شرایطی ممکن است اوج توان مصرفی رک گیرنده، از متوسط توان سرمایش سالن بیشتر شود و حتی تا سه برابر آن نیز افزایش یابد؛ البته اگر ظرفیت سرمایش در رک‌های کناری استفاده نشده باشد. این روش در مرکزدادهٔ معمول، برای برپاکردن بخش پرظرفیت به‌خوبی موثر است؛ زیرا معمولا بیشتر رک‌ها از تمامی ظرفیت سرمایش خود استفاده نمی‌کنند.
روش ۳: سرمایش تکمیلی
برق و سرمایش به‌مقدار میانگین برای کل سالن تامین باشد؛ ولی درصورت نیاز بتوان رک‌های پرظرفیت را با استفاده از تجهیزات سرمایشی تکمیلی، به‌مقدار نیاز و بیشتر از متوسط طراحی خنک کرد.
در این روش معمولا سرمایش تجهیزات، پیشاپیش به‌مقداری بیشتر از طراحی اولیه برنامه‌ریزی می‌شود تا بتوان سرمایش تکمیلی را در هرجا و هر زمانی که نیاز باشد به کار برد. هنگامی که بدین شکل برای سالن برنامه‌ریزی می‌شود می‌توان از چند روش برای سرمایش تکمیلی بهره گرفت. این روش‌ها عبارت‌اند از:
- نصب تایل ویژه (تایل مشبک) در کف یا بهره‌گرفتن از فن؛ برای تقویت جریان هوای سرد رفت، از CRAC به‌سوی رک
- نصب کانال ویژهٔ هوای برگشت یا بهره‌گرفتن از فن؛ برای دفع گرما و راندن هوای تهویه‌شده، از رک به‌سوی CRAC
- نصب رک‌های ویژه یا دستگاه‌های سرمایش رک‌پایه [10]؛ برای تامین مستقیم سرمایش داخل رک
بررسی این روش‌ها موضوع مقالهٔ «طراحی هوارسانی رک برای تاسیسات با ماموریت حساس» [11] است. چون این روش‌ها به‌تازگی مطرح شده‌اند، آن‌ها را در بیشتر مراکزدادهٔ امروزی نمی‌بینیم. ولی به هر حال انعطاف‌پذیری خوبی دارند و اگر برنامه‌ریزی مناسب نیز به کار رود، ما را تا هنگام ضرورت از خرید و نصب تجهیزات بی‌نیاز می‌کنند.
روش ۴: ناحیه‌های اختصاصی پرظرفیت
برق و سرمایش به‌مقدار میانگین برای کل سالن تامین باشد؛ ولی سرمایش بیشتری برای بخش‌های مشخص و محدود از سالن فراهم شود و رک‌های پرظرفیت فقط در همان نواحی ویژه نصب بشوند.
برای اجرای این روش، به آگاهی کافی از بخش رک‌های پرظرفیت، همچنین به توانایی جداسازی این رک‌ها در ناحیه‌های مشخص نیاز است تا در چنین محدودیت‌هایی بتوان به استفادهٔ بهینه از فضا دست یافت. متاسفانه چون معمولا آگاهی پیش‌زمینه و توانایی دربارهٔ رک‌های پرظرفیت در دسترس نیست، اجرای این گزینه برای بسیاری از بهره‌برداران ناممکن است.
پس از شناسایی ناحیهٔ رک‌های پرظرفیت، برای فراهم‌کردن برق و سرمایشِ پیش‌بینی‌پذیر می‌توان فناوری‌های پرظرفیت مشخصی را در آن نصب کرد. هنگامی که توان مصرفی از ۱۰ کیلووات در رک بگذرد، مهم‌ترین مشکل همان پیش‌بینی‌ناپذیر بودن جریان هوا خواهد بود. فناوری‌هایی که این مشکل را حل می‌کنند، از قاعدهٔ کوتاه‌کردن مسیر جریان هوای میان سیستم سرمایش و رک بهره می‌گیرند.
شکل ۷: نمونه‌ای از سیستم ماژولار برق و سرمایش، برای ناحیهٔ اختصاصی پرظرفیت در داخل مرکزداده؛ ماژول‌های ۲ تا ۱۲ رک فاوا با ظرفیت ۲۰ کیلووات در رک
نمونه‌ای از سیستم پرظرفیت و ماژولار برق و سرمایش که برای گروهی از رک‌های پرظرفیت استفاده می‌شود، InfraStruXure HD است (شکل ۷). در این سیستم، گروهی از رک‌های فاوا با تهویهٔ مطبوعِ پرظرفیت و توزیع برق پرظرفیت، در یک واحد پیش‌ساخته و آزمون‌شده (Pre Tested Unit) یکپارچه می‌شوند.
چنانکه می‌بینید، این سیستم در خودش دالان گرم و دالان سرد دارد. اساس کار این سیستم به‌دام انداختن هوای گرم تهویه‌شدهٔ تجهیزات فاوا در درون دالان گرم بسته و سپس سرمایش سریع این هوا با دستگاه تهویهٔ مطبوع درون رک است. با این دو ویژگی یعنی محدود کردن هوای گرم و کوتاه‌کردن مسیر جریان هوا، می‌توان سرمایش پرظرفیت را فراهم کرد و بهره‌وری سیستم را افزایش داد. عملکرد چنین سیستمی به مکان قرارگیری آن هیچ وابستگی ندارد و حتی می‌توان آن را در مکان‌هایی نصب کرد که در بازهٔ دمای آسایش انسانی هستند. همچنین این سیستم را می‌توان در محیط‌های بدون کف کاذب به کار برد.
راهکارهایی که برپایهٔ در کنار هم قرار دادن رک‌های پرظرفیت و به‌کاربردن فناوری‌های پرظرفیتِ ویژه کار می‌کنند، هنگامی برتری می‌یابند که ضروری باشد رک‌های پرظرفیت نزدیک به هم باشند. دیگر راهکارهای ممکن، همگی تا حدی به پخش‌کردن تجهیزات پرظرفیت نیاز دارند.
روش ۵: سرمایش سالنی
برق و سرمایش ضروری برای همهٔ رک‌های سالن به‌مقدار اوج ظرفیت پیش‌بینی‌شده فراهم باشد.
به‌لحاظ مفهومی این راهکار ساده‌ترین روش است؛ ولی تقریبا هرگز اجرا نمی‌شود. زیرا توان مصرفی رک‌ها در مرکزداده، همواره به‌مقدار زیادی کم‌وزیاد می‌شود. طراحی برای دشوارترین حالت در این وضعیت، هدررفت زیادی دارد و بسیار گران درمی‌آید. همچنین طراحی توان مصرفی کلی برای بیش از ۶ کیلووات در رک، نیازمند به کار مهندسی و تجزیه‌وتحلیل بسیار پیچیده‌ای است. بدین ترتیب به‌کاربردن این روش فقط در شرایط بسیار خاص پذیرفته است.
خلاصه
مزایا و معایب این پنج روش تامین سرمایشِ رک‌های پرظرفیت، در جدول ۲ خلاصه شده است.
| روش | مزایا | معایب | مناسب برای |
| ۱ـ سرمایش گسترده: پخش‌کردن تجهیزات پرظرفیت میان رک‌ها، برای پایین نگه‌داشتن مقدار اوج مصرف |
ـ در هرجایی کار می‌کند ـ به برنامه‌ریزی نیاز ندارد ـ در اصل در بسیاری موارد رایگان است |
ـ تجهیزات پرظرفیت باید از روش سرمایش تعدیلی نیز بیشتر پخش شوند ـ سطح بیشتری از کف را اشغال می‌کند ـ ممکن است در کابل‌کشی مشکل رخ دهد |
ـ مراکزدادهٔ موجود، هنگامی که تجهیزات پرظرفیت بخش کوچکی از مصرف کلی را به خود اختصاص داده‌اند |
| ۲ـ سرمایش تعدیلی: تامین ظرفیت سرمایش متوسط در سالن، به‌اشتراک‌گذاشتن ظرفیت بی‌استفاده مطابق مقررات مشخص |
ـ به تجهیزات جدید نیاز ندارد ـ اصولا در بسیاری از موارد رایگان است |
ـ محدود به تقریبا دو برابر توان مصرفی پیش‌بینی‌شده در طراحی ـ سطح بیشتری از کف را اشغال می‌کند ـ باید مقررات پیچیده‌ای اجرا شود |
ـ مراکزدادهٔ موجود، هنگامی که تجهیزات پرظرفیت بخش کوچکی از مصرف کلی را به خود اختصاص داده‌اند |
| ۳ـ تامین ظرفیت سرمایش متوسط در سالن، وجود تجهیزات سرمایش تکمیلی | ـ دسترسی به ظرفیت زیادی در هر زمان و هر مکانی که لازم باشد ـ هزینهٔ سرمایه‌ای به تعویق می‌افتد ـ بهره‌وری بسیار خوب ـ استفادهٔ بهینه از سطح کف |
ـ محدود به تقریبا ۱۰ کیلووات در هر رک ـ رک‌ها و سالن باید از پیش مناسب این روش طراحی بشوند |
ـ ساختمان‌های جدید، یا برای ساختمان بازسازی‌شده ـ محیط‌های با کاربری ترکیبی ـ هنگامی که تجهیزات پرظرفیت از پیش جانمایی نشده باشند |
| ۴ـ ناحیه‌های اختصاصی پرظرفیت: ایجاد بخش‌های ویژهٔ پرظرفیت |
ـ حداکثر ظرفیت ـ استفادهٔ بهینه از سطح کف ـ نیازی به پخش‌کردن تجهیزات پرظرفیت در میان رک‌ها نیست ـ بهره‌وری بسیار خوب |
ـ باید از پیش برای بخش پرظرفیت برنامه‌ریزی شود، یا فضای کافی اختصاص یابد ـ تجهیزات پرظرفیت باید جدا شوند |
ـ بازهٔ ظرفیت ۱۰ تا ۲۵ کیلووات در رک ـ وقتی در کنار هم قرار دادن تجهیزات پرظرفیت ضرورت داشته باشد ـ ساختمان‌های جدید، یا برای ساختمان‌های بازسازی‌شده |
| ۵ـ سرمایش سالنی: فراهم‌کردن سرمایش پرظرفیت برای همهٔ رک‌های سالن |
ـ قابلیت توسعه به سناریوهای آتی | ـ هزینهٔ عملیاتی و سرمایه‌ای گزاف است که تا ۴ برابر روش‌های دیگر می‌رسد ـ ممکن است زیرساخت‌های گران‌قیمت بسیاری بی‌استفاده بماند |
ـ موارد نادر و بحرانی در تاسیسات بزرگی که تجهیزات پرظرفیت در فضای بسیار محدود قرار دارند |
ارزش فشرده‌سازی
دربارهٔ برخی از موانعِ نصب تجهیزات پرظرفیت، از جمله هزینه و پیچیدگی و اطمینان‌پذیری توضیحاتی دادیم. غلبه بر این مشکلات برای راه‌اندازی تجهیزات پرظرفیت در مرکزداده ضروری است. نشریات تجاری صنعتی پیش‌بینی می‌کنند که از فشرده‌سازی (Compaction) در مرکزداده گریزی نیست و می‌گویند فراگیری آن آغاز شده است. آن‌ها می‌گویند فشرده‌سازی باعث صرفه‌جویی در هزینه و فضا (سطح اشغال) می‌شود. ولی دادهٔ موجود این باور را تایید نمی‌کند؛ بلکه به‌جای آن تاکید می‌کند که افزایش فشرده‌سازی، به‌طوری که فقط ظرفیت بیشتر بشود ولی از مصرف برق به‌شکل اساسی کاسته نشود، مقرون‌به‌صرفه نیست.
شکل ۸: نمودار سطح اشغال مرکزداده بر کیلووات، به‌عنوان تابعی از توان مصرفی تجهیزات
شکل ۸ سطح اشغال مرکزداده بر کیلووات را به‌عنوان تابعی از توان مصرفی تجهیزات فاوا نمایش می‌دهد. چنانکه در ابتدای منحنی مشاهده می‌کنید، هنگامی که ظرفیت تجهیزات فاوا شروع به افزایش می‌کند، از فضایی که این تجهیزات در ساختمان اشغال می‌کنند کاسته می‌شود. با این حال در سطح اشغال زیرساخت برق و سرمایش هیچ کاهشی رخ نمی‌دهد. با گذشتن توان مصرفی از حدود ۲٫۵ کیلووات در رک، سطحی که با زیرساخت برق و سرمایش اشغال شده است، از سطح اشغال تجهیزات فاوا بیشتر می‌شود. نتیجه اینکه، با فشرده‌سازی بیشتر از تقریبا ۴ تا ۵ کیلووات در رک، در واقعیت از مجموع سطح اشغال فاوا و زیرساخت‌ها چیزی کاسته نمی‌شود.
باور ناگفته و فراگیری وجود دارد که پایهٔ فرضیهٔ فشرده‌سازی است. این باور هزینهٔ مرکزداده را ناشی از سطح اشغال تجهیزات می‌داند. سپس نتیجه می‌گیرد که کاستن از سطح اشغال به‌وسیلهٔ فشرده‌سازی، هزینه را کاهش می‌دهد.
نمودار شکل ۹ بهای تمام‌شدهٔ کلِ عمر مفید مرکزداده (TCO) را به‌عنوان تابعی از توان مصرفی تجهیزات فاوا نشان می‌دهد. چنین به نظر می‌رسد که بهای تمام‌شده [مطالعهٔ بیشتر]، با افزایش ظرفیت تجهیزات فاوا و متناسب با آن، همانند منحنی قرمز کاهش خواهد یافت. اما در واقعیت، ۷۵ درصد از بهای تمام‌شدهٔ مرکزداده ناشی از مصرف برق است و تنها ۲۵ درصد از هزینه، مربوط به سطح اشغال می‌شود. همچنین به‌دلیل عواملی که پیش‌تر توضیح داده‌ایم، هزینهٔ هر وات با افزایش توان مصرفی افزایش می‌یابد. نتیجه اینکه، هزینهٔ بهای تمام‌شده با افزایش توان مصرفی کاهش چندانی نمی‌یابد؛ بلکه هرگاه توان مصرفی از مقدار بهینه بگذرد یعنی تقریبا ۶ کیلووات در هر رک، بیشتر نیز می‌شود.
شکل ۹: تغییر بهای تمام‌شدهٔ چرخهٔ عمر مرکزداده، به‌عنوان تابعی از توان مصرفی رک
فواید افزایش توان مصرفی تجهیزات فاوا ناچیز است؛ ولی کاستن از مصرف برق مزایای بسیاری دارد. زیرا چنانکه پیش‌تر نشان داده‌ایم، فضای اشغال‌شده و بهای تمام‌شده در مرکزداده هر دو بسیار وابسته به مصرف برق هستند. جدول ۳ نشان می‌دهد که چگونه کاستنِ هرچه بیشتر از مصرف برق و ابعاد تجهیزات فاوا، بر فضا و بهای تمام‌شدهٔ مرکزداده موثر است. مقایسه با نمونه‌های معمول نشان می‌دهد کاهش مصرف برق نسبت به کاستن از ابعاد و سطح اشغال، مزایای بسیار بیشتری دارد.
| بهبود تجهیزات فاوا | صرفه‌جویی در سطح (درصد) |
صرفه‌جویی در بهای تمام‌شده (درصد) |
تحلیل |
| ۵۰ درصد کاستن از ابعاد، بدون کاهش مصرف برق | ۱۴ | ۴ | ـ کاهش سطح اشغال مطابق انتظار نیست؛ زیرا سطح اشغال زیرساخت برق و سرمایش از بقیهٔ تجهیزات بیشتر است. ـ کاهش بهای تمام‌شده مطابق انتظار نیست؛ زیرا بهای تمام‌شده به مصرف برق بسیار وابسته است. |
| ۵۰ درصد کاستن از مصرف برق، بدون کاهش ابعاد | ۲۶ | ۳۵ | ـ کاهش چشمگیر سطح اشغال؛ که دلیل آن کم‌شدن زیرساخت برق و سرمایش است. ـ کاهش چشمگیر بهای تمام‌شده؛ که دلیل آن وابستگی بسیارِ بهای تمام‌شده به مصرف برق است. |
سرورهای خشابی ۲۰ تا ۴۰ درصد کمتر از سرورهای سنتی برق مصرف می‌کنند. این برتری به‌دلیل استفاده از شاسی است. زیرا زیرساخت برق همچنین فن‌های سرمایش، در شاسی میان سرورها مشترک است. از آنجا که بهای تمام‌شده بیشتر از آنکه ناشی از هزینهٔ مرتبط با اندازهٔ سطح اشغال باشد، از مصرف برق ناشی می‌شود، با کاهش مصرف برق زیرساخت این سرورها، بهای تمام‌شده به‌مقدار بسیاری کاهش می‌یابد.
کمتر بودن بهای تمام‌شده در مرکزداده‌ای که از سرورهای خشابی بهره می‌گیرد، ناشی از ویژگی زیرساخت فیزیکی آن است. ولی دلیل اصلی کاهش بهای تمام‌شده برخلاف باور عمومی، نه کاهش سطح اشغال بلکه کمتر بودن مصرف برق است. برای اینکه با استفاده از سرورهای خشابی بهای تمام‌شده کمتر بشود، هیچ نیازی به نصب پرظرفیت نیست.
راهبرد بهینه برای سرمایش
با آنچه در این مقاله بیان کردیم، به راهبردی منسجم دست می‌یابیم که در نصب بیشتر تجهیزات بهینه است. این راهبرد ترکیبی است از روش‌هایی که پیش‌تر توضیح داده‌ایم. آن را جدول ۴ را مشاهده کنید.
| راهبرد | تحلیل |
| ۱ـ به‌جای توجه به‌اندازهٔ فیزیکی تجهیزات فاوا، به قابلیت کارکرد مصرف هر وات از برق توجه کنید. | برای به‌حداقل‌رساندن سطح اشغال و بهای تمام‌شده، این روش موثری است. |
| ۲ـ سیستم را به‌شکلی طراحی کنید که در آینده امکان نصب دستگاه‌های سرمایش تکمیلی فراهم باشد. | با این روش می‌توان در آینده هرگاه هرگونه ضرورتی پیش آید، تجهیزات سرمایش تکمیلی را در هرجایی که نیاز باشد، بدون رخ‌دادن وقفه در کار مرکزداده نصب کرد. |
| ۳ـ به‌عنوان معیار در طراحی‌های جدید، توان مصرفی را میان ۰٫۴ تا ۱٫۱ کیلووات بر متر مربع یا به‌طور متوسط ۱ کیلووات بر متر مربع (میانگین ۲٫۸ کیلووات بر رک) انتخاب کنید. این برای بیشتر طراحی‌های جدید مقدار اجرایی است. | در طراحی باید همین معیار از مقدار توان مصرفی را در نظر گرفت، تا از هدررفت زیاد ناشی از برآورد نادرست جلوگیری شود. اگر توان مصرفی را کمتر ۱٫۱ کیلووات بر متر مربع نگه دارید، عملکرد و افزونگی پیش‌بینی‌پذیر خواهد بود. |
| ۴ـ برای هنگامی که تجهیزات پرظرفیت مرکزداده درصد بزرگ و قابل پیش‌بینی از مصارف را تشکیل می‌دهند، ناحیه‌های ویژهٔ پرظرفیت را با توان ۱٫۱ تا ۴٫۳ کیلووات بر متر مربع (۳ تا ۱۲ کیلووات در هر رک) تعیین و تجهیز کنید. | هنگامی که نیاز به ناحیهٔ پرظرفیت از پیش مشخص باشد، ولی پخش‌کردن مصارف ممکن نباشد، به‌کاربردن این روش تا حد زیادی بر هزینه و زمان و پیچیدگی طراحی مرکزداده می‌افزاید. این ناحیه‌های پرظرفیت از تجهیزات ویژهٔ سرمایش خودشان استفاده می‌کنند و به طراحی معمول کف کاذب وابسته نیستند. |
| ۵ـ رویه‌ها و مقرراتی تعریف کنید که توان مُجاز هر رک را بر اساس مکان و توان مصرفی رک‌های کناری تعیین کند. | هنگامی که درک قابلیت‌های طراحی با نظارت بر برق مصرفی همراه شود، اِعمال مقررات برای نصب تجهیزات جدید می‌تواند از رخ‌دادن نقاط داغ بکاهد، به اطمینان از افزونگی سرمایش کمک کند، بهره‌وری سرمایش سیستم را افزایش دهد، همچنین مصرف برق را کاهش دهد. توان مصرفی بسیار زیاد، با اعمال مقررات پیچیده‌تر و نظارت امکان‌پذیر می‌شود. |
| ۶ـ هنگام ضرورت، از دستگاه‌های سرمایش تکمیلی استفاده کنید. | با نصب دستگاه‌های سرمایش تکمیلی می‌توان هر زمان و در هر مکانی که نیاز باشد، ظرفیت سرمایش هر ناحیه از مرکزداده را تا ۳ برابر مقدار طراحی افزایش داد. بدین ترتیب نصب تجهیزات پرظرفیت در مرکزداده ممکن خواهد شد. |
| ۷ـ تجهیزاتی را که امکان پیروی از این مقررات را ندارند، جدا کنید. | هنگامی که حجم مصارف پرظرفیت در مرکزداده چندان کوچک نباشد، اجرای این روش کمترین هزینه و کمترین ریسک را دارد؛ اما سطح زیادی را اشغال می‌کند. مراکزداده‌ای که این روش را به‌عنوان راهبرد اصلی خود انتخاب کرده‌اند، با محدودیت سطح مواجه نبوده‌اند. |
نتیجه‌گیری
بیشترین توان مصرفی رک‌هایی که در آخرین نسل از تجهیزات پرظرفیت فاوا ارائه شده‌اند، تقریبا ۱۰ برابر متوسط توان مصرفی رک‌هایی است که در مراکزدادهٔ فعلی استفاده می‌شوند. با این‌همه امروزه تعداد ناچیزی از رک‌ها در مراکزداده وجود دارند که با حداکثر نیمی از این ظرفیت کار می‌کنند.
شیوه‌ها و جانمایی‌های مراکزدادهٔ کنونی، در عمل نمی‌توانند سرمایش ضروری را برای این تجهیزات پرظرفیت فراهم کنند. این به‌دلیل محدودیت‌ها و دشواری‌هایی است که در تامین سرمایش و بازگشت هوا، در افزونگی، همچنین در حفظ استمرار سرمایش به‌هنگام وقفهٔ میان انتقال برق شهری به حالت ژنراتور وجود دارد.
برای کاستن از سطح اشغال و کاهش بهای تمام‌شده، باید هنگام خریدن تجهیزات فاوا، به میزان «کارکرد در ازای هر وات برق مصرف‌شده» توجه شود؛ اندازهٔ فیزیکی تجهیزات فاوا نباید معیار انتخاب قرار گیرد. چنین نتیجهٔ دور از انتظاری از آنجا ناشی می‌شود که اگر توان مصرفی از ۰٫۶ کیلووات بر متر مربع بیشتر باشد، تاثیر مصرف برق بر سطح اشغال و بهای تمام‌شده، به‌مراتب چشمگیرتر از تاثیر ابعاد تجهیزات فاوا است.
برای راه‌اندازی موثر تجهیزات پرظرفیت فاوا در مراکزدادهٔ سنتی، چندین راهکار در دسترس است. با اینکه همچنان بازآرایی برای پرظرفیت‌بودن در همهٔ مراکزداده ممکن نیست، با به‌کارگیری سیستم‌های سرمایش تکمیلی، اعمال مقررات برای استفاده از ظرفیت بی‌استفادهٔ رک‌های کناری، همچنین پخش‌کردن تجهیزات پرظرفیت در میان سایر رک‌ها می‌توان تجهیزات پرمصارف را به‌تعداد محدود در این مراکزداده نصب کرد.
هرگاه درصد زیادی از رک پرظرفیت در برنامه‌ریزی نصب تجهیزات پیش‌بینی شده باشد، ولی پخش‌کردن آن‌ها در میان رک‌ها امکان‌پذیر نباشد، تنها گزینهٔ باقی‌مانده همان است که زیرساخت لازم برای همهٔ رک‌ها فراهم بشود. طراحی‌های سنتی با کف کاذب، برای چنین سیستم‌هایی ظرفیت کافی یا عملکرد قابل پیش‌بینی را تامین نمی‌کنند. در نتیجه به سیستم‌های ویژهٔ سرمایش در سطح رک یا ردیف یا گروه نیاز خواهد بود.
برخلاف آنچه مجلات تجاری دربارهٔ ظرفیت ۳٫۲ تا ۶٫۵ کیلووات بر متر مربع در طراحی مرکزداده می‌گویند، به‌دلیل هزینهٔ بسیار زیاد و دشواری در تامین پایایی بسیار خوب در چنین ظرفیت‌هایی، دستیابی به این توان مصرفی همچنان غیرممکن مانده است. طراحی‌های فعلی با پایایی (Availability) و عملکرد بسیار خوب در بازهٔ ۰٫۴ تا ۱٫۱ کیلووات بر متر مربع (متوسط ۱٫۲ تا ۳ کیلووات در رک) قابل پیش‌بینی و اجرایی است. با بهره‌گیری از مزایای پخش‌کردنِ مصارف و استفاده از دستگاه‌های سرمایش تکمیلی می‌توان قابلیت پشتیبانی از مصارف را تا ۳ برابر مقدار طراحی افزایش داد.
پانویس
[1] این مطلب بخشی از کتاب «آئین‌نامهٔ مهندسی مرکزداده» و ترجمهٔ فارسی مقالهٔ زیر است:
APC White Paper 46: “Cooling Strategies for Ultra-High Density Racks and Blade Servers” (Revision 7)
نویسنده نیل راسموسن (Neil Rasmussen) [آشنایی با نویسنده و مطالعه‌ی مقالات فارسی او]، مترجم نازلی مجیدی، بازنویسی و ویراستاری پرهام غدیری‌پور، به‌کوشش دکتر بابک نیکفام، تهیه‌شده در باشگاه مراکزداده
[2] سطح اشغال هر رک، عموما از ۲٫۳ تا ۲٫۸ متر مربع متغیر است. برای اطلاع بیشتر دربارهٔ توان مصرفی به مقالهٔ «راهنمایی برای تعیین توان مصرفی مرکزداده» مراجعه کنید.
APC White Paper 120: Guidelines for Specification of Data Center Power Density
[3] Computer Room Air Conditioner
[4] Original Equipment Manufacturer: شرکتی که قطعه یا قطعاتی را به‌عنوان محصول اصلی خود تولید می‌کند؛ که به‌عنوان مواد اولیه در تولید یک محصول دیگر در شرکت دیگر استفاده می‌شود.
[5] Mitchell-Jackson, J.D., Koomey, J.G., Nordman, B., Blazek, M., Data Center Power Requirements: Measurements From Silicon Valley, May 16, 2001. Master’s Thesis, Energy and Resources Group, University of California. Berkeley, California
[6] به‌دست‌آوردن فراوانی توزیع برق مصرفی در هر رک، در جدول ۲ نسبت به دادهٔ جدول ۱ دشوارتر است. زیرا ابزارهای اندازه‌گیری توان رک در بیشتر مراکزداده در دسترس نیست. در بسیاری از مواقع برای این کار، توان واقعی را به گروهی از رک‌ها اختصاص می‌دهند. سپس برق میان رک‌ها تقسیم می‌شود و با کمک دادهٔ فراگیری که از مشتریان پیشین به دست آمده است، فراوانی توزیع برق مصرفی در هر رک را تخمین می‌زنند. دادهٔ پیشین را شرکت اشنایدر الکتریک برای استفاده در ابزارهای برآورد UPS ارائه کرده است.
[7] APC White Paper 135: Impact of Hot and Cold Aisle Containment on Data Center Temperature and Efficiency
[8] APC White Paper 49: Avoidable Mistakes that Compromise Cooling Performance in Data Centers and Network Rooms
[9] APC White Paper 44: Improving Rack Cooling Performance Using Blanking Panels
[10] رک‌پایه: تجهیزاتی که برای نصب در درون رک ساخته شده‌اند.
[11] APC White Paper 55: Rack Air Distribution Architecture for Mission Critical Facilities
درج دیدگاه