مرکزدادهٔ IBM در پارک مثلث تحقیقاتی [1]
آنچه میخوانید
شرکت IBM مرکزدادهٔ پیشروی پارک مثلث تحقیقاتی خود را که ابررایانهٔ Watson در آن است، برای خدمات برونسپاری و برای رایانش ابری عمومی به کار میبرد. پروژه ساخت این مرکزداده با بازسازی ساختمان موجود انجام شده است. آن را ماژولار و توسعهپذیر، با ظرفیت مختلف و بهرهوری خوب طراحی کردهاند. از سرمایش طبیعی و سرمایش مایع بهره میبرد. این تاسیسات در هنگام قطع برق، بدون استفاده از UPS تا نیم ساعت سرمایش ذخیره دارد. بهرهوری تاسیسات با کمکِ گردآوری دادهٔ دهها هزار حسگر سیستمهای مکانیکی و الکتریکی و بهکاربردن مدل دینامیک سیالات محاسباتی به دست میآید. این مرکزدادهٔ سازگار با محیط زیست، گواهینامهٔ LEED دارد.
آشنایی با مرکزدادهٔ IBM در پارک مثلث تحقیقاتی
تصویر: سالن سرور مرکزدادهٔ IBM در پارک مثلث تحقیقاتی (Research Triangle Park)؛ کارولینای شمالی
در نبرد میان انسان و ماشین معلوم است IBM کدام طرف را میگیرد؛ چون طراح و سازندهٔ ابرکامپیوترهای Deep Blue و Watson است. ابررایانهٔ Deep Blue در سال ۱۹۹۰ با گری کاسپاروف قهرمان شطرنج جهان مسابقه داد. ابررایانهٔ Watson نیز در سال ۲۰۱۱ برندگان مسابقه !Jeopardy ـ[2] یعنی «کن جنینگز» (Ken Jennings) و «برد راتر» (Brad Rutter) را برد. جنینگز در این مسابقه تلویزیونی بهشوخی گفت: «من از طرف خودم به سلطان کامپیوتر خوشامد میگویم.»
شرکت IBM برای خاطر این سلطان کامپیوتر، به آن قلمرو مناسبی در پارک مثلث تحقیقاتیِ کارولینای شمالی بخشیده است. این مرکزدادهٔ ۹٬۳۰۰ متر مربعی، جایگاه دوم را در میان بیش از ۴۵۰ مرکزدادهٔ این شرکتِ مشاوره و فناوری جهانی دارد. IBM برای طراحی بسیار سازگار با محیط زیست و برای بهرهوری انرژی مطلوب این مرکزداده، موفق به دریافت گواهینامهٔ LEED زرین شده است.
در این مرکزداده دهها هزار حسگر بر عملیات و بهرهوری انرژیِ سیستمهای مکانیکی و الکتریکی بهدقت نظارت میکنند. IBM این میزان بهرهوریِ انرژی خوب را با تولید مدلهای CFD ـ[3] و شبیهسازی دقیقتر امکانپذیر کرده است. این مرکز در قالب بخشهای ماژولار ساخته شده و به همین دلیل توسعهٔ سریع در آن امکانپذیر است.
با «کریس مالوی» (Chris Molloy) از مهندسان برجستهٔ IBM دربارهٔ این چیزها و دیگر مولفههای طراحی که در این مرکزداده به کار رفته است گفتوگو میکنیم.
مشخصات تاسیسات:
- نام سازمان: IBM
- مکان: کارولینای شمالی، پارک مثلث تحقیقاتی [4]
- شروعبهکار: نوامبر ۲۰۰۹
- ویژگیهای چشمگیر: طراحی ماژولار، نظارت با شبکهٔ گستردهای از حسگرها که بهرهوری سیستم الکتریکی و مکانیکی را بهدقت مدیریت میکند، استفاده از هر دو نوع سیستم سرمایش با هوا و سرمایش با مایع، جمعآوری و استفاده از آب باران، استفاده از ۹۵ درصد از اسکلت ساختمانی که برای این مرکزداده بازسازی شد، دارای گواهینامه LEED زرین
- مدت طراحی و ساخت: ۱۹ ماه
- مساحت: جمعا ۱۵ هزار متر مربع شامل ۹٬۳۰۰ متر مربع سالن سرور
- برق: دو منبع تغذیهٔ ۲۱ مگاواتی، ۱۵ مگاوات برای فاوا
- رتبهبندی: اعلامنشده
- تعداد رکها: ۹۶۰ رک
- زیرساختها: زیرساخت برق و کابلکشیِ ساختیافته و سرمایش، همه از زیر کف کاذب ۹۰ سانتیمتری
- بار سازهای: نامعلوم
- سیستم اطفای حریق: سیستم «لولهٔ تر» (Wet pipe system)، سیستم تشخیص سریع دود VESDA ـ[5]
متن مصاحبه
الگر: IBM چه اهدافی را برای مرکزدادهاش در پارک مثلث تحقیقاتی در نظر دارد؟
مالوی: این مرکزداده دو هدف مهم دارد. اولین اینکه IBM خدمات برونسپاری بسیاری به مشتریانش میدهد. این مرکزداده در میان دیگر مراکز ما پایهٔ کار برونسپاریمان محسوب میشود. ما حدود ۷۴۵ هزار متر مربع فضای مرکزداده در بخش برونسپاری داریم که آن را به نمایندگی از مشتریانمان مدیریت میکنیم. از نظر اندازه این مرکزداده دومین تاسیسات بزرگ ما است. دومین هدف مهم این مرکز، دادن خدمات رایانش ابری عمومی است. اکنون دو نوع از خدمات داریم که به مشتریان و تجهیزات خارج از مرکزداده عرضه میکنیم.
الگر: چرا بهجای ساختن بنای جدید، ساختمان پیشساخته را نوسازی کردید؟
مالوی: اساسا سه چیز را در نظر داشتیم: هزینه، زمانبندی، منابع. ساختمانی که باید در این جای بهخصوص بازسازی میکردیم، فضای انبار کارخانه بود که ویژگیهای مرتبط با برق، کف کاذب مقاوم، همچنین زیرشیروانی را از قبل داشت. بدین ترتیب از سویی این نیازها از قبل موجود بود و از سوی دیگر ما مدتی بود بخشی از پارک مثلث تحقیقاتی شده بودیم.
این عوامل سبب شد از چند مزیت بهرهمند شویم. اول اینکه دیگر نیازی نبود زمین بخریم یا ساختمان جدید بسازیم. همین باعث شد برنامهٔ زمانی کارمان کوتاهتر باشد. دوم اینکه ساختمان کاملا مستهلک بود و در نتیجه پروژه ارزانتر درمیآمد. سوم اینکه لازم نبود در ساختمان به چیزهایی مثل برق و کف کاذب مقاوم بپردازیم. همینها برنامهٔ زمانی را کوتاهتر میکرد. سایر جنبههای کار کردن در ساختمانِ موجود نیز، از نظر زمانبندی و هزینه و کار بسیار سودمند بود.
الگر: شما از ۹۵ درصد از اسکلت ساختمان موجود استفاده کردید. ۹۰ درصد از مصالح ساختمان اولیه را نیز با بازیافتکردنِ دوباره به کار بردید. آیا آگاهانه تصمیم گرفته بودید در طراحی این مرکزداده از چنین امکاناتی بهره بگیرید که از پیش آماده بود؟
مالوی: درست است. اینچنین تصمیمهایی در نتیجهٔ خواست ما برای دریافت گواهینامهٔ LEED بود. تلاش برای دریافت این گواهینامه دو بخش دارد. بخش اول ثبت پیشنهاد پروژه در طول مرحله طراحی است. این بخش به شما نشان میدهد چند امتیاز و در نتیجه چه گواهینامهای دریافت خواهید کرد. این مواردی که شما اشاره کردید، مستقیم ناشی از این بود که میخواستیم بدانیم چند امتیاز برای بهرهوری انرژی بیشتر، برای استفادهٔ مجدد از ساختمان، بازیافت مواد و مصالح، خرید مصالح از منطقهٔ خودمان برای کاستن از تولیدِ آلایندههای کربنیِ ناشی از مصرف سوخت حملونقل، همچنین خرید مواد بازیافتی به دست میآوریم. باید همهٔ این کارها و نحوهٔ اجرای پروژه را پیشاپیش مشخص میکردیم تا در طول پروژه آنها را اجرا کنیم.
«مدیریت انرژی و طراحی زیست محیطی» (Leadership in Energy and Environmental Design) یا بهاختصار LEED سیستم رتبهدهی به طراحی و ساخت و عملکرد ساختمانهای سبز است که از سال ۱۳۷۷ ش. آغاز شده است. مالکین ساختمانها میتوانند داوطلبانه در این رتبهدهی شرکت کنند. LEED معیارهای مشخصی در سنجش دارد که مطابق آن هر ساختمان با گرفتن حداقل امتیاز ۴۰ و حداکثر امتیاز ۱۱۰ یکی از چهار رتبهٔ «تایید شده»، «نقره»، «زرین» و «پلاتین» را بر اساس سنجش در ۶ موضوع زیر دریافت میکند:
این سیستم رتبهدهی هماکنون در بیش از ۱۳۵ کشور جهان اجرا میشود. |
الگر: IBM در مراکزدادهاش از رویکرد طراحی ماژولار استفاده کرده تا زمان ساخت را کاهش بدهد و اختلال در کار محیطهای سرور را محدود کند. دربارهٔ این رویکرد بیشتر توضیح بدهید.
مالوی: طراحی ما ۱۵ مگاواتی است. ما علاوه بر اینکه به مراکزداده خدمات برونسپاری میدهیم، گروه مشاوره هم داریم که با آنها خدمات طراحی و ساخت مرکزداده ارائه میکنیم. این گروه برای مراکزدادهٔ ماژولار بزرگ، طرحی ارائه کرده است که مشتریان با استفاده از آن میتوانند ساخت مرکزداده را بهتدریج و با افزایش منابع برق و فضا پیش ببرند. این کار اجرای گستردهتر همان چیزی است که اشاره کردید. طراحی مرکزدادهٔ ما سرانجام ۱۵ مگاواتی با ۹٬۳۰۰ متر مربع مساحت شده است. با ۶ مگاوات و ۵٬۶۰۰ متر مربع شروع کردیم و توانستیم بهتدریج آن را از ۶ به ۹ سپس به ۱۲ و بالاخره به ۱۵ مگاوات گسترش بدهیم. بعدتر یک قطعهزمین ۳٬۸۰۰ متر مربعیِ دیگر نیز به دست آوردیم که توانستیم به آن بیفزاییم.
نتیجهٔ کار از آنکه پیشبینی میکردیم بهتر شد، چون تا وقتی نیاز نداشته باشیم چیزی نمیسازیم. اول گمان میکردیم قرار است وقتی ظرفیت برق تجهیزات زیاد شد، برق فضای مرکزداده را افزایش بدهیم که در آن زمان ۵٬۶۰۰ متر مربع بود. بعد دیدیم میزان درخواست مشتریان ما هنوز به این مقدار برق نرسیده است. پس قرار شد بهجای اینکه برق فضای موجود را افزایش بدهیم، فضای بیشتری ایجاد کنیم.
تصویر: هرگاه برق قطع بشود، شش ژنراتور ۲٫۵ مگاواتی به کار میافتند و انرژی تجهیزات مرکزدادهٔ IBM را تامین میکنند.
الگر: چگونه طراحی ماژولارِ مرکزداده باعث صرفهجویی در زمان و افرایش توسعهپذیری میشود؟ به گمان من چنین نتیجهٔ خوبی به این دلیل به دست میآید که با این روش، در هر مرحله فقط چند ردیف رک اضافه میشود.
مالوی: ماژولهای ما ۳ مگاواتی بودند. وقتی چیدمان را طراحی میکردیم برای ۵ تا از آنها جا داشتیم. در اصل ما «پیمانههای» ۳ مگاواتی ساختیم که UPS و ژنراتور و چیلر را در خودشان داشتند. سپس رفتیم سراغ این مسئله که آنها را کجا بگذاریم؛ درون مرکزداده در سایت تاسیسات جا بدهیم یا بیرون و حداکثر تا فاصلهای که سکوی ژنراتورها قرار داشت. نهایتا جایی را برایشان در نظر گرفتیم؛ ولی نصبشان نکردیم. اکنون برای ۶ مگاوات اولیه، ژنراتور داریم و میدانیم که ۵٬۶۰۰ متر مربع از فضای باقی مانده برای ژنراتورهای ۳ مگاواتی بعدی است. البته همان وقت مجبور شدیم برخی از سبدهای کابل را پیشاپیش نصب کنیم و لولههای آب را با آیندهنگری بزرگتر بگیریم تا جریان نهایی را تحمل کند. از همزمان اجراکردنِ این کار با ساختوساز، صرفهجویی خوبی به دست آوردیم؛ بهتر از آنکه تجهیزات را بعد از مرحلهٔ ساخت میافزودیم.
تصویر: باتریهای تَر (Wet Cell Battery) در مجموع با ظرفیت ۳ مگاوات، پس از قطع برق و پیش از بهکارافتادن ژنراتورها، بهمدت ۱۵ دقیقه انرژی لازم را برای تجهیزات فراهم میکنند.
کار با رویکرد ماژولار کمک میکند زمان اجرای پروژههای ۱۸ یا ۲۴ ماهه، به کمتر از ۱۲ ماه کاهش یابد و پروژها کوچک شوند. چنانکه ما اکنون بهجای ساختن یک مرکزدادهٔ ۱۵ مگاواتی، در واقع داریم ۵ مرکزدادهٔ ۳ مگاواتی میسازیم.
الگر: ظرفیت برقِ فاوای این مرکزداده ابتدا ۶ مگاوات بود؛ سپس ۱۵ مگاوات شد. این مرکزداده در مجموع چقدر برق مصرف میکند؟
مالوی: مقدار کلی برق این مرکزداده برای PUE با عدد ۱٫۴ طراحی شده است؛ پس خودتان میتوانید آن را محاسبه کنید.
این مزیت چشمگیری است که کارهای ما اطمینانپذیری را افزایش داده و از ریسک و هزینه کاسته است. دراینباره اکنون نمونهای از سیستم توزیع سرمایش را به شما میگویم. معمولا در سیستمهای توزیع سرمایش، حتی با بهینهساز انرژی در چرخهٔ آب یا هوا، چیلر و بهینهساز و پمپها و CRAC همگی به هم مرتبط هستند. عملا میتوان گفت بین آنها تناظر یکبهیک برقرار است.
کاری که ما انجام دادیم این بود که اتصال بین این قسمتهای مهم را بهصورت متقاطع برقرار کردیم؛ چنانکه هر چیلر میتواند هر مبدل برودتی را تغذیه کند. این مبدلها نیز خود میتوانند با استفاده از هریک از پمپها، سرمای هریک از واحدهای تاسیسات را تامین کنند. این اتصالاتِ متقاطع فقط با استفاده از شیر و فلکههای آب ایجاد شده است. جالب آنکه برای رسیدن به این بهبودپذیری (Resiliency) چندان هزینهای نکردیم!
تصویر: مخازن ذخیرهساز برودتیِ مرکزدادهٔ IBM در مثلث تحقیقاتی
الگر: متوجه میشوم که این کار چطور افزونگی بیشتری را در سیستم ایجاد میکند. آیا این کار ظرفیت برق یا بار گرمایی را که میتوانید در هر رک مدیریت کنید افزایش میدهد؟
مالوی: نه. این موضوع تا حد زیادی تنها در بهبودپذیری تاثیر دارد. معمولا وضعیت بدین منوال است که UPS را بهتناسب مصرف چیلرها اختصاص میدهند؛ در نتیجه تعداد کل UPSها برابر است با جمع این تعداد با UPSهای فاوا. کاری که ما در نهایت انجام دادیم این بود که محاسبات و برآوردهایی کردیم و دیدیم بهتر است بهجای اتصال چیلرها به UPS، آنها را به ژنراتور متصل کنیم. سه مخزن ۱۹۰ هزار لیتریِ آب سرد ساختیم و این مخزنها را در مسیر سیستمهای توزیع سرمایش قرار دادیم تا دمای آب را بهمیزان مطلوب کاهش دهد. ظرفیت سرمایشی این مخازن بهاندازهای هست که اگر برق قطع بشود، سیستمها را تا نیم ساعت خنک نگه میدارد. این مهلت تا وقتی که ژنراتورها بهکار بیفتند و چیلرها با برق آنها کار کنند کافی و عالی است. این روش که بسیار ارزانتر از UPS است؛ بر کاهش هزینهٔ عملیاتی و هزینهٔ سرمایهای (Capital Expenditure) تاثیر بسیار زیادی داشت و در عین حال به افزایش بهبودپذیری و کاهش ریسک کمک کرد.
الگر: اگر درست متوجه شده باشم، در مرکزدادهٔ شما ظرفیت برق در هر رک فرق میکند.
معمولا برای نشاندادن ظرفیت برق مرکزداده، تاکنون از واحد «وات بر فوت مربع» استفاده شده است. این واحد کمکم دارد به بدترین معیار مرکزداده تبدیل میشود [مطالعهٔ بیشتر]. زیرا به این معناست که در یک قسمتِ معین از کف کاذب، توزیع برق و در نتیجه سرمایش یکنواخت است. ما این شیوه را کنار گذاشتهایم و بهجای اینکه همهٔ رکها ۴ یا ۲ کیلوواتی باشد، صبر میکنیم تا وقتی که نیاز برقِ هر مشتری مشخص بشود و به تبع آن سرمایش بیشتری در آن محل لازم شود. آنگاه برای تامین مقدار سرمایش بیشتر، حجم بیشتری از هوای سرد میدمیم یا از RDHx بهره میگیریم. همان طور که میبینید، ما رابطهٔ پیشفرض میان سرمایش و برق را کنار گذاشتیم و بهجای آن تناسب ایجاد سرمایش با میزان برق مصرفی را معیار قرار دادیم. با این روش بهسادگی میتوانیم رکهای با ظرفیت مختلف را در کنار هم داشته باشیم.
ما تجزیهوتحلیل کردیم که مشتریان از نظر ظرفیت برق، چه تعداد رک از هر نوع استفاده میکنند. بعد گفتیم همین طور که مشتریان دارند مرکزداده را پر میکنند، بهازای هر رک چه مقدار ظرفیت برق باید داشته باشند. اکنون رکهای ۸ و ۱۶ کیلوواتی و رکهای ۳۲ کیلوواتی را نیز پشتیبانی میکنیم. با این حال این برق را فرامصرف نمیکنیم؛ مقدار نیرویی را که رک نیاز ندارد به آن اختصاص نمیدهیم.
الگر: ظرفیت بیاستفاده یا غیرقابل توزیع در مراکزدادهٔ قدیمی دردسرساز است؛ چه در سالنهایی که ظرفیت برق سنتی داشتهاند چه آنهایی که امکان توزیع نیرو را در مناطق پرمصرف ندارند. من عقیده دارم توزیع مناسب برق باید چنان منعطف و تغییرپذیر باشد که ضریب استفاده از سالن سرور بالا برود.
مالوی: بله. این قابلیت که بتوان مقادیر متفاوت برق را به هریک از رکها داد، نوعی تغییرپذیری است؛ مثلا داشتن رک ۴ کیلوواتی در کنار رک ۳۲ کیلوواتی. قطعکردن ارتباط میان برق و سرمایش نیز نوعی دیگر از تغییرپذیری است.
مثال میزنم. در مرکزدادهٔ شهر بولدر میخواستیم یک رک پرظرفیت نصب کنیم. برای آن برق داشتیم؛ سرمایش نداشتیم. بنابراین از یک مبدل برودتی درب عقب RDHx برای فراهمکردن سرمایش اضافی استفاده کردیم و توانستیم عملکرد این رک پرظرفیت را در فضای سالنی با ظرفیت ۴۳۰ وات بر متر مربع ممکن کنیم.
الگر: این مرکزداده را از اول برای پشتیبانی از رایانش ابری (Cloud Computing) طراحی کردهاند و ساختهاند. این ویژگی چه تاثیری در طراحی این تاسیسات داشته است؟
مالوی: به دو شکل. ابتدا باید IBM را در جایگاه عرضهکنندهٔ خدمات ابری در نظر بگیرید. وقتی به مدلِ رایانش ابری ما توجه میکنید، میبینید که خدمات Desktop Cloud و Enterprise Smart Cloud را اجرا میکنیم که معماری x86 دارند و ماژولار هستند. پس هم برای برق و هم برای سیستم سرمایش، از طراحی ماژولار استفاده کردیم. برای فضای مرکزداده هم همین رویکرد را به کار بردیم. اکنون داریم طراحی ماژولارِ آن تجهیزات فاوایی را بررسی میکنیم که قرار است در سالن مرکزداده جا بدهیم.
کاری که انجام دادیم این بود که در هنگام طراحی Enterprise Smart Cloud «پیمانهٔ مرکزداده» را طراحی کردیم. پیمانهٔ مرکزداده تلفیقی است از سرور و ذخیرهساز و شبکه. آن را بهاندازهای کوچک ساختهایم که سرمایهٔ اولیهٔ زیادی نیاز نداشته باشد. همین پیمانه را در دیگر سایتهای ابرمان در سایر نقاط جهان نیز به کار بردهایم. اکنون که داریم در سایتهای مختلف خود به حداکثرهای مجاز توسعهٔ فیزیکیمان میرسیم، میتوانیم بهراحتی از این پیمانهٔ مرکزدادهٔ جدید اضافه کنیم. این مزیت تازه را بهگونهای طراحی کردهایم که لازم نباشد لوله و کابل بیشتری در اطراف زیرساخت مراکزدادهٔ کنونیمان کار بگذاریم. این مشکلی است که مدیران بسیاری از مراکزداده با آن روبهرو میشوند. یعنی اول تاسیسات را میسازند، سپس وقتی دچار کمبود ظرفیت میشوند، ناچار برای لولهکشی و کابلکشی، جایی را در کنار تاسیسات فعلی اختصاص میدهند تا ظرفیت بیشتری ایجاد کنند. طوری است که اگر این کار را نکنند، برای پردازشگرها و رایانش جدید خود با کمبود زیرساخت روبهرو میشوند.
باید ویژگیهای فیزیکی این پیمانهٔ مرکزداده را شناخت و دانست که میتوان با این وسیله، تجهیزات ابری پرظرفیت خود را پشتیبانی کرد. همچنین این پیمانههای ماژولار از نظر اتصال در شبکه، «عرضهکنندهٔ خدمات ابری عمومی» هستند. بنابراین با این کار نسبتِ «شبکهٔ خصوصی MPLS» ما به «شبکهٔ اینترنت عمومی» تغییر کرد. پس با عرضهکنندهٔ خدمات شبکهٔ خود صحبت کردیم تا مطمئن بشویم که از نظر نسبت، بین دو گزینهٔ اتصالِ مبتنی بر اینترنت و اتصالِ شبکهٔ خصوصی MPLS، اولی را بیشتر در اختیارمان میگذارد.
الگر: به نظر میرسد در این مرکزداده تغییرپذیریِ بسیاری دارید. افزون بر رویکرد ماژولار همچنین بر اساس تقاضا میتوانید تنظیم کنید که چه مقدار زیرساخت به هر رک اختصاص بدهید.
بله. دلیل این کار که در آن بسیار هم موفق بودیم، این است که ما گروه برونسپاری هستیم و طبعا نمیدانیم چه وقت کدام کاربر (Account) وارد سیستم میشود، یا کدام بخش ادغام یا برچیده میشود، یا کدام کاربر میخواهد بهصورت متناوب اطلاعات اضافه کند. چون نمیخواهیم اشتباه یا ریسک بکنیم، این کار را با تغییرپذیریِ ماژولار انجام میدهیم.
تصویر: لولهکشیهای از پیش انجامشده در زیر کف کاذب مرکزداده IBM که برای فراهمساختن نیازهای آیندهٔ سرمایش آبی تعبیه شدهاند.
الگر: برایمان از مبدلهای برودتیِ درب عقب RDHx و قابلیت آنها بگویید.
مالوی: اکنون مراکزداده دوباره دارند به فناوریهای سرمایش با مایع روی میآورند. اگر به پردازندههای Z10 ما که Mainfram هستند توجه بکنید، میبینید کولرهای توکار دارند ولی لولهکشی آب ندارند. Mainframeهای قدیمیِ ده بیست سال قبل لولهکشی آب داشتند. پس متوجه میشویم تکنیکهای سرمایش با مایع دارند به مرکزداده بازمیگردند. برخی از کسانی که از این روشها استفاده میکنند، نگران خطرات احتمالی آن هستند. ما این نگرانی را نداریم؛ چون خیلی وقت است که از آب در مرکزداده استفاده میکنیم. همهٔ اینها غیر از آبی است که در آبفشانهای سیستم اطفای حریق، درست در بالای رک تجهیزات استفاده میشود. با در نظر گرفتن همهٔ اینها، ما میخواهیم بهرهوری خوب داشته باشیم و مقرونبهصرفه کار کنیم. سازمان حفاظت از محیط زیست آمریکا (U.S. EPA) به آزمایشگاه ملی لارنس برکلی [6] ماموریت داد دربارهٔ آخرین فناوریهای سرمایش با مایعی که بسیار نزدیک به تجهیزات بودند تحقیق کند. درست است که واحدهای CRAC هم با آب کار میکنند، اما آنها هوای اطراف رکها را خنک میکنند؛ منظور من خنککردن داخل رک است. اگر نتایج آن بررسی را نگاه کنید، آنوقت میفهمید به چهچیزی میگویند «سرمایش».
مبدل برودتی درب عقب RDHx وسیلهای است که جای درِ عقبِ رک کار میگذارند. این وسیلهٔ سرمایشی از دو سال گذشته تاکنون، سرآمد روشهای سرمایش با مایع بوده که فروشندگان مختلف عرضه کردهاند. آزمایشگاه ملی لارنس برکلی تحقیق مستقلی انجام داد و نتیجه گرفت که این روش بهازای هر واحد هزینه، مقرونبهصرفهترین شیوهٔ سرمایش است. مبدل برودتی درب عقب RDHx سیستمی کمفشار است که به هر رک متصل بشود آن را خنک میکند. در این روش فنهای سرورها یا تجهیزات فاوا، هوا را به رادیاتوری میدمند که در داخلش آب سرد جریان دارد. اگر دستتان را روی آن بگیرید، میبینید بهجای هوای گرم هوای سرد به فضای مرکزداده میدمد؛ زیرا باعث میشود هوای داخل رک بیش از حد خنک باشد. مزیت بعدی این سیستم، آب کمفشار و حلقهبسته و کاملا آببندیشدهٔ آن است که اگر نشت بکند، چون پرفشار نیست آسیب چندانی وارد نمیکند. بنابراین بهخوبی بهبودپذیر است و آسیبپذیری کمی دارد.
این سیستم مزیت دیگری هم دارد. اینکه حتما نباید روی همهٔ رکها نصب بشود؛ میتوان آن را فقط روی رکهای پرظرفیت نصب کرد.
تصویر: استفاده از هر دو نوع رویکرد سرمایش با هوا و سرمایش با مایع، امکان استفاده از رکهای با ظرفیت برق مختلف را در این مرکزداده میسر کرده است.
الگر: بعضی از گردانندگان مراکزداده دربارهٔ استفاده از سرمایش با مایع تردید دارند؛ چون نگراناند آب نشت کند. با این حال به نظر میرسد شما آن را راهکار کاملا مطمئن میدانید و اگر مشکلی پیش بیاید، بهدلیل کمفشار بودن این سیستم پیشبینی میکنید ناچیز باشد.
مالوی: درست است. اگر تولیدکنندگان بزرگ را در نظر بگیرید و ببینید امروزه چه تجهیزاتی را طراحی میکنند و برای آینده چه تصمیماتی دارند، خواهید دید که رویآوردن به سرمایش با مایع اجتنابناپذیر است؛ به این دلیل که ظرفیت تجهیزات روزبهروز بیشتر میشود.
به نمودارهای جدید انجمن مهندسان گرمایش، سرمایش و تهویهٔ مطبوع آمریکا (ASHRAE) ـ[7] نگاه کنید؛ میبینید چگونه ظرفیت برق رکها رشد صعودی دارد. سرانجام ظرفیت آنها چنان زیاد خواهد شد که دیگر جریان مصنوعی هوای سرد برای سرمایشِ همهٔ تجهیزات کافی نخواهد بود؛ آنگاه بهناچار باید از شیوهٔ سرمایش با مایع استفاده کرد. به همین دلیل هم هست که ما در فضای ۵٬۶۰۰ متر مربعیِ مرکزدادهٔ «شهر رالی» (Raleigh) برای ۸۰ درصد از تجهیزاتمان از واحدهای CRAC و جریان مصنوعی هوای سرد بهره گرفتیم و تصمیم داریم خنکسازی ۲۰ درصد باقی مانده را با تکنیکهای سرمایش با مایع انجام بدهیم. در نتیجه از هر سه واحد CRAC، یکی به دستهلولهٔ ثانویهٔ آب سردِ رفت و برگشتی متصل است. ما با داشتن این سیستمِ ثانویهٔ لولهکشی که در جهت مخالف دیگری جریان دارد، اجرای عملیات تعمیر و نگهداری هر بخش را با جدا و خاموشکردن حلقهٔ مربوط به آن میسر کردهایم. ولی لولههایی هم داریم که آب سرد را برای سیستم RDHx تامین میکنند.
«اگر تولیدکنندگان بزرگ را در نظر بگیرید و ببینید امروزه چه تجهیزاتی را طراحی میکنند و برای آینده چه تصمیماتی دارند، خواهید دید که رویآوردن به سرمایش با مایع اجتنابناپذیر است.»
الگر: آن زمانی که میخواهند سرمایش با مایع را بهجای شیوهٔ سرمایش با جریان مصنوعیِ هوای سرد جایگزین کنند، ظرفیت برق رکها باید به حد خاصی مثلا ۲۰ کیلووات بر رک رسیده باشد؟
مالوی: از نظر اقتصادی ۲۰ کیلووات خیلی بهتر است. ولی قوانین فیزیک هم در کار است. در واقع به این بستگی دارد که چگونه جریان مصنوعی هوای سرد را در اطراف رکها پخش میکنید و چگونه آن را با چیدن یک رکِ پرظرفیت در کنار یک رک کمظرفیت تعدیل میکنید. حتی با مجموعا ۶ مگاوات در فضای بزرگتر از ۵٬۶۰۰ متر مربع که رکهای ۳۲ کیلوواتی در آن باشد، باز از نظر فیزیکی میتوانید از سرمایش با هوا استفاده کنید. از دید اقتصادی شاید شروع استفاده از سیستم سرمایش RDHx وقتی مقرونبهصرفهتر باشد که رکهای با ظرفیت کمتر از ۱۰ کیلووات داشته باشید. البته این فناوری دارد پیشرفت میکند و این عدد به ۶٫۵ کیلووات میرسد.
تصویر: تابلو برق مرکزدادهٔ IBM در پارک مثلث تحقیقاتی
الگر: نیرو در تمام سالن یکنواخت توزیع شده، یا بسته به نیازهای جداگانهٔ هر رک متفاوت است؟
مالوی: بیشتر حالت دوم است که گفتید. سابقا برایمان فرقی نمیکرد. دلیل اینکه توانستیم توزیع برق یکنواخت در سالن سرور داشته باشیم و میانگین وات بر فوت مربع را اندازهگیری کنیم، این بود که سرورها و شبکه و تجهیزات ذخیرهسازی، همگی از نظر ظرفیت برق یکسان بودند. بنابراین نگران چیزی نبودیم.
اگر نمودارهای ASHRAE را ببینید؛ شتاب رشد هر گروه از سرورها، سوئیچها، سرورهای مستقل 1U یا 2U، تجهیزات Tape، همچنین گروه تجهیزات شبکه، منحنیهای صعودی متفاوتی دارند که این تفاوت با گذشت زمان بیشتر هم میشود. بدین ترتیب هرچه تجهیزاتِ بیشتری اضافه میکنیم، نیاز به برق هم متفاوتتر و ناهمگونتر و وضعیت دشوارتر میشود.
الگر: این مرکزداده در تاسیسات و برق بیش از ۳۰ هزار حسگر دارد که به ابزارهای نرمافزاریِ مختلفی متصل هستند. چه اطلاعاتی را جمعآوری میکنند و شما چه استفادهای از آن اطلاعات میکنید؟
مالوی: در ابتدا باید بگویم که همهٔ تاسیسات و قطعاتِ تجهیزات فاوای ما، به حسگرهای قطع و وصل و سنسورهای پایشی و نظارتی مجهزند. با این حسگرها است که اطلاعات کیفیتِ عملکرد واحدهای CRAC گزارش میشود. ژنراتورها و پمپها و تقریبا تمام قطعات تجهیزات الکتریکی، هم در تاسیسات و هم در فاوا، وضعیت خود را بهطور دائمی گزارش میدهند. ژنراتورها نیز میزان فشار روغن یا میزان گاز باقیمانده در مخزن را گزارش میدهند. دهها هزار حسگر به همین ترتیب، داده گزارش میکنند که حجم سرسامآوری دارد. این را نمیتوان فقط با نگاهکردن مدیریت کرد؛ باید سراغ نرمافزارهای «مدیریت زیرساخت مرکزداده» (DCIM) ـ[8] بروید. این نرمافزارها دادههای خام پرحجمی را که حسگرها تولید کردهاند، به اطلاعات قابل استفاده تبدیل میکنند.
تجهیزات فاوا دادههای مربوط به دما و مصرف انرژی را نیز گزارش میکنند و میگویند هر سرورِ چقدر انرژی مصرف میکند. این را که میزان مصرف انرژی باید بهتناسبِ کموزیاد شدنِ درصد کار کموزیاد بشود، رتبهبندی Energy Star دربارهٔ سرورها اجبار کرده است. معنیاش این است که برقِ استفادهنشدهٔ بسیار بیشتری نسبت به قبل خواهید داشت. چون در گذشته معمولا وقتی دستگاهی را روشن میکردید، مصرف هر لحظهٔ آن با هنگام تغییر بار کاری چندان فرق نمیکرد.
تصویر: مرکزدادهٔ IBM در پارک مثلث تحقیقاتی با استفاده از شیوهٔ سرمایش آبمحور، سالیانه ۳٬۹۰۰ ساعت سرمایش طبیعی فراهم میکند.
الگر: در این مرکزداده فناوری مدلسازیِ جریان هوا هم به کار رفته است. اجرای این فناوری را با استفاده از حسگرها مقدور کردهاید؟
مالوی: این تکنولوژی کمی فرق دارد؛ با راهبرد کلیِ مدیریت زیرساخت مرکزداده تلفیق شده است.
IBM مفتخر است که سالیانه بودجهٔ عظیمی برابر ۶ میلیارد دلار برای بخش تحقیق و توسعه اختصاص میدهد. مقدار زیادی از این پول در اختیار سازمان پژوهشی IBM قرار میگیرد که به «فناوری سنجش و مدیریت» (MMT) ـ[9] دست یافته است. فناوری MMT همانند CFD، با حسگرها و تجهیزات متحرکی که در ارتفاع مختلف نصب میشوند، نقاط داغ و جریان هوای سرد را در مرکزداده شناسایی میکند. تحلیل CFD در واقع نوعی از آنالیز انتقال حرارتی بر حسب زمان است که خروجی گرافیکی شبیه به تصویربرداری فروسرخ دارد و جریان هوا را هم مدلسازی میکند. این فناوری در ابتدا تصویر وضعیت را گذرا ثبت میکرد و اگر هر بار به یک تصویر وضعیتِ گذرای نو نیاز داشتید، باید تجهیزات این فناوری را برای تصویربرداری با خود به اینسو و آنسو میبردید. نوآوری ما در مرکزدادهٔ شهر رالی این است که حسگرها را بهشکل ثابت در بالا و پایین سالن، در نقاط مختلف پیرامون رکها، در ردیفها و دالانها نصب کردیم؛ چنانکه اکنون میتوانیم مدل CFD یا تصویر وضعیت گذرا را بهطور دائمی و پویا تولید کنیم.
همینکه این اطلاعات را به دست آوردید بیدرنگ میتوانید در تحلیل نقاط داغ از آن استفاده کنید. میتوانید با توجه به مکان تجهیزات کنونی، از آن در فرایند تصمیمگیری برای انتخاب مکان تجهیزات فاوایی بهره بگیرید که در آینده خواهید آورد. میتوانید حتی از دمای محل فعلی تجهیزات برای برنامهریزیِ ظرفیت آینده استفاده کنید تا بفهمید تجهیزات سرمایشی آیندهٔ خود را در کجا قرار بدهید. همچنین میتوانید در آنالیز مرکزداده از آنها استفاده کنید تا بفهمید راهکار سرمایشیِ بهینه برای هر بخش از سالن چیست؛ تا سرمایش در سرتاسر مرکزداده یکنواخت بشود و تعداد نقاط داغ کمتر باشد.
الگر: در استفاده از فناوری MMT تاکنون پیش آمده که وقتی دارید وضعیت رکی را بررسی میکنید که سختافزارهای با ظرفیت برق گوناگون در آن نصب میشود، چیز غافلگیرکننده پیش بیاید؟
مالوی: نه. معمولا همان طوری است که انتظار داریم؛ پیرامون تجهیزاتی که ظرفیت بیشتری دارند نقاط داغ مشاهده میکنیم.
ما این فناوری را در برخی مراکزدادهٔ کمظرفیتتر هم به کار بردهایم. MMT یک چیز دیگر را هم به ما نشان میدهد. برخلاف مدل CFD که در آن تنظیمات اولیه را باید وارد کنید، MMT بهشکل پیوسته پایش میکند و آن را با مدل CFD تطبیق میدهد. در این مقایسه اگر جایی را این دو روش متفاوت نشان بدهند، میفهمیم آنجا گاف دادهایم. این شیوه به شناسایی ایرادهای سیستم سرمایش کمک میکند. چیزهایی همچون استفادهنکردن از پنلهای کاذبی که جلوی جای خالی رک را میپوشانند تا از تداخل هوای گرم و سرد جلوگیری کنند، مسدود نشدن محفظههای ورودی کابل، همچنین جای نامناسب کفپوشهای سوراخدار. این کار حتی در مراکزدادهٔ قدیمیتر هم کاملا توصیه میشود. بهویژه آنهایی که از سرمایش آبی استفاده میکنند، یا تعداد زیادی تجهیزات پرمصرف دارند، یا بیشتر از آنچه برای افزونگی لازم است واحد CRAC دارند. شاید به این نتیجه برسیم که برخی از واحدهای CRAC را باید خاموش کنیم تا هم در مصرف انرژی صرفهجویی بشود و هم عمرشان افزایش یابد.
تصویر: لولهکشی سیستم سرمایش با آب، در زیر کف کاذب مرکزداده IBM در پارک مثلث تحقیقاتی
الگر: این مرکزداده کف کاذب دارد. کدام زیرساخت را از بالا در سقف و کدام زیرساخت را در زیر کف کاذب اجرا کردهاید؟
مالوی: برای آب سیستم اطفای حریق، سقفی لولهکشی کردیم. جریان مصنوعیِ هوای سرد را و برقرسانی و کابلکشی را زیر کف کاذب اجرا کردیم. کابلکشی سقفی را همان اوایل کار بررسی کردیم. ملاک و معیار ما برای طراحی مرکزداده همیشه این بوده که خدماتِ بهتر داشته باشیم با آسیبپذیری و هزینهٔ کمتر. در این کار ما شیوههای مختلف را با یکدیگر مقایسه میکنیم. اگر همهٔ عوامل و میزان آسیبپذیری و هزینه یکسان باشند، از متخصصان توسعهٔ زیرساختِ سختافزار و افرادی که در خودِ محل کار میکنند میپرسیم چهچیز را ترجیح میدهند. اگر هزینه فرقی نکند، از خواستهٔ آنها پیروی میکنیم. البته با اینکه هزینهٔ دو شیوهٔ سقفی و کف کاذب تقریبا یکسان است، آنها کابلکشی زیر کف کاذب را ترجیح میدهند. چون نصبکردن کابلها در زیر کف آسانتر و سریعتر از کابلکشی سقفی است که باید نردبان را در ساختمان به اینسو و آنسو کشید.
پلنوم هوای بازگشتی از بالاست. دالان هوای سرد را با کفپوش سوراخدار فرش کردهایم. سقف کاذبِ دالان هوای گرم نیز سوراخدار است؛ برای اینکه هوای گرمِ خارجشده از رکها از طریق آن، به واحدهای CRAC برگردد.
کف کاذب ما ۹۱٫۵ سانتیمتری عمق دارد. بهنظر ما کف کاذب هنوز بهصرفهترین شیوه برای خنککردن تجهیزات اصلی و بنیادی مرکزداده است؛ چون هنوز مشتریان در تجهیزات پرظرفیت سرمایهگذاری نمیکنند.
الگر: سیستم اعلام و اطفای حریق این ساختمان از چه نوعی است؟
مالوی: همیشه بر سر اینکه سیستم خشک بهتر است یا مرطوب، بحث و گفتوگو بوده است. IBM سیستم مرطوب را ترجیح میدهد. شرکتهای بیمهٔ منطقه اهمیت نمیدهند نسبت به کدامیک گرایش بیشتری وجود دارد. ما همچنین از لولهکشیِ منعطف استفاده میکنیم؛ چون باعث میشود سرِ آبفشانها به گونهای باشد که جای آنها را در بالای تجهیزات فاوا بتوان عوض کرد. موضوع دیگر خود آبفشانها هستند که لزوما همیشه درست کار نمیکنند. اگر گاهی قفل کنند، فقط همان نقطهٔ مشکلدار آبپاشی نخواهد شد؛ نه کل یک بخش سالن سرور یا دالان میان ردیفهای رک. ما سیستمهای تشخیص سریع دود VESDA ـ[10] را هم نصب کردهایم.
الگر: آیا میتوان شیوهٔ طراحی این مرکزداده را فراگیر دانست؟ یعنی همه میتوانند هر تاسیساتی را همین طور اجرا کنند؟ یا این مرکز مجموعهای از فناوریهای خاص است که تنها ویژهٔ ماموریت همین مرکزداده است و مناسب همین جایی است که آن را ساختهاند؟
مالوی: چند مسئله هست که وابسته به مسائل جغرافیایی است؛ مثل ارزش اقتصادی بهدستآمده از مبدلهای برودتی. ما از مبدل برودتی در مرکزدادهٔ شهر بولدر در کلرادو بیشتر از مرکزدادهٔ پارک مثلث تحقیقاتی استفاده کردهایم. سایر مواردی که در نظر گرفتیم، چیزهایی بودند مثل CHP (تولید همزمان گرما و تبدیل آن به سرما) و برق با استفاده از ژنراتور گازی.
پس باید توجه کنید که برخی از موارد طراحی، به عوامل اقتصادی وابسته هستند نه فناوری. استفادهکردن از منبع برقی که همانند سیستم CHP با گاز طبیعی کار میکند و ۸ سنت بر کیلوواتساعت درمیآید، در شمال شرقی آمریکا بهصرفه و سودمند است؛ چون بهای هر کیلوواتساعت از انرژی در آنجا ۱۳ سنت است. ولی در شهر رالی که بهای انرژی ۵ تا ۶ سنت بر کیلوواتساعت است، بههیچوجه مقرونبهصرفه نیست. فناوریها جنبهٔ اقتصادی نیز دارند که نباید نادیده گرفت. بنابراین اگرچه برخی از فناوریها آزمایششده و تایید شده هستند، در وضعیتی در مقایسه با فناوریهای دیگری مقرونبهصرفه نیستند.
پس پاسخ سوال شما مثبت است. ما از طراحی ماژولار استفاده میکنیم که بهکاربردن آن در هرجایی امکانپذیر است. کاری که ما انجام دادهایم ولی بسیاری نمیتوانند، این بود که از همکاری «سازمان خدمات جهانی تکنولوژی، سایت و تاسیسات» [11] در IBM بهره بردیم. این گروه تحلیلی کرد دربارهٔ اینکه ماژول ۳ مگاواتی از نظر برق و سرمایش چه الزاماتی دارد. برای این تحلیل، «هزینهٔ سرمایهای» و «هزینهٔ عملیاتی» هر دو را در نظر گرفتند. آنها پس از بررسی تجهیزاتِ فروشندگان عمده، ما را راهنمایی کردند که فلان کار را باید برای هماهنگکردنِ سرمایش و برق انجام بدهید یا در فلان مدل بهدلیل ویژگیهای عملیاتیاش و متغیر بودن دورِ فنهایش باید سرمایهگذاری کنید. این یعنی متغیر بودنی که دارای کنترل باشد؛ چنانکه وقتی درصد مصرف و گرما در سالن کموزیاد میشود، سرمایش هم کموزیاد بشود. خیلیها میتوانند بهطور مستقیم از این تحلیل وسیع بهرهمند شوند.
الگر: هنگام طراحی و ساخت این مرکزداده، اتفاق غافلگیرکنندهای هم رخ داد؟
مالوی: بله. یک توصیه دارم برای تمام کسانی که مرکزداده میسازند. اینکه هنگام بررسی و تصدیق کیفیت مرکزداده، با استفاده از بار گرماییِ تجهیزات همهچیز را تست کنید. ما سالن و نقاط مختلف را تحت بار گرمایی ۶ مگاواتی قرار دادیم و آزمایش کردیم. با این کار متوجه شدیم مخازن آب سرد بیش از میزان پیشبینیشده در طراحی خنک میمانند. در نتیجه هنگام قطعی برق میتوانیم تجهیزات را طولانیتر از آنچه گمان میکردیم خنک نگه داریم.
تصویر: فنهای برج سرمایشی مرکزدادهٔ IBM در پارک مثلث تحقیقاتی
الگر: برای کسانی که میخواهند پروژهٔ مرکزداده بسازند، چه توصیهای دارید؟ چه اصولی را در طراحی پیشنهاد میکنید که دنبالکردن آنها مفید باشد؟
ساختن مرکزداده با ساختن ساختمان تجاری یا مسکونی خیلی فرق دارد. بهترین کار این است که برای ساختن مرکزداده از کسانی کمک بگیرید که پیشتر و خصوصا بهتازگی مرکزداده ساخته باشند. اگر به گزارشی که سازمان حفاظت از محیط زیست به کنگرهٔ آمریکا ارائه کرد نگاهی بکنید، متوجه میشوید اکنون ما مرکزدادهای میسازیم که بهرهوریاش از آنچه این سازمان تاکنون ممکن دانسته بهتر است. الان برای بهرهوری مصرف انرژی، مقادیری گزارش میشود که قبلا سازمان حفاظت از محیط زیست آمریکا گفته بود فناوری هنوز برای رسیدن به آن، پیشرفت کافی نکرده است. اما اکنون ما امکاناتی مثل اتصال متناظر قسمتهای مختلف سیستم توزیع سرمایش، ماژولار بودن، همچنین نتایج تحلیل با سیستم MMT را داریم. پس باید به سراغ کسی رفت که در این کار تجربه دارد. برای فضای سالن، بررسی و تصدیق کیفیت انجام بدهید تا مطمئن بشوید با معیارهای طراحیتان هماهنگ است. فقط هزینهٔ سرمایهای را در نظر نگیرید؛ آن را نسبت به هزینهٔ عملیاتی سبکسنگین کنید و کموزیاد بودن آنها را در مقایسه با هم بسنجید. درست است که میتوانید با هزینهٔ کم، تعدادی تجهیزات غیرمتغیر برای تاسیسات و برق و سرمایش بخرید؛ اما این کار بعدتر شما را دچار هزینهٔ عملیاتی زیاد میکند. بنابراین باید «بهای تمامشده» را در نظر بگیرید، نه «کاهش هزینهٔ سرمایهای» را.
پانویس
[1] این مطلب بخش دوازدهم از کتاب «گردشی در مراکزدادهٔ نامدار جهان»، عنوان بهزبان اصلی «The Art of the Data Center» است. گفتوگوکننده داگلاس الگر (Douglas Alger)، مترجم پرواز خیّر، ویراستار پرهام غدیریپور، بهکوشش دکتر بابک نیکفام، تهیهشده در باشگاه مراکزداده
[2] نام مسابقهٔ پرطرفدار تلویزیونیِ پرسش و پاسخ و اطلاعات عمومی در آمریکا است. این برنامه در سال ۱۹۶۴ شروع شد و اکنون فصل سیام آن از یکی از تلویزیونها پخش میشود.
[3] دینامیک سیالات رایانشی (Computational Fluid Dynamics)
[4] پارک مثلث تحقیقاتی (RTP ـ Research Triangle Park): این پارک در منطقهٔ «مثلث تحقیقاتی» قرار دارد که منطقهای در کارولینای شمالی میان سه شهر «دورهام» و «چپل هیل» و «رالی» (Raleigh) مرکز ایالت کارولینای شمالی است.
[5] Very Early Smoke Detection Apparatus
[6] Lawrence Berkeley National Laboratory
[7] American Society of Heating, Refrigerating, Air-Conditioning Engineers
[8] Data Center Infrastructure Management
[9] فناوری سنجش و مدیریت (MMT ـ Measurement and Management Technology)
[10] Very Early Smoke Detection (VESDA)
[11] Global Technology Services, Site and Facilities organization
درج دیدگاه