مرکزداده !Yahoo ـ[1]

آنچه می‌خوانید

این مرکزدادهٔ پیشروی یاهو در لاکپورت مانند مرغدانی است؛ بالای شیروانی ساختمان‌های آن فضای تاج‌مانندی برای تخلیهٔ هوای گرم دارد. جهت ساختمان‌ها را نیز طوری انتخاب کرده‌اند که هوای گرم خروجی با بادی که در منطقه می‌وزد از تاسیسات دور شود.

سیستم سرمایش طبیعیِ آن ویژه است: هوامحور، بدون چیلر، بدون خنک‌سازی مکانیکی. سرمایش تبخیری نیز دارد؛ ولی فقط سه درصد از سال استفاده می‌شود. هوارسانی در آن با دالان گرم بسته است، کف کاذب ندارد، دمای عملیاتی سرورها گرم‌تر از معمول ولی بهتر از دستورالعمل‌های ASHRAE است. ظرفیت این تاسیسات نامحدود است. 

سازندگان این پروژه برای هماهنگ‌شدن تاسیسات با اهداف فاوا، مدیران مرکزداده را برای اجرای پروژه به کار گرفته‌اند.

آشنایی با مرکزدادهٔ !Yahoo

تصویر: مرکزدادهٔ یاهو در لاکپورت در ایالت نیویورک از چیلر یا سرمایش مکانیکی استفاده نمی‌کند. سرمایش این مرکزداده با نظر به تهویهٔ طبیعی مرغدانی طراحی شده است؛ به همین دلیل آن را مرکزدادهٔ لانه‌مرغی (Computing Coop) می‌نامند.

در ۳۲ کیلومتری شرق آبشار نیاگارا، مجموعه‌ای از سازه‌های فلزی پیش‌ساخته قرار دارد. این ساختمان‌ها در دو سوی خود کرکره‌های تنظیم جریان هوا دارند. بام آن‌ها شیروانی و در خط‌الراس دارای تاج است. جهت ساختمان‌ها روی زمین به‌گونه‌ای است که بهره‌برداری از بیشترین سطح زمین ممکن شود و در جهت وزش باد نیز باشد.

این سازه‌ها را با نظر به روش تهویهٔ طبیعی مرغدانی ساخته‌اند که البته به‌جای مرغ و خروس تجهیزات رایانشی قدرتمند را در خود جای داده است. به «مرکز رایانشی لانه‌مرغی یاهو» (YCC) ـ[2] خوش آمدید!

این تاسیسات با توجه به هوای خنک غرب نیویورک و گرایش یاهو به بهتر بودن از دستورالعمل‌هایی که «انجمن مهندسان گرمایش، سرمایش و تهویهٔ مطبوع  آمریکا» (ASHRAE) ـ[3] دربارهٔ دما و رطوبت صادر کرده است، بدون بهره‌گیری از چیلر یا خنک‌سازی مکانیکی کار می‌کند. با اینکه سیستم سرمایش تبخیری هم دارد، آن را در کمتر از سه درصد از سال به کار می‌گیرد.

یاهو هنگامی به این طراحی لانه‌مرغی دست یافت که تجهیزات سخت‌افزاری را در وضعیت دشوار آزمود و مشکل بنیادی را در طراحی به چالش کشید. اینکه آیا می‌توان بدون خنک‌سازی مکانیکی، مرکزدادهٔ خوب ساخت؟ انجام این کار باعث کاهش هزینهٔ سرمایه‌ای و عملیاتی شد و با بی‌نیازی از سیستم‌های مکانیکی پیچیده، پایایی (Availability) را افزایش داد.

یاهو توانست برای این طراحی از وزارت انرژی آمریکا کمکی ۹٫۹ میلیون دلاری برای سازگاری با محیط زیست دریافت کند. سپس این طراح را در ایالت واشنگتن آمریکا و در سوئیس نیز اجرا کرد.

در این مصاحبه دربارهٔ طراحی و عملیات این مرکزدادهٔ یاهو، با چند مدیر این شرکت گفت‌وگو کرده‌ام: «کریستینا پیج» (Christina Page) مدیر بخش راهبرد انرژی و توسعهٔ پایدار یاهو در جهان، «نیک هولت» (Nick Holt) مدیر عملیات تاسیسات مراکزدادهٔ یاهو در جهان، «پاول بونارو» (Paul Bonaro) مدیر تاسیسات مرکزدادهٔ یاهو در لاکپورت، «باب لایتل» (Bob Lytle) مدیر پروژهٔ توسعه مرکزداده.

مشخصات تاسیسات

• نام سازمان: یاهو!
• مکان: ایالت نیویورک آمریکا، شهر لاکپورت (Lockport)
• شروع‌به‌کار: سپتامبر ۲۰۱۰
• ویژگی‌های چشمگیر: سرمایش هوامحور و سیستم سرمایش تبخیری بدون استفاده از چیلر یا سردسازی مکانیکی، استفاده از دالان گرم بسته، استفاده از Rotary UPS مبتنی بر حرکت مکانیکی چرخ دوار، فضای مشترک برای زیرساخت برق و زیرساخت فاوا
• مدت زمان طراحی و ساخت: ۹ ماه از زمان مراسم کلنگ‌زنی سایت تا بررسی و تصدیق کیفیت
• اندازه: مساحت کل حدود ۱۸٬۰۰۰ متر مربع
• برق: ۲۰ مگاوات
• رتبه‌بندی: متفاوت
• تعداد رک‌ها: ۲٬۸۰۰ رک
• ظرفیت برق: اعلام‌نشده
• زیر‌ساخت‌ها: زیرساخت برق و کابل‌کشی و سرمایش از سقف
• بار سازه‌ای: اعلام‌نشده
• سیستم اطفای حریق: دو مرحله‌ای پیش‌عملگر لوله‌خشک

متن مصاحبه

الگر: چطور شد غرب ایالت نیویورک را برای ساختن این مرکزداده انتخاب کردید؟

بونارو: آب‌وهوا از معیارهایی بود که هیئت انتخاب سایت در نظر گرفت. برای اجرای این طرح، وضعیت آب‌وهوایی ویژه‌ای نیاز بود؛ در واقع آب‌وهوا عامل اصلی برای اجرای این فناوری است. عامل دیگر نزدیک‌بودن به انرژی تجدیدپذیر و برق‌آبی بود که اهمیت بسیاری داشت. این منطقه معیار‌های ضروری دیگر را نیز برای سایت مرکزداده داشت.

پیج: دسترسی به برق سازگار با محیط زیست هم که بشود خرید، مولفهٔ مهمی بود. اتصال به شبکه از طریق چندین عرضه‌کنندهٔ خدمات شبکه و قیمت مناسب زمین هم از عوامل دیگر بودند. مزایای مالیاتی و نیروی کار بسیار خوب نیویورک هم بسیار تاثیر داشت.

الگر: چه جالب! پس این‌جوری نبوده که اول سایت را انتخاب کنید بعد طراحی کنید. اول تصمیم گرفتید از این طراحی استفاده کنید، بعد جستجو کردید تا جایی را که آب‌وهوای آن مناسب باشد پیدا کنید.

پیج: درست است.

الگر: این مرکزداده برای شیوهٔ سرمایشی آن بسیار شناخته‌شده است. می‌توانید توضیح بدهید چطور کار می‌کند؟

بونارو: برای بخش‌های سالن سرور سیستم، هواساز داریم که هوای بیرون را می‌گیرد و فیلتر می‌کند. سپس فن‌هایی داریم که آن هوا را به داخل سالن هدایت می‌کنند. این سیستم هوایی را که از تجهیزات فاوا برمی‌گردد می‌گیرد و با هوای بیرون ترکیب می‌کند تا به دمای تعیین‌شده برسد. همهٔ این کارها به‌وسیلهٔ سامانهٔ کنترل و اتوماسیون مجهز به سیستم‌های کرکره‌ایِ (Damper Systems) تنظیم هوای بیرون و هوای بازگشتی انجام می‌شود.

تصویر: هوای بیرون را به داخل می‌کشند و پس از گذراندن از صافی، با فن به درون سالن‌های مرکزداده می‌دمند.

تنها ابزار سرمایشی که به کار می‌گیریم، سیستم سرمایش تبخیری است که وقتی دما از درجهٔ تعیین‌شده بیشتر می‌شود، از آن استفاده می‌کنیم. سرمایش تبخیری نوعی سرمایش طبیعی است که برای خنک‌کردن هوایی که از راه هواسازها به داخل می‌آید، از آب لوله‌کشی و واسطه‌های سرمایش تبخیری استفاده می‌کند. آب در لوله‌ها بدون استفاده از هیچ‌نوع ابزار تولید فشار حرکت می‌کند.

این کار دمای دالان سرد بسته را یا دمای هوای ورودی رک‌ها را در آن اندازه‌ای که می‌خواهیم تنظیم می‌کند. سپس از دالان گرم بسته استفاده می‌کنیم که حرارت را از پشت رک‌ها می‌گیرد و از بالای همان ساختمان‌هایی که در تصاویر دیده‌اید و شبیه لانهٔ مرغ است، به بیرون تخلیه می‌کند. این هوای گرم بازیافت نمی‌شود؛ مگر اینکه در ماه‌های سردتر سال بخواهیم هوای سرد ورودی را گرم‌تر کنیم و به دمای تعیین‌شده برسانیم.

الگر: پیداست که دقت و حساسیت زیادی برای طراحی سرمایش این مرکزداده به کار برده‌اید. تا جایی که جهت ساختمان‌ها را طوری تعیین کرده‌اید که از وزش باد بیشترین بهره را ببرید.

هولت: در واقع ما به دو دلیل ساختمان‌ها را این‌طوری کج ساخته‌ایم. یکی موقعیت سازه‌ها نسبت شکل زمین بود؛ برای اینکه بیشترین استفاده را از سطح زمین ببریم. دیگر از نظر وزش باد بود؛ ما نمی‌خواستیم هوای گرم دوباره به درون ساختمان برگردد. به همین دلیل موقعیت درست و جهت مناسب را برای ساختمان‌ها تعیین کردیم تا از وزش باد منطقه برای دور کردن هوای گرم خروجی بهره بگیریم. هنگام تعیین موقعیت ساختمان باید مطمئن می‌شدیم که هوای گرم خروجی با وزش باد به طرف ورودی هوای خنک نمی‌رود. بدین ترتیب جهت ساختمان‌ها را با توجه به وزش باد انتخاب کرده‌ایم. با این حال وزش باد عامل چندان مهمی در خود طراحی نبود و آن را بیشتر برای تعیین جهت قرار گرفتن ساختمان‌ها در نظر گرفتیم.

تصویر: یاهو جهت ساختمان‌های مرکزدادهٔ لاکپورت خود را طوری تعیین کرده است که بهره‌برداری از بیشترین سطح زمین ممکن شود؛ همچنین هوای گرمی که از مرکزداده خارج می‌شود با وزش باد دور شود.

الگر: می‌بینیم که در این مرکزداده از هر دو دالان بستهٔ هوای گرم و سرد استفاده می‌شود. به چه دلیل ترجیح دادید از دالان گرم بسته استفاده کنید؟

هولت: نظری به تاریخچهٔ تغییر الگوی مرکزداده از طرح سالن‌های باز به پیکربندی‌های دالان هوای گرم و سرد بیندازید. می‌بینید که پیکربندی دالان سرد به این دلیل ایجاد شد که هوارسانی سرد از زیر کف کاذب بود؛ یعنی تا جلوی دالان‌ها. سپس وقتی کف کاذب را کنار گذاشتند و به‌جای شیوهٔ هوارسانی از زیر کف‌پوش‌ها، شیوهٔ هوارسانی از جلوی سرورها را به کار بردند، ایجاد دالان گرم بسته هم ممکن شد.

تصویر: سالن‌های سرور بدون کف کاذب موجب صرفه‌جویی در هزینهٔ مصالح و هزینهٔ ساختمان شده است.

بدین ترتیب تحول بزرگ از شیوهٔ دالان سرد بسته به دالان گرم بسته به این دلیل رخ داد که سرمایش دیگر از کف کاذب توزیع نمی‌شد. با این شیوه می‌توانید جلوی سرورها را باز کنید و به‌جای اینکه نگران باشید هوای سرد از کجا وارد می‌شود؛ دراین‌باره فکر کنید که به‌طور کلی هوا از کجا وارد می‌شود. وقتی سالن را باز می‌کنید، به‌جای اینکه دالان هوای سرد فقط در جلوی رک باشد، کل سالن این نقش را دارد. به این دلیل بود که دالان گرم بسته را انتخاب کردیم.

الگر: به‌دلیل استفاده از این روش سرمایشی بود که از کف کاذب صرف‌نظر کردید؟

هولت: دلیلش این بود که دیگر نیازی به آن نداشتیم. در طرح‌هایی که در آن‌ها هوارسانی از زیر کف کاذب انجام نمی‌شود، می‌توان از کف کاذب برای کارهای دیگر استفاده کرد. ما خودمان در برخی از سایت‌ها، کابل‌کشی و زیرساخت را زیر کف کار کرده‌ایم. با این حال کابل‌کشی را می‌توان از بالای رک‌ها هم انجام داد؛ پس در بیشتر مواقع نیازی به کف کاذب نیست.

تصویر: توزیع برق و سرمایش و کابل‌کشی تا رک‌ها، در اینجا از داخل سقف انجام شده است.

بونارو: اگر از کف کاذب صرف‌نظر شود، در ساخت‌وساز هم صرفه‌جویی بسیار زیادی می‌شود.

هولت: از نظر ساختاری هم خوب است. روی کف کاذب از نظر ساختاری باید جای همهٔ رک‌ها سنجیده باشد. این کار روی کف بتنی سازه بسیار راحت‌تر است.

لایتل: اگر هم سایت را در زمین دست‌نخورده بسازید، هنگام ساخت می‌توانید تمام کابل‌ها را از درون کانال‌هایی عبور بدهید که زیر کف بتنی سازه هستند. در حالی که اگر مرکزداده را در ساختمان موجود بسازید، نمی‌توانید چنین کاری بکنید و استفاده از رویکردی که بی‌نیاز از کف کاذب باشد سخت‌تر می‌شود. در این صورت باید از کابل‌کشی سقفی استفاده کنید.

الگر: از نظر شما مولفه‌های طراحی این مرکزداده جهانی هست؟ یعنی هرکسی می‌تواند این طراحی را در هر مرکزداده‌ای اجرا کند؟ یا فقط برای هدفی خاص و در مکانی خاص به کار می‌آید؟

هولت: به نظر من از لحاظ طراحی و اجرا باید در آب‌وهوایی اجرا بشود که با سرمایش طبیعیِ هوامحور سازگار باشد. اصل موضوع همین است. برای بهره‌گیری از هوای بیرون، محیط باید ویژگی‌های ضروری را داشته باشد.

حالا بگذارید دربارهٔ اشتراک مکانی صحبت کنم. هر عرضه‌کنندهٔ خدمات اشتراک مکانی با استفاده از الگوی طراحی YCC ما می‌تواند فضاهای اختصاصی و محصور بسازد و بفروشد. یعنی می‌توان به مشتری به‌جای ردیف‌های رک، فضاهای اختصاصی و محصور فروخت.

با اینکه الگوی طراحی ساختمان YCC جهانی است، برای شرکت‌های تجاری بزرگ و آن‌هایی که در فهرست «فرچون ۵۰۰» (Fortune 500) ـ[4] هستند مناسب نیست. این فناوری برای شرکت‌های اشتراک مکانیِ کوچک خوب است. استفاده از این فناوری واقعا وابسته به درک مبانی و اصول هوارسانی و همچنین پویایی‌های بحث ترمودینامیک است.

بونارو: در هر مقیاسی هم نتیجه می‌دهد. می‌توانید اندازهٔ آن را هرقدر که بخواهید کوچک در نظر بگیرید. YCC در اصل یک‌جور الگوی طراحی ماژولار است که چندین بار تکرار می‌شود. لزومی ندارد تاسیسات چند مگاواتی باشد تا بشود از این روش‌ها استفاده کرد.

الگر: با توجه به اینکه در این طراحی سرمایش با استفاده از هوای بیرون است، از نظر ظرفیت چه برحسب رک چه برحسب وات بر متر مربع، محدودیتی دارید؟

هولت: در این مرحله به شما می‌گویم که نه. چون با اینکه بر دمای دالان‌های هوای سرد هم نظارت می‌کنیم، نقاط کنترل اصلی در دالان هوای گرم است. بدین ترتیب تا زمانی که دما در دالان هوای گرم بیش از حد زیاد نشود، می‌توانیم هر تجهیزاتی را با هر میزان از ظرفیت در اینجا بگذاریم.

الگر: فکر اولیهٔ این شیوهٔ سرمایش را از کجا آوردید؟ این تصور جالب را دارم که یک نفر در یاهو پشت میز کارش نشسته و دارد از پنجره بیرون را نگاه می‌کند. بعد ناگهان به یاد لانهٔ مرغ می‌افتد و این فکر به ذهنش می‌رسد. واقعا این‌قدر ساده بود؟

هولت: بگذارید برایتان توضیح بدهم چگونه این ایده پیدا شد. ابتدا با «سرمایش برودتی یاهو» (YTC) ـ[5] شروع کردیم. آن طراحی بر این مبنا است که دالان هوای سرد را کامل با کویل‌های سرمایشی ببندیم. به این شکل که کویل سرمایشی را از واحد CRAC بیرون می‌آوریم و آن را بین دو ردیف رک قرار می‌دهیم و می‌گذاریم سرورها خودشان هوا را جابه‌جا کنند. این طراحی برای رها شدن از دست واحدهای CRAC بود. CRACها انرژی زیادی مصرف می‌کنند، فضای زیادی اشغال می‌کنند، مرتب هم باید تعمیر و نگهداری بشوند.

تصویر: نمای داخلی از یکی از دالان‌های گرم بسته در مرکزدادهٔ یاهو در لاکپورت

این طراحی برای حل مشکل مربوط به واحدهای CRAC بود. آن اول که به طراحی YCC رسیدیم، بیشتر شبیه به چادر سیرک بود. فکر کردیم بودن همهٔ این مولفه‌هایی که در مرکزداده هست، چه ضرورتی دارد؟ چرا نتوانیم فقط از هوای بیرون استفاده کنیم؟ پس رک‌ها را در محیط بیرون گذاشتیم و با آن‌ها آزمایش‌های زیادی انجام دادیم. آزمایش‌های دیگری هم قبل از ساختن پیش‌نمونهٔ طراحی اصلی، در مقیاس واقعی اجرا کردیم. نتایج آزمایش‌ها نشان داد که به این‌همه مولفه‌هایی که هم‌اکنون در مرکزدادهٔ سنتی وجود دارد نیازی نیست. واقعا تلاش کردیم که خلاقانه‌تر و نوآورانه‌تر فکر کنیم و تصمیم بگیریم که آیا می‌توانیم این کار را بکنیم یا نه. خوب در نهایت به این نتیجه رسیدیم که بله می‌توانیم.

همچنین فهمیدیم که دیگر به آن‌همه نقاط کنترل و الزامات سختِ مربوط به رطوبت و دما نیازی نداریم. احتیاجی به این چیزها نداشتیم. این‌ها میراث روزهای استفاده از کارت‌های پانچ بودند؛ یعنی آن‌وقت که رطوبت باید بین ۴۵ تا ۵۵ درصد می‌بود تا کارت‌ها نم نکشند و به هم نچسبند. تا وقتی دما را ثابت نگه داریم و رطوبت متعادل باشد، هیچ مشکلی پیش نخواهد آمد. این‌گونه بود که به این طراحی رسیدیم.

الگر: پس به این نتیجه رسیدید که سخت‌افزارها آن‌قدر مقاوم هستند که ضرورتی ندارد از چنان دستورالعمل‌های عملیاتی سخت‌گیرانه‌ای پیروی کنید؟

هولت: ببینید! ما هنوز هم از دستورالعمل‌ها پیروی می‌کنیم. آن پارامترهای عملیاتی که تولیدکننده برای تجهیزات تعیین می‌کند عوض که نمی‌شوند. مسئله این است که این مشخصات خیلی محدود نیستند. وقتی به من می‌گویند این سرور می‌تواند در دمای عملیاتی بسیار زیاد کار کند، خوب من هم دمای عملیاتی آن را بیشتر می‌کنم.

دربارهٔ سیستم توزیع داخلی برق هم همین طور است. اگر تولیدکننده بیاید و به مدیران مرکزداده بگوید که این PDU در دمای بیشتر کار می‌کند، ما هم آن را در دمای بیشتر نگه می‌داریم.

این امر باعث شده که صنعت مرکزداده برخی فرصت‌های عالی موجود را بشناسد. این برای تولیدکنندگان سرور هم فرصت مناسبی بوده است تا بفهمند ۲۲ درجه سانتی‌گراد همیشه بهترین دما و ضروری نیست. اکنون تایید کرده‌اند که در دمای ۲۲ درجه سانتی‌گراد، دمای عملیاتی سرورها هم کمتر است؛ همین باعث می‌شود در بار حرارتی کمتری کار کنند. با این حال لازم نیست که سرورها ۲۴ ساعته در چنین وضعیتی کار کنند.

بونارو: بین دامنهٔ دمای عملیاتیِ تعیین‌شده که تولیدکنندهٔ سرور تعیین می‌کند و دستورالعمل‌های ASHRAE، تفاوت زیادی وجود داشت. می‌بینید که ASHRAE پیوسته دستورالعمل‌هایش را گسترش می‌دهد تا با طراحی‌های همانند این سازگار باشد. طراحی مرکزدادهٔ ما در این زمینه به آن‌ها کمک کرده است.

الگر: شما در طول طراحی، پارامترهای عملیاتی تجهیزات را که تولیدکننده ارائه کرده است بررسی کردید. اکنون که این مرکزداده عملیاتی شده است، آیا به سخت‌افزارهایی برخورد کرده‌اید که کار کردن آن‌ها در دمای بیشتر ممکن نباشد؟

هولت: هیچ تجهیزاتی چنین مشکلی نداشت. باید یادآوری کنم که این فقط دربارهٔ سرورها است، نه چیزهای دیگر. دربارهٔ انبارهای آرشیو نوار و رسانه و مانند آن حرف نمی‌زنیم؛ چون آن‌ها داستان دیگری دارند. بدین ترتیب می‌گویم که ما از زمان عملیاتی‌شدن این مرکزداده، هیچ سروری را پیدا نکرده‌ایم که تحمل بازهٔ دما و رطوبت عملیاتی ما را نداشته باشد؛ هیچ!

الگر: طراحی و ساخت اولین مرحلهٔ این تاسیسات چقدر طول کشید؟

هولت: ما از طراحی YTC مستقیم به طراحی YCC رفتیم. مدت طراحی به‌نوعی متغیر است و این به‌دلیل آزمایش‌های گوناگونی است که کردیم. رسیدن از تئوری بنیادی به طراحی واقعی شاید ۶ ماه طول کشید. بعد از آن هم برای اجرای طراحی واقعی باید کار مهندسی و ساخت‌وساز انجام می‌دادیم.

الگر: چه آزمایش‌هایی کردید؟

هولت: کاری که در آزمایش محلی کردیم این بود که از کل ساختمان پیش‌نمونه درست کردیم. سپس در آن برای هوای ورودی با استفاده از فیلتر و چیزهایی همانند آن، محدودیت‌هایی ایجاد کردیم. چیدمان و پیکربندی رک‌ها را طوری اجرا کردیم که جریان هوا آن‌طوری که می‌خواستیم باشد. همچنین شیوهٔ اتمیزه‌کردن آب را آزمودیم که خوب درنیامد و همهٔ سرورها را مثل جنگل‌های بارانی خیس کرد!

بعد نوعی واسطهٔ سرمایشی را آزمایش کردیم که شبیه واسطهٔ سرمایش تبخیری است و با هوای اتمیزه شده (Atomized Air) خیلی فرق دارد که همه‌چیز را خیس می‌کند. وقتی رویکرد واسطهٔ سرمایش تبخیری را امتحان کردیم، دیدیم همه‌چیز خیلی خوب کار می‌کند. در آن روز دو آزمایش انجام دادیم. اولی این بود که ساختمان را خیلی گرم کردیم و به ۴۰ درجهٔ سانتی‌گراد رساندیم؛ آنگاه گذاشتیم رطوبت هوا را خنک کند. رطوبت را به هوا افزودیم تا ببینیم سرورها با افزایش دما و افزایش رطوبت چگونه عمل می‌کنند. با این آزمایش توانستیم دربارهٔ تاثیر بیشینه و کمینهٔ دما، داده‌های دمایی و رطوبتیِ ضروری را جمع‌آوری کنیم.

در آزمایش دوم دمای کم را با استفاده از گردش دوبارهٔ هوا آزمایش کردیم. وارد کردن هوای سرد به مرکزداده، از وارد کردن هوای گرم بدتر است. اگر به مرکزداده‌ای که گرم است ناگهان هوای سرد وارد کنید، بعضی از تجهیزات خراب می‌شوند. لحیم‌کاری‌ها که هنگام داغ‌بودن انجام شده‌اند، در تماس ناگهانی با هوای سرد به‌سرعت منقبض می‌شوند و آسیب می‌بینند. همین باعث خرابی سرورها می‌شود.

بدین ترتیب آزمایش دمای زیاد و آزمایش دمای کم و نیز جریان هوارسانی در محیط کنترل‌شده، ضمن جمع‌آوری داده‌ها همگی مهم بودند.

الگر: نقطهٔ مطلوبی برای دما پیدا کردید؟ دمایی که وضعیت عملیات در آن بسیار مناسب باشد و بعد از آن بخواهید بگردید و چنان چیزی را در طبیعت پیدا کنید؟

هولت: آن مسئله خیلی به دمایی که ایجاد می‌کنید ربطی ندارد؛ مهم این است که باید سعی کنید دما بدون تغییر بماند. اگر خواسته باشید می‌توانید دمای ورودی سرورتان را ۳۲ درجه سانتی‌گراد بگذارید. ولی موضوع این است که باید در همین دما نگهش دارید؛ نباید پشت‌سرهم آن را کم‌وزیاد کنید. می‌توانید دمای ورودی سرور را ۱۰ درجه هم تعیین کنید؛ اما باید دمای آن را همین‌قدر نگه دارید. همه‌چیز به همین ثابت‌بودن و یکنواختی دما بستگی دارد.

تصویر: یکی از کارکنان مرکزدادهٔ یاهو در تاج شیروانیِ یکی از ساختمان‌ها. هوای گرم خروجی سرورها از اینجا تخلیه می‌شود.

بونارو: همان طور که هولت گفت، روشن است وقتی از هوای بیرون استفاده می‌کنیم، مهار کردن تغییرات دمایِ هوای ورودی مسئلهٔ بسیار مهمی است. پیش از این دربارهٔ گردش مجدد هوا توضیح دادم و گفتم که با این کار می‌توانیم دمای ورودی را در میزان معینی نگه داریم. تنظیم آن میزان تغییر که هوای بیرون تحمیل می‌کند، در بیشتر وضعیت‌های آب‌وهوایی و در تمام طول سال، برای ما بسیار آسان است. وقتی هم تغییر پیش می‌آید که در تابستان بیشتر می‌شود، مشکل چندانی به وجود نمی‌آورد.

همچنین فهمیدیم آب‌وهوای غرب ایالت نیویورک به‌گونه‌ای است که در آن می‌توان در بیشتر طول سال، دمای سالن‌های سرور را به‌میزان دلخواه پایین نگه داشت؛ بدون اینکه افزایش بار مکانیکی تجهیزات سرمایشی ضروری شود. این ویژگی در ساختمانی با این الگوی طراحی بی‌مانند است. سرورها با هوای ورودی خنک‌تر شاید برق کمتری مصرف کنند؛ چون فن‌هایشان آهسته‌تر می‌چرخند. اما بیشتر مراکزداده برای فراهم‌کردن چنین دمای ورودی خنک‌تری ناچارند توان مکانیکی خود را افزایش بدهند. با این حال ما اینجا در لاکپورت بدون نیاز به افزایش بار مکانیکی، می‌توانیم با ترکیب‌کردن هوای گرم‌تر با هوای خنک‌تر، به هر دمایی که می‌خواهیم برسیم. کرکره‌های تنظیم جریان هوا برای این کار، مقدارِ باز بودن پره‌های خودشان را تغییر می‌دهند. این ویژگی منحصربه‌فردی است که در اینجا از آن استفاده می‌کنیم؛ برای اینکه آن دمای مطلوبی را که گفتید، برای سالن سرور و عملیات سرورهای درون آن مهیا کنیم.

تا اینجای کار دمای سرورها اگر در محیط سنتی باشند، خوب است. ما کمتر در تابستان با دمای حباب خشکِ [6] بسیار بالا مواجه می‌شویم. چیزی که باید اینجا در نظر بگیریم و تاثیر زیادی بر سیستم‌های ما دارد، نقطهٔ شبنمِ [7] هوای بیرون است. چون ما کنترلی بر رطوبت نداریم، نقطهٔ شبنم هوایِ درون مرکز با نقطهٔ شبنم هوای بیرون یکی است. بدین ترتیب در مرکزداده‌ای همانند این، پایش آن و درک اینکه چه تاثیری بر سیستم‌های ما می‌گذارد، مهم‌تر از مرکزدادهٔ سنتی است.

الگر: پیداست که می‌خواسته‌اید این مرکزداده بهره‌وری انرژی خوبی داشته باشد. یاهو هنگام طراحی این مرکزداده، چه اصول دیگری را در نظر گرفته است؟

هولت: در نظر داشتیم عملیات این مرکزداده به کمترین بار مکانیکی نیاز داشته باشد. در واقع اصلا می‌خواستیم سرمایش مکانیکی نداشته باشیم؛ هدف اصلی ما این بود. ساده‌انگارانه به نظر می‌رسد اما واقعا اصل طراحی ما این بود که اصلا سرمایش مکانیکی نداشته باشیم.

بونارو: در کنار آن، حذف سیستم‌های مکانیکی پیچیده هم بود. همین که تمام حالت‌های خرابی و ازکارافتادگیِ طراحی جدید را شناسایی کردید، پایایی (Availability) بهتر می‌شود. چون دیگر به تجهیزات مکانیکی پیچیده وابسته نیستید. من مراکزداده‌ای را دیده‌ام که در هوا زمستان داخلشان بیش از اندازه گرم بود؛ چون پمپ آب سرد از کار افتاده بود. در چنین مرکزداده‌ای نمی‌توانید با باز کردن پنجره مشکل چنین گرمایی را رفع کنید. ولی ما این کار را در مرکزدادهٔ خودمان می‌کنیم؛ می‌توانیم پنجره‌ها را باز کنیم.

دربارهٔ پایایی باید بگویم این یکی از آن چیزهایی است که گمان نمی‌کنم آن را به‌طور مستقیم جزء معیارهای طراحی در نظر داشتیم؛ چون خودش نتیجهٔ کاهش پیچیدگیِ آن تجهیزات مکانیکی است.

پیج: کاهش پیچیدگی در بیشتر اوقات اطمینان‌پذیری را افزایش می‌دهد و از هزینه می‌کاهد. این یکی از چیزهایی بود که دربارهٔ این مرکزداده در نظر گرفتیم. اثربخشی هزینه و اطمینان‌پذیری اولویت‌های اصلی ما بودند. به نظر من ذهنیت عمومی این است که برای داشتن بهره‌وری انرژی یا سازگاری با محیط زیست، لزوما هزینهٔ اولیه بیشتر است و دورهٔ بازگشت هزینه را باید ناچار با زحمت زیاد سپری کرد. در حالی که در بعضی موارد به‌ویژه با ساده‌سازی الگوی طراحی، حتی می‌توان ساختن چنین مرکزداده‌ای را ارزان‌تر و سریع‌تر کرد.

الگر: برق این مرکزداده را با Rotary UPS پشتیبانی می‌کنید. چطور شد که به‌جای UPS معمول از آن استفاده کردید؟

هولت: باتری‌های UPS معمول یک ویژگی اساسی و همیشگی دارند و آن اینکه جای زیادی می‌گیرند. ما با کم‌کردن ظرفیت باتری از ۱۰ دقیقه به ۵ دقیقه، از جاگیر بودن آن‌ها کاستیم. با این کار کاهش چشمگیری در ظرفیت باتری‌ها به دست آوردیم؛ یعنی تعداد باتری‌های مستقر شده کاهش یافت. ما از نوعی از Rotary UPS استفاده کردیم که به آن Hitec می‌گویند و اساسا یک جفت القایی است که انرژی جنبشی را از Flywheel می‌گیرد.

ما با سیستم‌های برق Rotary آشنا بودیم و پیش‌تر با آن‌ها کار کرده بودیم؛ بهره‌وری آن‌ها خیلی خوب بود. چند تولیدکنندهٔ مختلف را در نظر گرفتیم و به این نتیجه رسیدیم که Active Power سیستم‌هایی را که می‌خواهیم تولید می‌کنند. در آن زمان که ما برای اولین بار در یکی از مراکزدادهٔ یاهو از این نوع باتری استفاده کردیم، این کارمان بزرگ‌ترین به‌کارگیری این محصول در یک پیکربندی واحد در جهان بود. پس از آن وقتی به لاکپورت رفتیم این سیستم را توزیع‌شده‌تر نصب کردیم.

بونارو: مقدار باری که Flywheelها با آن سروکار دارند، کمتر از چیزی است که به‌طور معمول در سیستم‌های متداول می‌بینید. در گذشته معمولا Flywheelها را در قالب بخش‌های یک مگاواتی یا بیشتر برپا می‌کردند و با آن‌ها بخش‌های بزرگی از سالن سرور را تغذیه می‌کردند. در این مرکزداده این واحدها را توزیع‌شده‌تر مستقر کرده‌ایم که بیشتر همانند مدل‌های سنتی بخش‌های تولید برق با ابعاد PDU است. این مسئله در هنگام استفاده از این سیستم‌ها، از احتمال خطر ازکارافتادگی اندکی کاسته است. به این شکل که بخش کوچک‌تری از برق در هر انتقال تحت تاثیر می‌گیرد. یا اینکه هر کاری که با سیستم انجام می‌دهیم، مثل تعمیر و نگهداری، به بخش کوچک‌تری از سیستم اثر می‌گذارد. این کار همچنین با ماژولار بودن ساختمان هم بسیار تناسب دارد.

در اینجا هر گروه از تجهیزات فقط با یک سیستم، یعنی با بخشی از سیستم سرمایش سروکار دارد. این ویژگی این الگوی طراحی را در مرکزداده ما به‌خوبی تکرارپذیر می‌کند و این امکان را به وجود می‌آورد که مقیاس بخش‌های مختلف زیرساخت برق را به‌شیوهٔ سنجیده‌تر تعیین کنیم. به‌جای اینکه بخش بزرگی از تاسیسات برق را بسازیم و تغذیهٔ سرورها را انجام بدهیم، می‌توانیم همین کار را در بخش‌های کوچک‌تری اجرا کنیم و از زمان لازم برای استقرار هر بخش از این سیستم بکاهیم.

[مرکزدادهٔ سیسکو و سیتی‌بانک و Terremark هم از Rotary UPS استفاده کرده‌اند.]

الگر: در هنگام طراحی و ساخت، اتفاق غافل‌گیرکننده‌ای هم رخ داد؟

هولت: بله؛ این بود که کارهایی که کردیم خوب نتیجه داد. در هنگام انجام بعضی از آزمایش‌ها، به آن نگاه می‌کردم و با خودم می‌گفتم که این شدنی نیست. بعد که آزمایش نشان می‌داد آن کار نتیجه دارد، به خودمان می‌گفتیم: «چه جالب!» افراد زیادی در آن اتاق بزرگ بودند که با شگفتی به هم نگاه می‌کردند و با خودشان می‌گفتند: «مثل اینکه واقعا کار می‌کند!» واقعا آموزنده بود.

بونارو: تابستان گذشته اولین تابستانی بود که این مرکزداده به‌شکل پرفشار کار کرد. اگر پیشینهٔ وضعیت آب‌وهوای غرب نیویوک را بررسی کنید می‌بینید که آن سال تابستان سوزانی داشت؛ سومین نیمهٔ تابستانِ بسیار گرم در یک قرن و نیم گذشته بود. بدین ترتیب به‌سرعت دست به کار شدیم تا این الگوی طراحی را در آن وضعیت سخت بیازماییم.

گمان می‌کنم این خوش‌اقبالی ما بودیم که نگذاشت سه‌چهار سال یا پنج سال از کار کردن ما با این سیستم بگذرد، بعد آن گرما پیش بیاید که تازه از خودمان بپرسیم حالا چه‌کار باید بکنیم؟ در آن تابستان گرم این مرکزداده هنوز نوساز بود. روشن است که ما همیشه در گروهمان چیزهای جدیدی دربارهٔ این مرکزداده می‌آموزیم. با این حال در آن زمان می‌دانستیم که در تابستان با دشواری‌هایی روبه‌رو خواهیم شد و باید تلاش کنیم تا بهترین روش را برای تنظیم و بهینه‌سازی تجهیزات به دست بیاوریم. چنین وضعیتی در اولین تابستانِ کاری این مرکزداده برای ما پیش آمد. در دفتر مرکزی‌مان نزد هولت و اعضای گروه و نیز اعضای گروه طراحی که هنوز درگیر پروژه بودند، منابع زیادی داشتیم. خوب شد که همان اولِ کارمان با آن گرفتاری روبه‌رو شدیم.

هولت: این یکی از اتفاقات خوبی بود که در این پروژه برایمان پیش آمد. این دشواری پیش از آنکه به بار کاری کامل برسیم رخ داد و توانستیم چاره‌ای برایش پیدا کنیم.

پیج: بونارو اسلایدهای بسیار خوبی دارد که در آن‌ها خلاصهٔ اوضاع آب‌وهوای سختِ ژوئیهٔ بسیار گرم سال ۲۰۱۱ را نوشته است. در این اسلایدها چیزهایی هست مانند اینکه سوم ژوئیهٔ آن سال گرم‌ترین سوم ژوئیهٔ ۱۴۱ سال گذشته بود، آن ماه گرم‌ترین ماه ۵۶ سال گذشته بود، دیگر اینکه هوای ۳۰ روز از ۳۱ روز آن ماه گرم‌تر از ۲۷ درجه بود. این آزمون را انگار خود طبیعت برای ما مهیا کرد. وضعیت خیلی سختی بود که مرکزداده در آن بسیار خوب کار کرد.

الگر: این مرکزداده هنوز کمابیش تازه‌ساز است؛ ولی اگر می‌توانستید به عقب برگردید و پروژه را دوباره اجرا کنید، چیزی بود که جور دیگر انجام بدهید؟

بونارو: این مسئله‌ای است که هر روز با آن زندگی می‌کنیم. همیشه چیزهای کوچکی برای تغییر دادن هست؛ ولی دربارهٔ قطعات تجهیزاتی که انتخاب کرده بودیم، یا توالی عملیات و مسائلی همانند آن نه. با اینکه ما پیوسته در تغییر هستیم، چیزی نیست که بخواهیم از پایه دگرگون کنیم یا چیزی که در ادارهٔ این مرکزداده دشواری بزرگی باشد.

اگر مدت طولانی در مرکزدادهٔ سنتی کار کرده باشید، می‌توانید یک قدم عقب‌تر بروید و از زاویه دید جدیدی به آن نگاه کنید. ما پیش‌تر این کار را کرده‌ایم و بینش خودمان را بازآرایی کرده‌ایم؛ چیزی نیست که بخواهیم خیلی تغییرش بدهیم.

هولت: این طراحی و ساخت را مهندسان اجرایی انجام داده‌اند، نه مهندسان طراح یا مدیران ساخت‌وساز. این پروژه را کسانی اجرا کرده‌اند که ادارهٔ مراکزداده کارشان است. با شناختی که از کار داشتیم توانستیم چیزهایی را که الان می‌دانیم، همان موقع شناسایی کنیم. این‌طوری نبود که برویم بیرون و بگوییم: «کسی هست بیاید برای ما مرکزداده طراحی کند؟!» مایی که این تاسیسات را طراحی کردیم، خودمان واقعا مدیر مرکزداده بودیم.

ما که مدیران مراکزداده هستیم، اصولی را که باید رعایت کنیم می‌شناسیم و توانسته‌ایم آن‌ها را در طراحی بیاوریم. علاوه بر این ما گروه «پاول بونارو» را چنان زود وارد کار کردیم که فوری توانستند بخش عملیاتیِ مرکزداده را هم در طراحی بگنجانند. این‌طوری نبود که اول مرکزداده را بسازیم، سپس بگوییم حالا بفرمایید اداره‌اش کنید. بونارو و گروهش از همان روز اول با ما همراه بودند. تا فهمیدیم بونارو همان کسی است که برای این پروژه مناسب است، بی‌درنگ او را با اختیار کامل برای تصمیم‌گیری در روند کار وارد کردیم. به نظر من این یکی از چیزهای اصولی بود که مرکزدادهٔ ما را به اینجا رساند؛ اینکه آن را مدیران مرکزداده ساختند.

الگر: برای اینکه اهداف فاوا با تاسیسات هماهنگ باشد، در این پروژه چه کارهایی کرده‌اید؟ وقتی سعی دارید مرکزداده را بدون سیستم سرمایش متداول بسازید، احتمالا باید موافقت و حمایت سهامداران را به دست بیاورید؛ هم در بخش فاوا که مالک سخت‌افزارها است و هم در بخش تاسیسات که زیرساخت فیزیکی را فراهم و پشتیبانی می‌کند.

هولت: ما از سال ۲۰۰۵ در سازمان خودمان دو بخش فاوا و تاسیسات را زیر نظر یک نایب‌رئیس اداره کرده‌ایم. بین این دو بخش هیچ رقابتی وجود ندارد. بسیاری از طرح‌های ما از زمان الگوهای YTC و پیکربندی‌های دالان هوای سرد و گرم، نتیجهٔ مشارکت درست میان تاسیسات و فاوا بوده است. مدیر تاسیسات به زیرساخت می‌پردازد و مدیر عملیات مرکزداده به سرورها. هر دوی آن‌ها در کنار هم، در دفتر کار مشترکی در آن ساختمان می‌نشینند.

اینجا کسی نمی‌گوید: «این مشکل تقصیر توست!» یا «این چیز را من می‌خواهم!» یا «من نمی‌‌توانم فلان چیز را داشته باشم چون تاسیسات چنین مشکلی دارد!» در اینجا همه یک‌صدا هستند و با همدیگر برای مسائل راه‌حل می‌دهند [مرتبط با پیگیری مسئولیت‌ها]. ما فاوا را در طراحی می‌گنجانیم؛ چون هوا را به هر حال سرورها و تجهیزات فاوا جابه‌جا می‌کنند. این فن‌ها فقط زمانی که لازم است هوا را از فیلتر عبور می‌دهند. در طول گردش مجدد هوا، به آن‌ها هیچ نیازی نیست. به این شکل در کار ما از طرح اولیه تا مرحلهٔ بررسی و تصدیق کیفیت، چنین رابطهٔ درستی بین فاوا و تاسیسات برقرار بود.

بونارو: من دربارهٔ پروژه هم همین را می‌گویم. پیش‌تر در پروژه‌های ساخت دیگری هم شرکت داشته‌ام؛ البته نه این‌قدر که در این پروژه بوده‌ام. بسیاری از مواقع تصمیم‌ها را یک مهندس طراح می‌گیرد. او مدیر مرکزداده نیست و هیچ‌وقت هم نبوده است. نمی‌گویم آن‌ها اشتباه می‌کنند؛ ولی اگر در روند کار از بینش مدیر مرکزداده برخوردار نباشید که بعضی از مفروضات را به چالش می‌کشد، ممکن است در پایان کار مرکزداده‌ای را تحویل بگیرید که بین اصول عملیاتی و اصول طراحی آن ارتباط درستی وجود ندارد.

«باب لایتل» که مدیر پروژه است، توانست بسیاری از این مسائل را ساده کند. او در مرحلهٔ تصمیم‌گیری برای ساخت‌وساز، دیدگاه گروه‌های عملیاتی را در نظر گرفت تا نتیجه مطابق خواست آن‌ها باشد نه آنچه مهندس طراح سیستم‌های مکانیکی یا مهندس طراح سیستم‌های برق می‌خواسته اجرا بکند؛ فقط چون اصول کاری‌اش این‌گونه است. پیوستگی میان بخش‌های مختلف این پروژه در مرحلهٔ طراحی خیلی بیشتر از دیگر پروژه‌هایی بود که در آن‌ها کار کرده بودم. به همین دلیل ما از پیش می‌دانستیم در پایان کار چه‌جور مرکزداده‌ای به دست می‌آوریم. باید بگویم این مزیت بزرگی است.

هولت: مثلا شما دور میز جمع می‌شوید و می‌گویید: «بیایید برویم مرکزداده بسازیم.» بعد کسی را استخدام می‌کنید تا این کار را برایتان انجام بدهد. آن‌وقت اتفاقی که می‌افتد این است: آن کسی که مرکزدادهٔ شما را طراحی می‌کند، در واقع کسی است که در اتاقی نشسته و با سروصدا به صفحه‌کلید کامپیوتر می‌کوبد و با BMS‌ ـ[8] کار می‌کند. همان آدم تصمیم می‌گیرد شما مرکزداده را چگونه مدیریت کنید. در واقع او که کار برنامه‌نویسی BMS یا کنترل‌هایتان را بر عهده دارد، اصلا معلوم نیست سابقه‌ای در ساختن سیستم‌های قدیمی داشته باشد. تازه اگر پیش از این اصلا مرکزداده‌ای ساخته باشد.

ما این مسئله را حل کردیم. گفتیم: «می‌دانید چیست؟ ما می‌خواهیم کار را خودمان به دست بگیریم و بتوانیم شیوهٔ آن را تعیین کنیم.» این برای ما تغییر بنیادی در طراحی بود. کنترل کامل کار را خودمان به دست گرفتیم. نگذاشتیم کس دیگری بیاید و به سلیقهٔ خودش دربارهٔ اینکه ما چه کاری باید انجام بدهیم تصمیم بگیرد. این را اجرایی کردیم.

این در صنعت تغییر ایجاد کرد. اول خیلی پیچیده بود. آن آقا می‌گفت: «پس این‌همه سال تجربهٔ من چه می‌شود؟» برای من مهم نیست! چون نیازی ندارم بدانم مراکزدادهٔ دیگر چطوری کار می‌کنند؛ می‌خواهم بدانم مرکزدادهٔ خودم چطوری کار می‌کند. به این شکل بود که چنین تغییری رخ داد.

تصویر: یاهو در هنگام گسترش مرکزدادهٔ به‌اصطلاح لانه‌مرغی خود، مدیران مرکزداده را در روند کار وارد کرد. 

پیج: به نظرم اکنون این فکر پیشرفت می‌کند که آنچه الان داریم قرار نیست حتما در آینده هم برای مراکزداده مناسب باشد. یکی از ویژگی‌های خوب طراحی ماژولار توانایی فراتر رفتن از وضعیت موجود است. با این حال وضعیت موجود به تعداد زیادی سیستم‌عامل و BMS و خیلی چیزهای دیگر وابسته است. بدین ترتیب به چالش کشیدن طراحی با برخی شیوه‌ها، اولین گام در این راه است.

الگر: در پایان آیا برای کسانی که می‌خواهند پروژهٔ مرکزدادهٔ بزرگی را شروع کنند توصیه‌ای دارید؟

«آنچه الان داریم قرار نیست حتما در آینده هم برای مراکزداده مناسب باشد.»

هولت: بله! می‌گویم مدیران مرکزداده را در پروژه وارد کنید. این مهم‌ترین توصیهٔ من است. مهندسان طراح همیشه چیزها را همان طوری طراحی می‌کنند که سال‌ها است دارند می‌کنند. به همین دلیل باید مدیران مرکزداده را خیلی زود وارد روند کار کنید.

پانویس

[1] این مطلب ترجمهٔ بخش هجدهم از کتاب «The Art of the Data Center» است. گفت‌وگوکننده داگلاس الگر (Douglas Alger)، مترجم پرواز خیّر، ویراستار پرهام غدیری‌پور، به‌کوشش دکتر بابک نیکفام، تهیه‌شده در باشگاه مراکزداده.

[2] Yahoo Computing Coop

[3] American Society of Heating, Refrigerating and Air-conditioning Enginieers

[4] Fortune 500: فهرستی معتبر از ۵۰۰ شرکت برتر آمریکایی از نظر درآمدزایی. این فهرست را نشریهٔ فرچون هرسال تهیه و اعلام می‌کند.

[5] Yahoo Thermal Cooling

[6] دمای حباب خشک (Dry-bulb temperature): آن را دماسنجی اندازه می‌گیرد که مستقیم در معرض هوا و به‌دور از رطوبت و تشعشع مستقیم باشد.

[7] نقطهٔ شبنم: اگر دمای هوای مرطوبِ اشباع‌نشده را بدون کاهش یا افزایش رطوبت، در فشار ثابت کاهش بدهیم، رطوبت هوا در دمایی مشخص به قطرات ریز آب تبدیل می‌شود. به این دما «نقطهٔ شبنم» می‌گویند.

[8] سیستم مدیریت ساختمان (Building Management System): سامانهٔ مبتنی بر رایانه که در داخل ساختمان نصب می‌شود تا بر تجهیزات مکانیکی و الکتریکی ساختمان نظارت و کنترل کند.