معرفی مرکزدادهٔ Calcul Quebec ـ[1]

 آنچه می‌خوانید

مرکزدادهٔ Calcul Quebec از مراکز دادهٔ پیشرو است که در واقع ابررایانهٔ دانشگاه است. آن را در ساختمان سیلو شکل و سه طبقه‌ای ساخته‌اند که پیش‌تر جای شتاب‌دهندهٔ ذرات بوده است. دالان گرم آن گرد است. در آن هوای گرم از بالا به پایین به‌سوی تاسیسات سرمایش می‌رود. سیستم سرمایش آن با گرمایش و سرمایش دانشگاه بده‌بستان دارد؛ گرمای سرورها را می‌دهد و سرمای آن را می‌گیرد. این بنا از بخش‌های دیدنی دانشگاه است و با تغییر کاربری که در آن انجام شده، تقریبا به همان شکل اول باقی مانده است.

آشنایی با مرکزدادهٔ Calcul Quebec

تصویر: مرکزداده Calcul Quebec در ساختمان سیلو شکل بتنی قرار دارد که در اصل مکان دستگاه شتاب‌دهنده ذرات بوده است.

معمولا وقتی از مراکزداده گفت‌وگو می‌شود حرف از مربع و مستطیل است. سخت‌افزارها، قفسه‌ها، واحدهای توزیع برق، هواسازها (Air handler)، کف‌پوش‌ها، ردیف‌های سرور، این‌ها همه چهارگوش هستند و از قوس و منحنی خبری نیست. اکنون فکر می‌کنید چگونه خواهد شد اگر این حجم‌های مکعبی را که زوایای ۹۰ درجه دارند، در محیط گرد بچینند؟ آیا می‌توان در چنین شکلی مرکزداده را به‌خوبی سامان داد و عملکرد خوبی هم از آن به‌دست آورد؟ بله!

در محوطهٔ دانشگاه Laval در کبک‌سیتی کانادا، کنسرسیوم پژوهشی Calcul Quebec ساختمان استوانه‌ای شکلی را که قبلا جای شتاب‌دهندهٔ ذرات Van De Graaff بوده تبدیل به مرکزداده کرده است. این ساختمان استوانه‌ای و سیلو مانند اکنون ابررایانهٔ این گروه به نام «کلوسوس» [2] را در خود جای داده که کاربران با آن به پژوهش‌های علمی می‌پردازند.

سه طبقه از این مرکز را در سیلویی به‌وسعت ۲۱۷٫۴ متر مربع ساخته‌اند و سخت‌افزارهای رایانشی را در آن جا داده‌اند. چیدمان رک‌های سرور به‌شکل حلقه‌وار و روی آن‌ها به سمت بیرون است. فضای پشت حلقهٔ رک‌ها کار پلنوم هوای سرد را می‌کند و هوای گرم ناشی از کار سخت‌افزارها به فضای میانی حلقه رک‌ها می‌رود. کف آن مشبک است و فن‌های ۱ متری هوا را از میان آن به زیر می‌کشند. این فن‌ها می‌توانند در دقیقه ۳٬۳۸۹ متر مکعب هوا را جابه‌جا کنند.

مارک پاریزو (Marc Parizeau) پروفسور مهندسی کامپیوتر دانشگاه Laval و نایب‌رئیس Calcul Quebec از چگونگی رایانش در ساختار مدور می‌گوید.

 مشخصات تاسیسات:

• نام سازمان: Calcul Quebec ـ[3]
• مکان: کانادا، ایالت کبک، شهر کبک‌سیتی
• شروع‌به‌کار: مرداد ۱۳۸۸ (آگوست 2009)
• ویژگی‌های چشمگیر: محیط سرور در سازه‌ای استوانه‌ای و سیلو شکل قرار دارد که پیش از این جای ژنراتور Van De Graaf بوده است.
• مدت زمان طراحی و ساخت: ۲۹ ماه 
• مساحت: ۲۱۷٫۴ متر مربع
• تامین برق: ۱٫۲ مگاوات
• رتبه‌بندی: نامشخص
• تعداد رک‌ها: ۵۶
• زیرساخت‌ها: زیرساخت برق و کابل‌کشی در سقف، سرمایش از طریق پلنوم حلقه‌ای هوای سرد، تخلیهٔ هوای گرم تولیدشده توسط سخت‌افزارها از طریق فضای خالی استوانه‌ای میان حلقهٔ رک‌ها (هستهٔ داغ)
• بار سازه‌ای: ۴٬۵۸۹٫۵ کیلوگرم بر متر مربع
• سیستم اطفای حریق: سیستم آب‌فشانی خودکار دو مرحله‌ای با لولهٔ خشک (Dry-Pipe System) ـ[4]

متن مصاحبه:

الگر: لطفا از تاریخچهٔ این ساختمان سیلو شکل که اکنون ابررایانهٔ شما در آنجاست بگویید.

پاریزو: این بنا را در سال ۱۳۴۴ ش. ساخته‌اند. اینجا مرکز پژوهش فیزیک هسته‌ای بود که شتاب‌دهندهٔ ذرات Van De Graaff در آن کار می‌کرد.

تصویر: ظاهر اولیهٔ بنای سیلو پیش از تبدیل آن به مرکزداده

برای مرکزداده مجبور شدیم تغییراتی کمابیش جزئی در آن بدهیم. تغییرات ابتدا به‌نظرم سنگین آمد. اما باید بگویم که تخریب‌های ساختمانی با دستگاه‌های کارآمدی اجرا می‌شود.

ساختمان سیلو بدین شکل بود که شتاب‌دهنده به‌شکل عمودی ذرات را به اتاقی در زیر می‌فرستاد. سپس این ذرات با انحراف ۹۰ درجه‌ای افقی می‌شدند و به اتاق بزرگ‌تری می‌رفتند که به آن «اتاق هدف» می‌گفتند. فیزیکدان‌ها آزمایش‌های خود را در همین اتاق انجام می‌دادند.

اوایل می‌خواستیم مرکزداده را در اتاق هدف جا بدهیم که سقف بلند تقریبا ۵٫۵ متری دارد و وسعت آن ۲۷۸٫۷ متر مربع است. خود این بنای سیلو شکل هم بود که کسی نمی‌دانست با آن چه‌کار باید کرد. این همان است که بعدتر به فکر افتادیم کامپیوترها را در آن بگذاریم. ابتدا فکر جادادن مرکزداده در سیلو عجیب به نظر می‌آمد؛ چون نمی‌دانستیم باید چگونه این کار را بکنیم.

بنابراین شروع به طراحی روی اتاق دیگری کردیم که به اتاق هدف باز می‌شد. اتاقی مستطیل شکل و بزرگی که در زیرزمین بود ولی نه زیر سیلو بلکه در کنار آن. سپس با این مسئلهٔ همیشگی روبه‌رو شدیم که چگونه اتاق را برای داشتن دالان‌های بستهٔ هوای سرد و گرم [مطالعهٔ بیشتر] و واحدهای CRAC ـ[5] طراحی کنیم و بتوانیم همه‌چیز را در آن جا بدهیم. ما می‌خواستیم تا ۶۰ رک را در این اتاق جا بدهیم اما جای کافی نداشت. آن‌وقت دوباره به فکر سیلو افتادیم. با تیمی متشکل از مهندسان درباره اینکه چه‌کار می‌توانیم بکنیم جلسهٔ طوفان فکری [6] برگزار کردیم و بعد از قدری تفکر، گزینهٔ دوم تبدیل به گزینهٔ اول شد. چون با استفاده از گزینهٔ سیلو می‌توانستیم دستگاه‌های بزرگ‌تری را داخل آن قرار بدهیم و بازده مرکزدادهٔ خود را بیشتر کنیم.

خب برگردیم به سوال شما. چیزی که باید عوض می‌شد، ساختمان داخل سیلو بود که بیشتر باز بود. شتاب‌دهنده در آنجا قرار داشت؛ اما صفحه‌ای بتنی در طبقهٔ هم‌کف بود که باید آن را برمی‌داشتیم. یک نیم‌طبقه هم داخل سیلو ساخته بودند که در حقیقت برای تقویت محل قرارگیری شتاب‌دهنده طراحی شده بود. خود شتاب‌دهنده زیر محفظه‌ای فلزی قرار داشت. هنگامی که آن را به‌کار می‌انداختند، هوای داخل این محفظهٔ فلزی تخلیه و با گازی خنثی که گمان می‌کنم هلیم بود پر می‌شد. اساس کار این شتاب‌دهنده استفاده از الکتریسیتهٔ ساکن است و مقدار زیادی بار الکتریکی در آن انباشته می‌شود. به همین دلیل از این محفظهٔ فلزی مملو از گاز خنثی استفاده می‌شد تا از جرقهٔ بار الکتریکی جلوگیری شود.

نیم‌طبقه برای قرار دادن محفظهٔ فلزی بالای شتاب‌دهنده بر روی آن تعبیه شده بود. برای تعمیر و نگهداری قسمت‌های داخلی شتاب‌دهنده، فیزیکدان‌ها باید این محفظهٔ فلزی چند تنی را بلند می‌کردند و آن را از روی نیم‌طبقهٔ بتنی برمی‌داشتند. ما باید آن را حذف می‌کردیم. همین!

«ابتدا فکر جادادن مرکزداده در سیلو عجیب به نظر می‌آمد…»

 الگر: دست یافتن به طرح مطلوب و بعد گفت‌وگوهای لازم دربارهٔ آن چقدر طول کشید؟

پاریزو: طراحی حدود یک سال وقت گرفت. ۴ ماه اول درگیر کار بر روی آن فکر بودیم؛ یعنی تا ۱۰ مرداد ۱۳۸۸ که پیش‌تر گفتم هنوز در فکر استفاده از همان اتاق هدف بودیم. سپس طراحی را روی سیلو متمرکز کردیم و این هم ۸ ماه زمان برد. یک سال بعد معماران و مهندسان مشغول به طراحی جزئی پلان‌ها و مشخصات آن بودند. بعد هم دربارهٔ تمام جزئیاتی که برای شروع کار به آن‌ها نیاز داشتیم به توافق رسیدیم.

الگر: این مرکزداده کی به‌طور رسمی شروع‌به‌کار کرد؟

پاریزو: تحویل سرورها از خرداد ۱۳۸۸ شروع شد، برق دستگاه‌ها در اواسط خرداد وصل شد، آبان ۸۸ آغازبه‌کار مرکزداده به‌طور رسمی تایید شد. درست سر وقت، چون نزدیک وقت اعلام فهرست اسامی ۵۰۰ ابررایانه برتر جهان بود.

الگر: ابررایانهٔ کلوسوس درون همین ساختمان سیلو شکل، با ۵۶ رک، در ۳ طبقه حلقه‌ای قرار گرفته است؟

پاریزو: طراحی برای جاگیری ۵۶ رک انجام شده بود؛ اما این ابرکامپیوتری که الان داریم بسیار متراکم‌تر از چیزی است که ابتدا در نظر داشتیم. از ابتدا سایت را طوری طراحی کردیم که بتواند سرورهای 1U را درون خود جا بدهد. به‌دلیل اینکه نمی‌دانستیم چه‌نوع سروری خواهیم داشت، سیستم را با سرورهای 1U در نظر گرفتیم که بدترین حالت ممکن باشد.

تصویر: سازهٔ فلزی سه طبقهٔ مرکزداده در اولین مراحل ساخت

ابرکامپیوتر ما از سیستم تیغه‌ای [7] استفاده می‌کند و به همین دلیل از پیش‌بینی ما متراکم‌تر شد. در حال حاضر حدود ۲۰ رک این سیستم ۲ طبقه را اشغال کرده‌اند، اما امکان استفاده از ۳ طبقه را هم داریم. اکنون یکی از طبقات به‌کلی خالی است.

الگر: این مرکزدادهٔ سازمانی نیست که خدمات بدهد بلکه ابررایانه است. با این حال آیا تاسیسات آن مجهز به زیرساخت‌های کمکی نیز هست؟

پاریزو: بله. ما قدری افزونگی هم داریم. البته هیچ برق افزونه‌ای برای سرورهای رایانشی استفاده نمی‌شود؛ اما همهٔ فایل‌سیستم (File system) و سوئیچ‌های شبکه با دستگاه UPS کار می‌کنند. تا حالا ژنراتور کمکی نداشته‌ایم اما به زودی یکی خواهیم داشت. این به لطف دانشگاه است که درست در کنار ما دارد مرکزدادهٔ دیگری می‌سازد. به همین دلیل هم به‌زودی یک ژنراتور در اختیار ما می‌گذارد. زیرساخت اولیهٔ ابررایانهٔ ما با یک UPS و ژنراتور محافظت می‌شود؛ ولی این برای سرورها نیست. موضوع این است که ما در اینجا خدمات به سازمان نمی‌دهیم و کارمان فقط پژوهش است. یعنی اگر اتفاقی بیفتد، بدترین حالتش این است که شبیه‌سازی‌های در حال اجرا از دست ‌می‌رود. محققان مجبور می‌شوند وقتی برق وصل شد یا با رفع مشکل کار خود را تکرار کنند.

تصویر: زیرساخت‌های برق و کابل‌کشی که به‌شکل سقفی در محل رک‌های سه‌طبقه اجرا شده است.

تنها چیزی که باید از آن محافظت کنیم سیستم‌فایل است که با قطع‌شدن برق چیزی در آن از بین نرود. چون سیستم‌فایل‌ها از قطع برق خوش‌شان نمی‌آید! مخصوصا سیستم‌فایل‌های بزرگ و موازی که هزاران دیسک دارند. همیشه در قطعی برق همین دیسک‌ها هستند که آسیب می‌بینند.

الگر: دربارهٔ پیکربندی سرمایشی مرکزدادهٔ‌تان بگویید. رک‌های سرور شما در ۳ طبقهٔ ساختمان سیلو جا گرفته‌اند و روی آن‌ها به سمت بیرون است. به‌طوری که در پلنوم هوای سرد محصور هستند و هسته‌ای داغ در وسط حلقهٔ متشکل از رک‌ها به‌وجود آمده است. این در حالی است که اجزای مکانیکی مرکزداده در طبقهٔ منهای دو هستند.

پاریزو: پلنوم هوای سرد در پشت ابررایانه و به‌شکل دالان حلقوی و عمودی است. هوای سرد از زیرزمین می‌آید و به‌سوی بالا رانده می‌شود. سپس همهٔ قطعات تجهیزات، از جمله سرورها و فایل‌سرور (File server)، هوای سرد را از پشت خود از این پلنوم به درون می‌کشند و هوای داغ را به بیرون به‌سوی دالان هوای گرم استوانه‌ای شکل می‌فرستند که فضای میانی حلقهٔ متشکل از رک‌ها باشد. در مرحلهٔ بعد ۶ هواکش صنعتی بزرگ دور متغیر داریم که هوای گرم را پایین می‌کشند و به یک اتاق مربعی می‌فرستند. سه دیوار این اتاق مبدل برودتی دارد. دیوارهای مجهز به مبدل برودتی به‌شکل سفارشی طراحی شده‌اند، ۳٫۷ متر عرض و ۲٫۴ متر ارتفاع دارند، چهار لایه هستند و از بازده بالایی برخوردارند. مبدل‌ها می‌توانند تا ۱٫۵ مگاوات گرما را جذب کنند. هواکش‌ها ابتدا هوا را از فیلتر عبور می‌دهند و سپس به داخل مبدل‌های برودتی می‌رانند. سپس هوای خنک‌شده از دالان حلقویِ هوای سرد جانبی خارج می‌شود و دوباره به بالا رانده می‌شود.

همیشه از من می‌پرسند که شما چرا هوای گرم را پایین می‌کشید و هوای سرد را بالا می‌فرستید؟ باید در جواب بگویم که اگر می‌خواستیم از جریان طبیعی همرفت استفاده کنیم که هوای گرم خودش به سمت بالا برود، آن‌وقت باید سیستم سرمایش را در بالا نصب می‌کردیم. بدین شکل آب هم می‌باید بالا می‌بود. اول اینکه در این حالت نگهداری از تاسیسات سخت‌تر می‌شد. چون مجبور بودیم برای رسیدن به تاسیسات و تعویض فیلترها و انجام کارهای ضروری این‌همه مسیر را بالا برویم. دیگر اینکه نمی‌خواستیم آب روی سر سرورها باشد. ضمنا در مقایسه با ظرفیت دمندگی فعلی که الآن داریم، از تاثیر جریان همرفت می‌توان چشم‌پوشی کرد.

هر یک از هواکش‌ها می‌توانند در دقیقه تا ۵۶۶٫۳ متر مکعب هوا را بالا بکشند. در نتیجه ظرفیت دمندگی ما ۳٬۳۹۸ متر مکعب در دقیقه است. این هواکش‌های دور متغیر که بسیار بزرگ هستند، بازده عالی دارند.

تصویر: هوا با هواکش‌های دور متغیر در مرکزدادهٔ Calcul Quebec به جریان می‌افتد. این کار با مصرف مقدار کمی انرژی ممکن می‌شود و هوای خروجی نیز سرعت کمی دارد.

الگر: متوجه شدم که شما بخشی از گرمای ناشی از سرورها را برای گرمایش ساختمان‌های محوطهٔ دانشگاه به‌کار می‌برید.

پاریزو: در محوطهٔ دانشگاه Laval دو نوع چرخهٔ آب سرد و گرم وجود دارد. چرخهٔ آب سرد به همهٔ واحدهای تهویهٔ هوا وصل است. چرخهٔ آب گرم به تمامی ساختمان‌ها در سرتاسر محوطه اتصال دارد. از چرخهٔ آب گرم برای گرم‌کردن دانشگاه در زمستان استفاده می‌شود. کاری که قصد داریم انجام بدهیم این است که در زمستان از آب سرد تاسیسات محوطهٔ دانشگاه استفاده کنیم که در حدود ۴ درجه سانتی‌گراد دما دارد و بسیار کارآمد است. چون برای خنک کردن آب از هوای آزاد استفاده می‌شود.

آب سردی که از تاسیسات محوطهٔ دانشگاه دریافت می‌کنیم، در مرکزدادهٔ ما تا دمای ۲۵ درجه گرم می‌شود. ما آن را به ساختمان‌های محوطهٔ دانشگاه بازمی‌گردانیم. آن‌ها به آب ولرمی که از ما می‌گیرند حرارت می‌دهند و آن را گرم می‌کنند. سپس آن را به چرخهٔ آب گرم خودشان می‌فرستند. در نتیجه ما در زمستان عملا نیاز گرمایی دانشگاه را تامین می‌کنیم. زیرا بدین شکل در فصل سرما هزینهٔ تولید آب سرد در حدود یک‌پنجم تولید آب گرم می‌شود و بسیار ارزان‌تر است. ما در طول زمستان گرمای تاسیسات خودمان را به جریان می‌اندازیم و در چرخهٔ آب گرم سیستم گرمایشی دانشگاه وارد می‌کنیم.

البته هوای تابستان در کبک‌سیتی گرم است. با این حال در گرم‌ترین ماه‌های سال یعنی تیر و مرداد نیز همان کار را می‌کنیم. انتخاب زیادی نداریم و در بیشتر اوقات از آب سرد تولیدشده در تاسیسات موجود در دانشگاه برای کمک به سرمایش سیستم خودمان بهره می‌بریم. در تابستان چون نمی‌توانیم از گرمای اضافی دوباره استفاده کنیم، آن را به برج‌های سرمایشی می‌فرستیم و با هوای آزاد خنک می‌کنیم.

دانشگاه باید ساختمان‌هایش را تقریبا در ۸ ماه از سال گرم نگه دارد؛ ۴ ماه از سال دما به زیر صفر می‌رسد و در ۴ ماه دیگر نیز گرمایش دانشگاه باید ادامه یابد. بنابراین و با توضیحی که دادم، دانشگاه در طول سردترین ماه‌های زمستان تا نزدیک به ۹۰ درصد از چرخهٔ گرما را دوباره استفاده می‌کند. با محاسبهٔ اینکه در طول تابستان نمی‌شود از گرما دوباره استفاده کرد، سالانه به‌طور میانگین بین ۵۰ تا ۵۵ درصد از این گرما دوباره استفاده می‌شود.

ما سیستم سرمایشی دیگری نیز داریم که سیستم سرمایش طبیعی داخل سیلو است. با استفاده از این سیستم می‌توانیم ۳۵۴ متر مکعب از هوای بیرون را برای سرمایش رک‌ها به درون بفرستیم که در عمل تقریبا تمامی رک‌ها را خنک می‌کند. به‌وسیله آن در زمستان که دمای بیرون به زیر ۴ درجه سانتی‌گراد می‌رسد، می‌توانیم در حدود ۸۰ درصد از رک‌ها را از طریق هوای بیرون خنک کنیم. از سویی نیازی هم به این کار نیست، زیرا برای دانشگاه به‌صرفه‌تر و بهتر است که به‌جای از بین بردن گرمای رک‌ها از آن در سیستم گرمایشی دانشگاه استفاده کند. تولید آب سرد برخلاف تولید آب گرم که هزینهٔ بالایی دارد بسیار کم‌هزینه است؛ به همین دلیل دانشگاه ترجیح می‌دهد از این روش استفاده کند. در فصل‌های معتدل سال یعنی در طول بهار و پاییز، نرم‌افزار سیستم را کنترل می‌کند و تصمیم می‌گیرد که از گرمای تولیدشده دوباره استفاده بشود یا با سرمایش طبیعی از بین برود.

برای مثال امسال دانشگاه دارد ساختمان مجاور سیلو را بازسازی می‌کند. ما برای سیستم سرمایشی به لوله‌هایی دسترسی داریم که آب سرد را به سیلو منتقل می‌کنند. دانشگاه برای مرکزدادهٔ جدید از همان لوله‌هایی استفاده می‌کند که قبلا دربارهٔ‌شان صحبت کردم. برای وصل کردن این لوله‌ها به مرکزدادهٔ جدید باید چند روز اتصال ما به این لوله‌ها قطع می‌شد. بنابراین ما ۳ روز در بهمن ماه از سیستم سرمایشی طبیعی استفاده کردیم. در این مدت ابتدا از ۱۰۰ درصد ظرفیت مرکزداده استفاده می‌کردیم. بعد دیدیم دمای داخل سیلو افزایش می‌یابد و سیستم نمی‌تواند دما را در حد مناسب نگه دارد. به همین دلیل مجبور شدیم قسمتی از ابررایانهٔ مرکزداده را از کار بیندازیم. با این‌که می‌توانستیم فقط ۱۰ درصد از آن را از کار بیندازیم، ۲۰ درصد را از کار انداختیم؛ چون نمی‌خواستیم هیچ‌گونه احتمال بروز خطا را بپذیریم. در آن ۳ روز کلوسوس را با ۸۰ درصد از توانش و با سیستم سرمایش طبیعی درحال‌کار نگه داشتیم. این کار بسیار عملی و سودمند بود؛ زیرا لازم نبود هنگام تعمیر لوله‌ها و در نبود آن‌ها سیستم ابررایانه مرکزداده را به‌طور کامل متوقف کنیم.

الگر: سخت‌افزارهای ابررایانه شما در چه دمایی کار می‌کنند؟

پاریزو: اکنون دمای دالان هوای سردمان را برای حدود ۱۸ درجهٔ سانتی‌گراد تنظیم می‌کنیم که شاید خیلی کم باشد. در دمای بسیار بالاتر از این هم می‌توانیم کار را ادامه بدهیم، اما این دما را تنظیم کردیم و دیگر تغییر ندادیم. دمای فضای استوانه‌ای شکل و داغ میان حلقهٔ سرورها با توجه به برنامه‌های در حال اجرا تنظیم می‌شود که ممکن است به ۳۵ درجه سانتی‌گراد هم برسد. این بالاترین دمایی است که من دیده‌ام. وقتی دما این‌قدر زیاد می‌شود که بار کاری ابررایانه بسیار زیاد باشد. در حالت عادی دمای محیط گرم میان حلقهٔ سرورها ۳۱ تا ۳۲ درجهٔ سانتی‌گراد است. دمایی که تنظیم می‌شود، دمای دالان هوای سرد است.

نکاتی در این طراحی فقط ویژگی خودمان است. اول اینکه ما اختلاف فشار دالان‌های هوای گرم و سرد را تنظیم می‌کنیم. این راز نهفته در طراحی ما است. تا آنجایی که من می‌دانم هیچ مرکزدادهٔ دیگری این کار را نمی‌کند؛ زیرا وقتی شما چندین دالان داشته باشید، حتی اگر بتوانید دالان‌های خود را محفوظ نگه دارید، کنترل اختلاف فشار بین دالان‌های سرد و گرم کار بسیار سختی است. اما به‌دلیل اینکه ما فقط یک دالان هوای سرد و یک دالان هوای گرم داریم که عمودی هم هستند، کنترل اختلاف فشار بسیار ساده است. کافی است حسگر اختلاف فشار را بین قسمت‌های سرد و گرم کار بگذارید.

همچنین سرعت حرکت باد در دالان‌ها کم است. این دومین راز نهفتهٔ ما است. سرعت خروجی باد بسیار کم است؛ پس دالان هوای سرد حقیقتا پلنوم است. سرعت باد کمتر ۲٫۴ متر بر ثانیه است که سرعت کمی محسوب می‌شود. البته این سرعت در صورتی است که تمام گنجایش سیلو را با تجهیزات پر کرده باشیم. در حالت عادی احتمالا سرعت در حدود ۱ متر بر ثانیه است و به همین دلیل هم در دالان هوای سرد حرکت باد را به‌سختی می‌شود احساس کرد. ما فشار نسبی میان دو دالان را اندازه‌گیری می‌کنیم. اگر سرورها به‌دلیل اینکه گرمای‌شان افزایش یافته برای دریافت جریان هوای بیشتر، سرعت فن‌های خود را افزایش داده باشند، ما هم سرعت فن‌های خود را زیاد می‌کنیم تا نیاز جریان هوای آن‌ها تامین شود.

سرعت حرکت هوای ۵ متر بر ثانیه یا بیشتر در این مرکزداده نشان‌دهندهٔ مشکل است. زیرا در چنین وضعیتی فشارهای مختلفی در دالان‌ها داریم و شاید هم فشار انتهای دالان با فشار کل دالان برابر نباشد. همچنین بعضی از سرورها جریان هوای کمتری نسبت به بقیه خواهند داشت که چون داغ می‌شوند سرعت فن‌های خود را بیشتر می‌کنند. در طراحی ما این مشکل با تنظیم اختلاف فشار هوا و پایین نگه‌داشتن سرعت باد حل می‌شود. حالا شاید بپرسید چرا سرعت پایین؟ ساده است: چون برش مقطعی (Cross-section) کف ساختمان استوانه‌ای شکل ما خیلی وسیع است. ما در دالان هوای سرد ۳۲ متر مربع سطح باز داریم. کف اینجا مشبک است و نسبت پوشیدگی آن به سوراخ‌های مشبک بسیار کمتر از کف‌پوش‌های رایج در مراکزدادهٔ دیگر است. عملا ۹۰ درصد از کف برای عبور هوا باز است.

الگر: کف مشبک‌تان چقدر وزن تحمل می‌کند؟ کف کاذب معمولی با کف‌پوش سوراخ‌دار اغلب نسبت به کف‌پوش‌های یکپارچه وزن کمتری را تحمل می‌کند. این‌طور که شما گفتید کف شما بسیار بازتر از این حرف‌ها است.

پاریزو: وقتی سیلو را طراحی می‌کردیم مهندس سازه‌ای داشتیم که از من پرسید نیازتان چیست؟ به او گفتم می‌خواهیم در هر طبقه حدود ۲۰ رک داشته باشیم و این رک‌ها ممکن است در هر جایی از طبقه باشند. او محاسبه کرد و به ظرفیت ۴٬۵۸۹٫۵ کیلوگرم بر متر مربع رسید. این بسیار بیشتر از میزان تحمل وزن مراکزدادهٔ استاندارد است.

تحمل کف در مرکزدادهٔ معمول ۷۳۲٫۴ کیلوگرم بر متر مربع و برای طبقاتی که استحکام بیشتری دارند ۱٬۲۲۰٫۶ کیلوگرم بر متر مربع است. کف مشبک ما بسیار ضخیم و محکم است و از زیر با تیرهای قوی و با اندازهٔ مناسب تقویت شده است. نمی‌خواستیم طبقه جابه‌جا بشود، می‌خواستیم دالان هوای سرد را از دالان هوای گرم جدا کنیم؛ ولی نمی‌خواستیم طبقه خم بشود. آن‌قدر محکم هست که تا حالا هیچ مشکلی با آن نداشته‌ایم.

الگر: چیز جالب دیگری در طراحی مرکزدادهٔ شما هست که لازم باشد درباره آن بدانیم؟

پاریزو: مهم‌ترین مسئله این است که از هواکش‌‌های صنعتی دور متغیر استفاده می‌کنیم. هواکش‌ها ۱ متر قطر دارند و به همین علت با سرعت بسیار کمی می‌چرخند. مصرف برق‌شان را دقیقا یادم نیست ولی در مقایسه با هواکش سرور یا حتی هواکش کارآمد سرور تیغه‌ای تقریبا هیچ است. پس هواکش‌های ما از نظر داشتن بازده بالا و قابلیت دور متغیر اهمیت دارند. به همین دلیل است که جریان هوای سرورها را با این هواکش‌ها به‌سوی‌شان می‌فرستیم. چون سطح مقطع ساختمان بسیار بزرگ است، هوای کافی وارد می‌شود و ما نیز سرعت هوا را بسیار پایین نگه می‌داریم که در بدترین شرایط اگر هواکش‌ها با حداکثر سرعت کار کنند ممکن است به ۲٫۴ متر در ثانیه برسد. در چنین وضعیتی هواکش‌ها فقط می‌توانند ۳٫۳ متر مکعب در دقیقه هوا را از کل فضای مورد نیاز که ۳۲ متر مربع است خارج کنند.

برای اندازه‌گیری مقدار هوای واردشده به سرورها از حسگرهای اختلاف فشار بهره می‌بریم و هوا را فقط در حد نیاز سرورها جابه‌جا می‌کنیم. از آنجایی که جریان هوا سرعت کمی دارد، فشار در دالان هوای سرد یکنواخت است. مشکل سرعت جریان هوا این است که با افزایش سرعت، فشار درون دالان سرد دیگر یکنواخت نمی‌ماند و افت فشار (Friction) رخ می‌دهد. افت فشار باعث ایجاد آشفتگی (Turbulence) در جریان هوا می‌شود که آن هم اختلاف فشار ایجاد می‌کند. بنابراین پدیدهٔ آشفتگی ریشهٔ همهٔ مشکلات سرمایشی در مرکزداده است.

تصویر: هوای گرم خروجی از سخت‌افزارها به محیط استوانه‌ای شکل میان سرورها یا همان هستهٔ داغ می‌رود و از طریق کف مشبک به بخش مبدل‌‌های برودتی در طبقهٔ همکف هدایت می‌شود.

موضوع دیگر در طراحی ما این است که رک‌ها را دایره‌ای چیده‌ایم. این هم نکته‌ای دیگر از جزئیات جالب این مرکزداده است. در مرکزداده معمولا وقتی مشکل آشفتگی یا اختلاف فشار یا اختلاف دمای ناشی از فشار را دارید، یا اینکه باید هوا را در فواصل طولانی جابه‌جا کنید، در انتهای دالان‌ها مشکلاتی پیش می‌آید. بعضی اوقات هوا در یک طرف دالان خیلی سرد است و در طرف دیگر، یعنی طرف مقابل واحدهای CRAC، ممکن است گرم باشد. نقاط هوای گرم به‌دلیل وجود آشفتگی ایجاد می‌شوند و آشفتگی به‌دلیل افت فشار و همچنین وجود گوشه‌ها در دالان هوای سرد پدید می‌آید. در چیدمان گرد مثل چیدمان ما، گوشه‌ای وجود ندارد!

الگر: کنجکاوم بدانم که سروصدای اضافی در مرکزداده شما چقدر است؟ با حرکت آرام جریان هوا که دارید، سیستم مکانیکی شما تقریبا باید بی‌صدا باشد؟

پاریزو: وقتی سایت را طراحی می‌کردیم، چون نگران بودیم هواکش‌ها صدای زیادی تولید کنند، روی دیوارها در اطراف قسمت‌هایی که هواکش‌ها نصب شده‌اند مواد جاذب صدا کار گذاشتیم. هواکش‌ها هم صدا دارند اما شدت آن بسیار کمتر از صدای خود سرورها است. به‌طور کلی محیط پر سروصدایی داریم؛ ولی صدا از هواکش سرورهای تیغه‌ای است. هواکش تجهیزاتی که اینجا داریم نسبتا پر سروصدا هستند، بنابراین داخل ساختمان چندان ساکت نیست. اگر بخواهند زمان طولانی در آنجا کار کنند بهتر است از محافظ گوش استفاده کنند.

الگر: آیا وقتی ساختمان سیلو را به مرکزداده تبدیل می‌کردید، اتفاق غیرمنتظره‌ای رخ داد؟

پاریزو: پیشاپیش احتمال می‌دادیم که در عملیات تخریب مشکل پیش بیاید. قبلا دربارهٔ آن نیم‌طبقه و صفحهٔ بتنی که باید جابه‌جا می‌شد گفتم. صفحه از جنس بتن مسلح و ضخامت آن ۶ متر و خیلی محکم بود. دیوارهای خود ساختمان هم به‌کلفتی ۶ متر از جنس بتن مسلح هستند. ساختمان استوانه‌شکل ما سازهٔ با استانداردهای مقاومت در برابر آسیب انفجار هسته‌ای است و به همین دلیل بسیار مستحکم ساخته شده است. دیوارهای زیرزمین هم از جنس بتن مسلح و به ضخامت ۹ متر هستند. باید در این دیوارها شکاف‌هایی ایجاد می‌کردیم. این کار به‌نظرمان مشکل می‌آمد. اما در عمل تخریب و ایجاد چند شکاف در سیلو و دیوارهای زیرزمین کمتر از ۱ ماه وقت گرفت. باید محفظهٔ فلزی شتاب‌دهنده را هم برمی‌داشتیم. ارتفاع آن حدود ۷٫۵ یا ۹ متر بود و دیواره‌های آن ۵ سانتی‌متر قطر داشتند. گمان می‌کردیم که قطعه‌قطعه کردن آن کار دشواری باشد، اما در عمل کار خیلی ساده‌ای از آب درآمد.

در طول ساخت‌وساز تاخیرهایی پیش آمد. فلزکاری طبقات به‌عهدهٔ کارفرمای دوم بود. نصب تیرها و نرده‌ها زمان زیادی گرفت؛ چون کارفرمای دوم کارش را به‌خوبی انجام نمی‌داد و باعث چندین ماه دیرکرد شد. به این دلیل تاخیر شد. کار ساخت‌وساز تقریبا ۴ ماه بیشتر از زمان پیش‌بینی‌شده طول کشید. ما حدود ۴ تا ۵ ماه پیش‌بینی کرده بودیم ولی کار شاید نزدیک به ۸ ماه طول کشید.

تصویر: محفظهٔ فلزی شتاب‌دهندهٔ ذرات Van de Graaf را حلقه‌حلقه برش دادند تا جابه‌جایی آن آسان‌تر شود. در این عکس پایهٔ شتاب‌دهنده روی زمین قرار دارد.

اتفاق غیر منتظره؟ نه! هزینه‌های ما از مقدار پیش‌بینی‌شده چندان بیشتر نشد. شاید کمی بیشتر خرج کردیم اما زیاد نشد. بزرگ‌ترین مسئله‌ای که با آن روبه‌رو شدیم این بود که می‌خواستیم از آب ساختمان کناری برای سیستم اطفای حریق استفاده کنیم؛ اما بعد از آزمایش فهمیدند که فشار آب کافی نیست. بنابراین برای تامین آب سیستم اطفای حریق باید لوله‌کشی را تا خیابان کناری ادامه می‌دادیم. این کمی ما را غافل‌گیر کرد چون کندن سطح خیابان نزدیک به ۱۰۰ هزار دلار برای‌مان خرج برداشت. ما این مشکل را در محوطهٔ دانشگاه داریم که فشار آب شهری کافی نیست. البته بستگی دارد به زمانی که آزمایش می‌کنیم؛ گاهی اوقات فشار خوب است و گاهی هم نیست. وقتی ما آزمایش کردیم فشار کافی نبود. پس باید کاری می‌کردیم.

در طراحی مشکلی نداشتیم. طراحی کاملا نتیجه‌بخش بود و مسئلهٔ غافل‌گیرکننده‌ای دراین‌باره برای‌مان پیش نیامد.

الگر: شکل ساختمان شما آشکارا منحصربه‌فرد است [مطالعهٔ بیشتر] و بر طراحی مرکزداده تاثیر گذاشته است. با این حال آیا می‌توان از این پروژه راهبردهای کلی در طراحی پیدا کرد که سایرین هم بتوانند از آن‌ها استفاده کنند؟ مثلا راهبردی که در ساختمان مرکزدادهٔ بعدی‌تان هم اجرا کنید؟

پاریزو: برخی از ایده‌های ما را دانشگاه در مرکزدادهٔ جدیدی که می‌سازد به کار برده است. مثلا در آنجا هم تفاوت فشار بین دالان هوای سرد و گرم اندازه‌گیری می‌شود. اما سالن در آن محیط‌ها به‌شکل مستطیل و دو طبقه است. در طبقهٔ اول رک‌های سرور جا گرفته‌اند و طبقهٔ دیگر مخصوص سیستم سرمایش است. از همان طراحی ما استفاده می‌کنند، فقط ساختمان‌شان سیلو شکل نیست.

نکتهٔ دیگر اینکه وقتی سیلو را طراحی می‌کردیم دچار مشکلی شدیم و آن چگونگی دسترسی به طبقات مختلف ساختمان بود. ابتدا خواستیم بالابر بسازیم، ولی مشکل این بود که نمی‌دانستیم آن را کجا بسازیم. نمی‌خواستیم داخل ساختمان باشد. به همین دلیل تلاش کردیم در بیرون از سیلو باشد. بعد با مشکلات دیگری روبه‌رو شدیم. این بالابر برای‌مان نیم میلیون دلار آب می‌خورد و ما این‌قدر پول نداشتیم. پس آن فکر را کنار گذاشتیم. آخر مجبور شدیم از پلکان استفاده کنیم. طرح پلکان داخل سیلو باید بهینه می‌بود. می‌خواستیم پلکان تا جای ممکن فضای کمتری را اشغال کند تا جای کافی برای سرورها داشته باشیم.

بهینه‌سازی طراحی پلکان حدود ۴ ماه طول کشید. چون مطابق قوانین ساختمان‌سازی باید دو خروجی اضطراری در هر طبقه تعبیه می‌شد. این شد که دو ردیف پلکان حلزونی ساختیم. این بخشی از طراحی بود و شاید هم طراحی ملال‌آوری داشت. اما به هر حال برای خودش چالشی بود!

الگر: رک‌ها و سخت‌افزارها را چطوری به طبقات بالای سیلو بردید؟

پاریزو: در سقف ساختمان یک جرثقیل متحرک هست که با خود ساختمان سیلو ساخته‌اند. جرثقیل بسیار پیشرفته‌ای است که قبلا برای بلندکردن محفظهٔ شتاب‌دهنده برای تعمیر و نگهداری از آن استفاده می‌شد. آن محفظهٔ فلزی که بلندش می‌کرد، چندین تن وزن داشت. این جرثقیل به سقف سیلو وصل است و ما هم از آن برای ساخت‌وسازها استفاده کردیم. اگر این جرثقیل در داخل سیلو نبود، هم برای تخریب بعضی قسمت‌ها و هم برای ساختن آنچه لازم بود، کار ساخت‌وساز بسیار سخت‌تر می‌شد.

تصویر: در طول تخریب و ساخت مرکزداده از جرثقیل سیلو که برای بلندکردن محفظهٔ شتاب‌دهندهٔ ذرات بوده استفاده شد. جرثقیل در این تصویر یک ستون سیمانی را جابه‌جا می‌کند.

جرثقیل در دو محور حرکت می‌کند: یکی در محور طولی و مستقیم و دیگری از یک طرف به طرف دیگر؛ یعنی قابلیت چرخش هم دارد. در هنگام ساخت می‌توانستیم آن را در هر وضعیتی به‌کار ببریم. این جرثقیل به بالا و پایین هم حرکت می‌کند و از سه جهت آزادی عمل دارد.

اگر کارکنان پروژه این جرثقیل را نداشتند، کار جابه‌جایی و تخریب ساختمان خیلی سخت می‌شد. برای مثال نیم‌طبقه را به‌وسیله آن یکپارچه جابه‌جاکردند. از دیوار جدایش کردند، ستون‌های تقویتی نیم‌طبقه را برداشتند و در نهایت با کمک این جرثقیل یک‌تکه جابه‌جایش کردند. تماشای کارکردن‌شان واقعا جالب بود.

یک شکاف هم در بدنه سیلو وجود دارد که از قبل بوده است. شتاب‌دهنده را از طریق همین شکاف به داخل سیلو آورده بودند و سپس جایش را با بلوک‌های سیمانی پر کرده و پوشانده بودند. ما بلوک‌های سیمانی را برداشتیم و پنجره بسیار بزرگی به‌جای آن کار گذاشتیم. ارتفاع این پنجره به اندازهٔ سه طبقه‌ای است که سرورها را در خود جا داده‌اند. وقتی سیستم ابررایانهٔ‌مان را تحویل گرفتیم، این پنجره هنوز نبود. آن را در آخر کار اضافه کردیم. وقتی هم که رک‌ها را تحویل گرفتیم، آن‌ها را از راه همین پنجره و به کمک جرثقیل در هر طبقه گذاشتیم. در واقع رک‌ها درون یک کامیون بودند و ما کل سکو را یکجا بالا بردیم. به هر حال هر وقت بخواهیم رک‌های بیشتری را اضافه کنیم از جرثقیل استفاده می‌کنیم که هنوز هم در سقف سیلو هست. برای این کار باید قسمت‌هایی از بخش مرکزی کف مشبک را برداریم. با برداشتن این قسمت‌ها می‌توانیم رک‌ها را با استفاده از جرثقیل به طبقه‌های دوم و سوم ببریم. جرثقیل قابلیت جابه‌جا کردن ۲۵ تن بار را دارد و ما می‌توانیم هر جور رک را با هرچه که درونش باشد جابه‌جا کنیم.

این کار ساده‌ای نیست ولی چیزی هم نیست که بخواهیم هر روز انجامش بدهیم. اگر بخواهیم ۱۰ رک دیگر اضافه کنیم، شاید حدود یک روز طول بکشد تا آن‌ها را یک‌به‌یک بلند کنیم و در جای خودشان بگذاریم؛ یعنی ۳۰ دقیقه تا ۱ ساعت برای هر کدام.

چه خوب بود که اگر طراحی را دوباره انجام می‌دادم، بالابر هم پیش‌بینی می‌کردم. ما سابقه‌اش را داشتیم؛ بودجهٔ کافی نبود. هزینهٔ ساخت‌و‌ساز محدود بود و ما نمی‌خواستیم خرج اضافه کنیم.

حتی اگر بودجه داشتیم مشکل دیگری هم بود. دانشگاه کمیته‌ای دارد که بر همهٔ پروژه‌های ساختمانی نظارت می‌کند. یک‌بار تلاش کردیم و به آن‌ها طرح ساخت ساختمانی را پیشنهاد دادیم که سازه‌ای مستطیلی در کنار سیلو بود و یک بالابر را در خود جا می‌داد و بیرون آن هم تعدادی پله داشت. اما کمیته آن را رد کرد. این سیلو در دانشگاه از بناهای دیدنی است، برای همین اجازه ندادند بیرون ساختمان را تغییر بدهیم. پس حتی اگر بودجهٔ کافی را هم داشتیم، آن‌ها اجازهٔ تغییر در ساختمان سیلو را نمی‌دادند. سپس بررسی کردیم که آیا می‌توان آن بالابر را درون سیلو تعبیه کرد یا نه. دیدیم حتی با بالابر هم هنوز به تعدادی پله نیاز داریم. کارگذاشتن بالابر فضای بیشتری هم لازم داشت. مسائل امنیتی و قوانین ساختمانی هم در این میان مطرح بود.

پانویس

[1] این مطلب ترجمهٔ بخش پنجم از کتاب «The Art of the Data Center» است. گفت‌وگوکننده داگلاس الگر (Douglas Alger)، مترجم پرواز خیّر، ویراستار پرهام غدیری‌پور، به‌کوشش دکتر بابک نیکفام، تهیه‌شده در باشگاه مراکزداده

[2] کلوسوس (Colossus) به‌معنای «مجسمهٔ بزرگ» است. مجسمهٔ‌ Colossus of Rhodes یا «غول رودس» نام مجسمه‌ای عظیم از «هلیوس» (Helios) الههٔ خورشید در یونان بوده که یکی از عجایب هفتگانه جهان به‌شمار می‌رفت. همچنین «کلوسوس» نام اولین کامپیوتر الکترونیکی و دیجیتال بود که دولت انگلستان در جنگ جهانی دوم برای رمزگشایی پیام‌های مخابره‌شده از آن استفاده می‌کرد. Calcul Quebec در وب‌سایتش ابرکامپیوتر خود را «کلوسوس» می‌نامد.

[3] واژه Calcul فرانسوی و معادل آن در انگلیسی Compute است. در فارسی «رایانش» را برای این مفهوم برگزیده‌اند.

[4] سیستم اطفای حریق «لولهٔ خشک» برای شرایط بسیار سرد به کار می‌رود که آب در لوله‌ها یخ می‌زند و سیستم را از کار می‌اندازد. بنابر قوانین NFPA (انجمن ملی حفاظت در برابر حریق)، این روش تنها در محیط‌هایی به کار می‌رود که دمای محیط بالای ۴٫۵ درجهٔ سانتی‌گراد باشد. لوله‌ها در این سیستم تا زمان آغاز عملیات اطفای حریق بدون آب هستند.

[5] کوته‌نوشت Computer Room Air Conditioning

[6] «طوفان فکری» (Brainstorming): روشی برای برانگیختن خلاقیت در گروه است که برای تولید تعداد زیادی ایده دربارهٔ مسئله‌ای مشخص به کار می‌رود.

[7] سرور تیغه‌ای (Blade Server): نوعی سرور ماژولار است که با حداقل استفاده از فضای فیزیکی بیشترین بهره‌وری انرژی را دارد. این نوع سرورها را شرکت‌های گوناگون از جمله HP ،IBM ،Cisco برای مصارفی همچون میزبانی وب و مجازی‌سازی و غیره تولید می‌کنند.