مرکزداده Terremark ـ[1]
آنچه میخوانید
مرکزدادهٔ پیشرو و عظیم شرکت Terremark در شهر میامی، بزرگترین مرکزدادهٔ تکساختمانی جهان است که خدمات اشتراک مکانی میدهد. دارای افزونگی زیرساخت با کلاس سه، ظرفیت برق نامحدود، فراوانی فضا و برق و سرمایش ولی با بهرهوری خوب، سرمایش هوامحور با دالانهای بسته و PoD، هوارسانی با کف و سقف کاذب، استفاده از Rotary UPS با زمان پشتیبانی ۲۰ ثانیهای بهجای UPS معمول، افزونگی اتصال ماهوارهای برای ارتباط به شبکه.
این مرکزداده را که میزبان NAP قاره آمریکا نیز هست، در واقع ساختهاند تا مرکز تبادل داده میان کابلهایی باشد که از اقیانوس اطلس به شرق آمریکا میرسند. آن را تدریجی کامل میکنند و هر مرحله را با توجه تجربهٔ مرحلهٔ پیشین و فناوری روز میسازند. مشتریان این مرکزدادهٔ اشتراک مکانی عظیم، انتخابهای زیادی دارند و میتوانند امکانات ویژهٔ خودشان را درخواست کنند.
مصاحبه با نایبرئیس ارشد مهندسیِ تاسیسات در شرکت Terremark.
آشنایی با مرکزدادهٔ Terremark
تصویر: دیشهای ماهوارهای گنبد مانندِ ژئودزیک، برای NAP ـ[2] مرکزدادهٔ Terremark اتصال پشتیبان فراهم میکند.
گل سرسبد مراکزداده Terremark در فلوریدا نمونهای است از افکار بزرگ. این تاسیساتِ عظیم اشتراک مکانی را با نام «NAP قارهٔ آمریکا» میشناسند. هنگامی که ساختن آن در سال ۲۰۰۰ پیشنهاد شد، کار Terremark توسعهٔ املاک و مستغلات بود و هیچ تجربهای در کار طراحی یا عملیات مرکزداده نداشت. در اوایل همان سال حباب داتکام ترکید. با این پیشآمد، شرکتهای اینترنتی و مراکز اشتراک مکانی اعتماد مشتریشان را از دست دادند و چهرهشان در هم رفت.
Terremark که امروزه حدود ۵۰ مرکزداده دارد، در چنین وضعیتی پا به عرصهٔ کسبوکار گذاشت و تاسیساتی را ساخت که از بزرگترین مراکزدادهٔ جهان شد. تاسیسات ششطبقهٔ NAP قارهٔ آمریکا با ۶۶٬۷۰۰ متر مربع مساحت و ظرفیت برقی که ۷۰ مگاوات برآورد شده است، مجموع مراکزدادهٔ برخی از شرکتهای بزرگ پیشرفتهٔ جهان را ناچیز جلوه میدهد.
این سازهای است عظیم با زیرساخت دارای افزونگی کلاس سه و رکهایی بهبلندی ۳ متر و ظرفیت برق تقریبا نامحدود. از زمان این مصاحبه، دو آژانس دولتی آمریکا با Terremark مذاکره کردهاند تا تجهیزاتی به این تاسیسات بیاورند که ظرفیت سرمایش و برق آنها ۱۰٫۸ کیلووات بر متر مربع است. با اینکه مقیاس عظیم این مرکزداده شگفتانگیز به نظر میرسد، برترین نقاط قوت آن در فراوانیِ مولفههای زیرساخت فیزیکی یعنی فضا و برق و سرمایش است. این ویژگی برای طراحی و عملیاتش چنان تغییرپذیریای فراهم میکند که معمولا مجموعههای کوچکتر ندارند.
در این مصاحبه آقای «بن استوارت» (Ben Stewart) نایبرئیس ارشد مهندسیِ تاسیسات در شرکت Terremark میگوید چگونه بر همه معلوم شد که تاسیساتِ بزرگتر برای NAP قاره آمریکا بهتر است.
مشخصات تاسیسات
- نام سازمان: Terremark
- مکان: ایالت فلوریدا، میامی
- شروعبهکار: ژوئن ۲۰۰۱
- ویژگیهای چشمگیر: از بزرگترین مراکزدادهٔ تکساختمانی دنیا، مقاوم در برابر طوفانهای درجهٔ ۵، سیستم ضد صاعقهٔ ساختمان با تخلیهٔ الکتریسیتهٔ ساکن
- مدت زمان طراحی و ساخت: ناتمام
- اندازه: ۶۶٬۷۰۰ متر مربع مساحت کل، ۵۵٬۷۰۰ متر مربع برای سالن سرور (در طراحی)
- برق: ۷۰ مگاوات (در طراحی)
- رتبهبندی: کلاس سه (Tier 3)
- تعداد رکها: بسته به پیکربندی هر مشتری متفاوت
- ظرفیت برق: بسته به پیکربندی هر مشتری متفاوت
- زیرساختها: توزیع برق و سرمایش از زیر کف کاذب، کابلکشیِ ساختیافتهٔ سقفی
- بار سازهای: حدود ۸۸۰ تا ۱٬۴۰۰ کیلوگرم بر متر مربع
- سیستم اطفای حریق: سیستم لوله خشک پیشعملگر
متن مصاحبه
الگر: چطور شد تصمیم گرفتید این مرکزداده را در میامی بسازید؟
استوارت: همهٔ کابلهای اقیانوسگذر از اقیانوس اطلس به نیویورک یا فلوریدا در کرانهٔ شرقی آمریکا میرسند. بیشتر سیستمهای کابلیِ فلوریدا به آمریکای مرکزی و جنوبی خدمات میدهند. البته Colombus 3 ـ[3] را هم داریم که از مدیترانه به ساحل جنوبی فلوریدا میآید.
سر همهٔ آن کابلها به جنوب فلوریدا میرسد. اپراتورهای شبکه باید جایی را پیدا میکردند که بتوانند کابلهای خود را به آنها متصل کنند و تبادل داده انجام بدهند. برای انجام این کار مجبور بودند اتصال شبکه به آشبرن و شیکاگو و دیگر مراکز مهم تبادل داده بخرند. به این ترتیب کنسرسیومی سرمایههای آنها را جمع کرد تا تاسیساتی در میامی بسازد که سر همهٔ آن کابلها به آنجا وارد شود و بتوانند در همین میامی تبادل داده کنند. شرکت Terremark که در آن زمان در زمینهٔ توسعهٔ املاک و مستغلات فعالیت میکرد، موفق شد قرارداد ساخت این مرکزداده را به دست آورد. سپس این شرکت در هنگام ساختن این مرکز تصمیم گرفت الگوی کسبوکار خودش را تغییر بدهد و در زمینهٔ طراحی و اپراتوری و تملکِ چنین تاسیساتی در سراسر جهان کار کند.
بنابراین دلیل پیدایش این مرکزداده این بود که سر کابلهای ارتباطیِ اقیانوسگذر که به جنوب فلوریدا میآمد، میبایست در جایی تمام میشد و از آنجا با اپراتورهای زمینیِ شبکه تبادل داده میکرد. ما الان در این ساختمان ۱۷۲ اپراتور شبکه داریم که با همدیگر تبادل داده میکنند.
الگر: پس در پروژهٔ این مرکزداده بود که Terremark تصمیم گرفت وارد کسبوکار عرضهٔ خدمات اشتراک مکانی بشود؟
استوارت: بله. در آن زمان مانوئل دی مدینا (Manuel D. Medina) مدیر عامل ما بود؛ درست در بازهٔ زمانی سالهای ۲۰۰۰ تا ۲۰۰۱؛ همان وقتی که اینترنت به اوج رسید و داغ شد و بعد هم حبابش ترکید. در همین حال مدینا با اطمینان پیشبینی میکرد که شرکتهای مخابراتی و مانند آنها به کسبوکار اشتراک مکانی تبدیل خواهند شد. او این آیندهنگری را داشت و میخواست به آن بپردازد و شک نیست که تردیدهای فراوانی هم داشت.
من خودم در سال ۲۰۰۳ به شرکت پیوستم. ولی میخواهم بگویم به انجام رساندن این کار در سالهای ۲۰۰۰ تا ۲۰۰۱ درست در هنگام ترکیدن حباب داتکام دشوار بوده است. برای اینکه آن ساختمان ۶۶٬۷۰۰ متر مربعی را بسازند و سر کابلهای اقیانوسگذر را به مرکزداده متصل کنند و اپراتورهای شبکه را بیاورند و سرانجام درهای مرکزداده را بگشایند، کوشش بسیاری لازم بوده است. آنهم درست همزمان با ترکیدن حباب داتکام و پیامدهای ناشی از آن. بیشک با گذشت این سالها اکنون برجستهبودن این کار ثابت شده است.
الگر: بدیهی است در چنین مرکزدادهٔ عظیمِ اشتراک مکانی، به مشتریان مختلف با نیازهای زیرساخت فیزیکی گوناگون خدمات میدهید. بیشترین ظرفیت برقی که در هر فضای معین به مشتری میدهید چقدر است؟
استوارت: مساحت بیشتر طبقاتِ اشتراک مکانی ما بین ۳٬۷۰۰ تا ۴٬۷۰۰ متر مربع است. در چنین فضایی میتوان تقریبا هر چیزی را جا داد.
ما ظرفیت برق مرکزداده را تعیین نمیکنیم؛ هزینه را بر اساس میزان مصرف دریافت میکنیم. بدیهی است هرچه برق بیشتری بخرید، نیاز سرمایش هم بیشتر میشود و در نتیجه هزینهای هم که برای آن میپردازید افزایش مییابد. بدین ترتیب کاملا به خودمان بستگی دارد که بفهمیم چطور این سرمایش را توزیع کنیم.
تصویر: توزیع سرمایش از زیر کف کاذب و انتخاب هوشمندانهٔ جای قراردادن کفپوشهای سوراخدار (تایل)، بیشترین تغییرپذیری را برای پشتیبانی از نیازهای مشتریان در اختیار Terremark قرار داده است.
بدیهی است هر طبقه را برای ظرفیت برق مشخصی طراحی کردهایم و ساختهایم. برای نمونه طبقهٔ دوم که اولین طبقهای است که ۱۰ سال پیش ساختهایم، طراحی و ساختش برای ظرفیت ۸٫۶ کیلووات بر متر مربع است. با این حال این طبقه تقریبا بیش از ۷٬۴۰۰ تا ۸٬۴۰۰ متر مربع فضای خالی دارد که در هرجای آن بهراحتی میتوان از سرمایش بهره گرفت. در شروع کار مشتریان زیادی داشتیم که اپراتور شبکه با ظرفیت ۳٫۲ تا ۳٫۷ کیلووات بر متر مربع بودند.
در طرف دیگرِ همین طبقه مشتری دیگری داریم که ۳٫۳ تا ۴٫۳ کیلووات بر متر مربع برق مصرف میکند. ما برای رساندن این مقدار برق مشکلی نداریم؛ چون فشار استاتیک زیر کف کار خودش را میکند. کافی است کفپوشهای بیشتری را بر داریم تا هوایی را که برای خنککردن سرورها لازم دارند فراهم شود.
با داشتن چنین طبقات وسیعی، میزان ظرفیت را به مشتریان تحمیل نمیکنیم. هدف ما در کسبوکار این است که کاری کنیم فضای این تاسیسات برای هر مشتری با هر وضعیت احتمالی مناسب باشد. چنین تغییرپذیری و انعطافی را در طبقات طراحی کردهایم و ساختهایم.
الگر: دشوارترین درخواستی که باید فراهم میکردید چه بوده است؟
استوارت: یک مشتری داریم که با تجهیزاتی از نوع مینفریم به اینجا آمده و مصرف برق زیادی دارد. او در محیط بسیار کوچک با ظرفیت بین ۳٫۲ تا ۴٫۳ کیلووات بر متر مربع کار میکند. همین شاید از مشکلترین سفارشهای ما در اینجا باشد.
الگر: دانستن اینکه باید برای برآوردن این اندازه از گوناگونیِ نیازهای مشتریان آماده باشید، بر طراحی این مرکزداده چه تاثیری گذاشته است؟ چطور از تغییرپذیر بودن زیرساخت مطمئن میشوید؟
استوارت: توزیع سرمایش سختتر از توزیع برق است. کف کاذب برای ما تغییرپذیریِ زیرساخت سرمایش را ممکن کرده است. کف کاذب این قابلیت را فراهم میکند که با جابهجاکردن کفپوشهای سوراخدار، توزیع سرمایش را تغییر بدهیم و آن را به هرجایی هدایت کنیم.
بسیار میخوانم که مخصوصا دربارهٔ مراکزدادهٔ سازمانی از حذف کف کاذب میگویند. اینکه سالن سرور را روی خود کف بتنی بسازند و از داکت برای هوای گرم و سرد استفاده کنند. فکر بسیار خوبی است؛ شاید هم شیوهٔ بهتری برای دستیابی به بهرهوری انرژی بیشتر باشد. با این حال اگر الگویی که اجرا میکنید اینطوری باشد که اول مرکزداده را بسازید و بعد مشتریان بیایند، فراهمکردن تغییرپذیری بسیار مهم خواهد بود. در این حالت شما پیشاپیش نمیدانید چه مشتریانی خواهند آمد و تجهیزاتشان چیست. بدین ترتیب چیدمانی که در زمان طراحی و ساخت پیشبینی میکنید، سرسری میشود و کارآمد نخواهد بود. برای چنین وضعیتی کف کاذب تغییرپذیری زیادی مهیا میکند.
الگر: طراحی و ساخت تاسیسات NAP قارهٔ آمریکا چقدر طول کشید؟
استوارت: در حقیقت همین حالا داریم بهتدریج کار طراحی را انجام میدهیم. در واقع هنگامی که ساختمان سایت تمام شد، فقط طبقهٔ دوم را تکمیل کرده بودیم. بنابراین مبنای طراحی و ساخت، فقط تامین برق و سرمایش برای طبقهٔ دوم بود. اکنون همین طور که تکمیل سایت را طبقهبهطبقه پیشمیبریم، مبنای طراحی را اصلاح میکنیم. به این دلیل که هنگام کار چیزهای جدیدی یاد میگیریم و برای دستیابی به بهرهوری انرژی بهتر، چیزهای جدیدی امتحان میکنیم. بدین ترتیب همین طور که کار را پیش میبریم، هر طبقه با طبقات قبل اندکی تفاوت پیدا میکند.
تصویر: محیط سرور پرنشده در تاسیسات «NAP قارهٔ آمریکا»
دربارهٔ مدت طراحی باید بگویم ساختوساز در اوت ۲۰۰۰ شروع شد و تاسیسات در ژوئن ۲۰۰۱ افتتاح شد؛ پس ساختن کل سازه کمتر از یک سال طول کشید. این ساختمان روی محوطهٔ پارکینگ بنا شده و ساختش هدفمند بوده است. مرحلهٔ طراحی تنها ۶ ماه طول کشید و همین طور که ساختوساز انجام میشد، طراحی هم پیش میرفت و طبقات تکمیل میشدند.
الگر: گفتید رویکرد طراحی و ساخت را همین طور که یاد میگیرید تغییر میدهید. چه چیزهایی در بخشهایی که تازگی ساختهاید هست که در شروع ساختوساز به کار نبردهاید؟
استوارت: کار ماقبل آخر ما این بود که سقف کاذب ساختیم. با این کار اکنون پلنوم هوای گرم هم داریم. حالا دیگر همان طور که با جابهجاکردن کفپوشهای سوراخدار هرجا بخواهیم دالان هوای سرد درست میکنیم، میتوانیم با جابهجاکردن پوششهای مشبکِ سقف کاذب هم هرجا که لازم شود دالان هوای گرم ایجاد کنیم. بدین ترتیب اکنون هوای گرم و سرد را بهروش بهتری از هم جدا میکنیم. واحدهای تهویهٔ CRAC را در خود پلنوم هوای گرم قرار میدهیم و بهجای اینکه بگذاریم هوای گرم خودش بالا برود و وارد کولرهای اطراف شود، آن را با واحدهای CRAC از دالان هوای گرم بالا میکشیم.
ماقبل آخر گفتم؛ چون بعد از آن بازهم اندکی بهترش کردیم. معلوم شد آن سقف کاذب برای سیستمهای مدیریت کابل مشکل ایجاد میکند. برای همین هم این سیستمها را از پیش میسازیم. داشتن این سقف کاذب بسیار چالشبرانگیز بود. باید نردبانهای کابل را زیر سقف کار میگذاشتیم تا مدیریت کابلکشی در جاهایی که مشتریان میخواستند ممکن شود. کارگذاشتن میلههای مهار که نردبانهای کابل را زیر سقف نگه میدارند، کار مشکلی بود. ما با استفاده از نوعی داکت به نام Unistrut آن را کمی اصلاح کردیم. داکتهای سبز رنگ Unistrut را بهشکل شبکهٔ بزرگ در زیر سقف همهٔ طبقات کار گذاشتیم. سیستمهای روشنایی و مدیریت کابل و اینجور چیزها از آن آویزان میشوند. همان ابتدا که فهمیدیم سقف کاذب با مدیریت کابل سازگار نیست، با کارشناسان شرکت آرمسترانگ [4] و گروه نصب Unistrut در شرکت خودمان گفتوگو کردیم. نتیجهاش همین شد که میبینید؛ حالا سقف کاذب و داکتهای Unistrut را یکپارچه میسازیم. بدین ترتیب با وجود سقف کاذب در این مرکزداده، دیگر با مدیریت کابل هیچگونه مشکلی نداریم. حالا میتوانیم از مزیت پلنوم هوای گرم استفاده کنیم؛ بدون اینکه مجبور باشیم از پیش برای مدیریت کابل محاسباتی انجام بدهیم تا با سقف کاذب مشکل نداشته باشد. اکنون همهٔ آنها باهم یکی هستند.
الگر: من از بیشتر طراحان مرکزداده که با آنها مصاحبه کردهام، پرسیدهام اگر قرار باشد به عقب برگردند و مرکزداده را دوباره طراحی کنند، چه چیزهایی را تغییر میدهند. به نظر میرسد نمیتوانم چنین سوالی را از شما بپرسم؛ چون طراحی بخشهای مختلف را بهتدریج انجام میدهید.
استوارت: این نکته بسیار خوبی است. دقیقا همین طور است؛ چون با ساختن هر طبقه چیزهای بیشتری یاد میگیریم.
یک مرکزدادهٔ ما در شهر کالپپر (Culpepper) در ایالت ویرجینیا است که همین الآن داریم در فضای ۱۲ هکتاری آن، ۴٬۶۰۰ متر مربع PoD میسازیم. راستش تازگی ۱۲ هکتار دیگر هم خریدهایم و به آن اضافه کردهایم؛ پس این ملک شد ۲۴ هکتار. طراحی اصلیِ ۱۲ هکتار اول شامل ساختن پنج PoD بهمساحت ۴٬۶۰۰ متر مربع بود. بدین ترتیب بخش A اولین آنها بود، بعد B و C را ساختیم و اکنون هم D را میسازیم. به سایرین میگویم وقتی که نوبت به ساختن E برسد، دیگر بهجایی رسیدهایم که میخواهیم بخش A را جمع کنیم.
تصویر: مشتریان مرکزدادهٔ Terremark از رکهایی بهبلندی ۳ متر استفاده میکنند.
الگر: حالا که دانش شما بیشتر از قبل شده است، آیا تجهیزات قدیمیتری هست که منتظر باشید جایشان خالی بشود تا بتوانید دوباره طراحی کنید؟
استوارت: آن اوایل کار که سعی میکردیم در دشواریِ ترکیدن حباب داتکام مشتری داشته باشیم و دوام بیاوریم، اجازه دادیم مشتریان در طبقهٔ دوم ساختمان تجهیزاتشان را هرجای سالن که میخواهند و به هر شیوه و به هر سمتی که میخواهند بگذارند. تعیینکردن موقعیت دالانهای هوای سرد یا گرم بر اساس جهت سرورهایی که مشتریان به این شکل چیده بودند، بهینه نمیشد. کار این سرورها برعکس بود چون هوای دالان گرم را به درون میکشیدند و هوای خروجی خود را در دالان هوای سرد تخلیه میکردند! [بازگشت هوای تهویهشده] مجبور شدیم برویم آن رکها را بچرخانیم؛ چون واقعا نمیتوانستیم چنین چیزی را تحمل کنیم.
میخواهم که تجهیزات اپراتورهای مختلف را کمی جابهجا کنم. ما ساختوساز طبقهٔ دوم را از ضلع غربی شروع کردیم و به طرف ضلع شرقی پیش بردیم. نتیجه این شد که تعدادی از مشتریان با تجهیزات ۳٫۸ کیلووات بر متر مربعی در یک طرف ساختمان جمع شدهاند؛ آنها که تجهیزات ۴٫۳ کیلووات بر متر مربعی دارند در طرف دیگر. من میخواهم چیدمان این طبقه را اصلاح کنم؛ ولی وقتی در محیطی درآمدزا محدود هستید، ناچارید آن کارهایی را بکنید که برای بقا ضروری است.
الگر: این منطقی به نظر میرسد. حتی آن شرکتهایی که خودشان مرکزدادهٔ درونسازمانی دارند، وقتی دستخوش رشد ناگهانی و بسیار زیاد میشوند، برای مدیریت نصب تجهیزات جدید باید نظم و ترتیب و آیندهنگری داشته باشند. این ضرورت نباید باعث شود آنلاینکردن سریع سختافزارها چنان اولویت پیدا کند که از همهٔ ملاحظات دیگر مهمتر بشود.
استوارت: کاملا درست است. در انجام این کار، گروه مهندسی و گروه عملیات نقش دارند که یکی میخواهد به قوانین پایبند باشد و دیگری میگوید نمیتواند به قوانین پایبند باشد. این نزاع همیشگی است. یکجور «یین و یانگ» [5] است. با این حال پاسخ درست را الگوی کسبوکار تعیین میکند. [دربارهٔ هماهنگکردن افراد پروژه]
الگر: با اینکه شما این ساختمان را تدریجی میسازید، ظرفیتهای آن از اکثر مراکزدادهٔ دیگر بیشتر است. هنگام طراحی و ساخت چنین مرکزدادهٔ عظیمی با چالشی هم روبهرو شدید؟
استوارت: راستش برعکس بود؛ بزرگی این کار انجامش را برای ما آسانتر کرد! ما میتوانیم چنین مقدار بسیار زیادی از برق و سرمایش را که داریم، در جاهای زیادی توزیع کنیم. این نوع تغییرپذیری کار را بسیار راحتتر کرده است. وقتی مشتری به این مرکزداده میآید و میخواهد ویژگیهای بینظیر ما را ببینند، کارهای منحصربهفردی را که میتوانیم انجام بدهیم به او نشان میدهیم. این در حالی است که در بسیاری از مراکزدادهٔ دیگر به مشتری اینطوری میگویند: «شما سه تا انتخاب دارید. کدامیکی بهدردتان میخورد؟»
ما اینهمه فضا و فشار زیر کف کاذب را داریم و چنین قابلیت توزیع برق را که هنوز از همهٔ آن استفاده نشده است. کافی است به ما بگویید چه میخواهند تا برایشان فراهم کنیم. برخوردار بودن از جای وسیع و برق و سرمایشِ فراوانی که میتوانید در هرجای مرکزداده توزیع کنید، همچنین بهطور کلی چنین تغییرپذیریای که در ساختار این تاسیسات هست، ویژگی بسیار مهم و موثری است. اگر به چند سالن ۲۰۰ متری محدود بودیم، کارمان خیلی سخت میشد.
الگر: شما در زیرساخت پشتیبان بهجای سیستم متداول UPS از سیستم Rotary UPS استفاده کردهاید که مبتنی بر حرکت مکانیکی چرخ دوار است. امروزه استفاده از این سیستمها در مراکزداده دارد بیشتر میشود. در سال ۲۰۰۱ که تاسیسات شما افتتاح شد، این فناوری انتخاب اول نبود. چهچیزی باعث شد Terremark از این UPSها استفاده کند؟
استوارت: میتوانم ساعتها دراینباره حرف بزنم. راستش خودتان در کتاب «مرکزدادهٔ سبزتر داشته باشید» دلایل آن را بهخوبی گفتهاید: کمتر جا میگیرد، لازم نیست بانک باتریها در ۲۵ درجهٔ سانتیگراد کنترل محیطی بشوند، لازم نیست بانک باتریها هر ۳ تا ۵ سال با ۱۰۰ هزار دلار بهازای هر سیستم عوض بشوند و از اینجور چیزها. همهٔ چیزهایی که آنجا گفتهاید در اینجا هم برای ما درست است.
همیشه از کسی که میگوید: «باید بهاندازهٔ ۱۰ تا ۲۰ دقیقه ظرفیت UPS داشته باشم» میپرسم به چه درد میخورد؟ چون هیچکس برق سیستمهای مکانیکیاش را با UPS تامین نمیکند. با ظرفیت برقی که ما امروزه در مرکزداده داریم، اگر سیستم سرمایش دچار مشکل بشود، دمای سالنها بهسرعت گرم میشود. از خاموششدن سرورها تا زمانی که بیش از حد گرم بشوند، گمان نمیکنم بیشتر از یک دقیقه وقت داشته باشیم. بدین ترتیب نتیجهٔ داشتن بیشتر از یک دقیقه ظرفیت UPS، هدر دادن سرمایه و هزینهٔ بیهوده برای خدمات تعمیر و نگهداری است؛ چون سالن سرور بیشتر از یک دقیقه قطع برق را تحمل نمیکند.
اکنون ما با بهرهگرفتن از Flywheel در بار کاریِ کامل، ۱۵ تا ۲۰ ثانیه برق پشتیبان داریم. البته الان هنوز به بار کاری کامل نمیرسیم و در نتیجه بیش از این مدت برق UPS داریم. ژنراتورها در اینجا در ۱٫۲ ثانیه به کار میافتند. در سایتهای دیگر که توپولوژی آنها کمی فرق دارد، ۱۰ ثانیهای شروعبهکار میکنند. آییننامهٔ ملی برق [6] ملزم میکند ژنراتورها در ۱۰ ثانیه شروعبهکار کنند. ۵۰ درصد هم که برای احتیاط در نظر بگیرید میشود ۱۵ ثانیه. چهکسی بیشتر از این لازم دارد؟
اگر سیستمهای شما مثل سایتهای کلاس سه و چهار افزونگی مناسب داشته باشند، از آن بیشتر لازم نخواهید داشت. در این حالت حتی میتوانید در برابر قطعی هم دوام بیاورید و همچنان عملیات مرکزداده را بیوقفه حفظ کنید.
الگر: روی بام این ساختمان دیشهای ماهواره هست که اگر مشکلی در کابلکشی فیبر نوری پیش بیاید، اتصال پشتیبان فراهم میکند. دربارهٔ آن بگویید.
استوارت: دیشهای روی بام شامل دو دیش C band به قطر ۱۶٫۵ متر و یک دیش کوچکتر Ku band با قطر ۱۱ متر است که خیلی به گنبد ژئودزیک شباهت دارد. جهت این دیشها رو به ماهوارههای تجاری است. در طرف دیگر مشتری است که نمیتوانم بگویم چهکسی است. مشتری هرجایی باشد یک VSAT ـ[7] کوچک در کنار ساختمان خود میگذارد که اگر به هر دلیلی ارتباط زمینیاش قطع بشود، مثلا سیستم فیبر از کار بیافتد یا ادارهٔ مرکزی آتش بگیرد یا چنین حوادثی، با استفاده از آن میتوان بهراحتی اتصال را به مودمهای ماهوارهای انتقال داد. روشن است در این حالت پهنای باند بهاندازهٔ اتصال فیبر نیست؛ اما با همین پهنای باندِ کمتر هم میتوان با آن ماهوارهٔ تجاری، دوباره اتصال را به ترمینال VSAT موجود در ساختمان برقرار کرد.
الگر: استفاده از چنین فناوریای در تاسیسات اشتراک مکانی چندان متداول نیست؛ درست است؟
استوارت: بله. ما این فناوری را در هیچ مرکزدادهٔ دیگری اجرا نکردهایم. آن مشتری که حرفش را زدم، منحصربهفرد و بسیار محتاط است. با اینکه ما در این تاسیسات در میامی هزاران مشتری داریم، فقط دو یا سه تا از آنها از این سرویس استفاده میکنند که همه بهنوعی به هم مرتبط هستند. این شیوه اصلا رایج نیست.
الگر: استفاده از این فناوری را از همان مراحل اولیهٔ ساخت در نظر داشتید؟
استوارت: نه؛ اصلا! ما از این تاسیسات چیزهای خیلی زیادی یاد گرفتهایم. برای نمونه وقتی اینجا را میساختیم، هرگز به ذهنمان نمیرسید دولت آمریکا هم مشتری ما بشود. گرچه الان که فکر میکنیم میبینیم «ستاد فرماندهی جنوبی ایالات متحده» [8] در فلوریدا مستقر است؛ بنابراین کاملا منطقی است که آنها هم خواستهاند اینجا باشند.
حوزهٔ عملیاتی «ستاد فرماندهی جنوبی ایالات متحده» منطقهٔ آمریکای مرکزی و جنوبی است و تمام کابلهای ارتباطی این مناطق به مرکز ما میآید. وقتی آنها میخواهند در این مناطق عملیات انجام بدهند، گاهی نیاز است خیلی سریع و با عجله تعدادی مدار زمینی وصل کنند. وقتی میخواهند با عجله اتصال برقرار کنند که به آن اتصال بیفاصله (Zero Mile) میگویند، این مرکز کار آنها را آسان میکند؛ چون همگیِ اپراتورهای شبکه همین جا در این ساختمان جمع هستند. ما برایشان ارتباط سربهسر نصب میکنیم و تا زمانی که مدار انتهایی در طرف دیگر برقرار است، اتصال آنها بهخوبی کار میکند. اکنون ما چند ساعته مدارها را برای فرماندهی وصل میکنیم؛ در حالی که پیشتر این کار ۶ تا ۹ ماه طول میکشید.
پیشتر هیچ تصوّری از دیشهای ماهوارهایِ روی بام نداشتیم. در واقع بام را برای کار دیگری برنامهریزی کرده بودیم. ما جای زیادی برای تاسیسات در اختیار نداریم؛ پس همهچیز باید میرفت روی بام. در نظر داشتیم از کل سطح بام برای ۷ هزار تن تبرید ظرفیت چیلر و چیدمان و توسعهٔ آن استفاده کنیم.
وقتی موضوع دیشهای ماهوارهای به میان آمد، ناچار شدیم بخش بسیار زیادی از بام را به آنها بدهیم. این کار در برنامهریزیمان نبود. با این حال با اینکه همهٔ پلتفرم چیلرها را روی بام ساخته بودیم، خوشبختانه توانستیم تمام وزن را به ستونها و سپس مستقیم به بستر سنگیِ زیر پی ساختمان منتقل کنیم. بدین ترتیب از پس آن کار بر آمدیم. این هم تغییرپذیری دیگری است که مشتریان در اینجا از ما خواستند و فراهم کردیم. حالا بیشتر از چیلرهای نوع عمودی استفاده میکنیم تا فضای روی سقف را که از دست دادیم جبران کنیم.
تصویر: مجراهای سیم با قطر ۱۰ سانتیمتر از کانال زیرزمینیِ بیرون از مرکزدادهٔ Terremark وارد این ساختمان میشوند. لولههای خرطومی از این مجراها عبور میکند که کابلهای فیبر نوری و سیمها از آن بیرون میآیند.
الگر: بسیاری از چیزهایی که در این ساختمان ساختهاید برای رفع نیازهای مشتریِ خاصی بوده است. با این حال آیا به نظر شما مولفههای طراحی این مرکزداده جهانی هستند و میتوان آنها را در هر مرکزدادهای اجرا کرد؟ یا راهکارهای ویژه هستند که فقط برای وضعیت ویژه مناسباند؟
استوارت: راهکار اختصاصی هستند؛ اما هرکس در هرجایی که بخواهد میتواند استفاده کند. همین حالا هم استفاده میشوند. اگر دیگران هم طبقاتی با این اندازه داشتند، از این راهکارها استفاده میکردند. همان طور که گفتم تغییرپذیریِ بسیار خوبی فراهم میکند.
برای بیان نمونه از راهکار اختصاصی، باید بگویم مشتریانی داریم که از سوئیتهای اختصاصی ۲۰۰ متری استفاده میکنند. این سوئیتها در اصل برای اتاقهای باتری طراحی شده بودند؛ ولی ما از Rotary UPS استفاده کردیم. سپس آنها را تبدیل به سوئیتهای خصوصی کردیم و برای فروش گذاشتیم.
گاهی این سوئیتها چنان گرم میشوند که اگر بخواهیم برای سرمایش آنها از کولر استفاده کنیم، دیگر نمیتوانیم هیچ رکی آنجا بگذاریم؛ چون مصرف برق این کولرها بسیار زیاد است. ما در آنها از دالان بستهٔ هوای سرد و فناوری سرمایش ردیفی In-Row ـ[9] استفاده کردیم. این یکی از آن راهکارهای اختصاصی است که نشان میدهد چگونه تجهیزات پرظرفیتی را که برای سرمایش آنها نمیشود از هواسازهای کافی استفاده کرد، در محیطی کوچک جا دادیم.
الگر: با اینهمه تغییر و توسعهای که در طول ساخت این ساختمان انجام دادهاید، با اینکه فقط روی یک ساختمان کار میکنید، اینطور به نظر میرسد که چندین مرکزداده ساختهاید.
استوارت: بله؛ کاملا درست است.
الگر: شما برای طراحی مرکزداده، اصول یا نگرش خاصی دارید؟ برای کسانی که میخواهند پروژهٔ مرکزداده شروع کنند، توصیهای کلی دارید؟
استوارت: هم بله و هم نه. تاسیساتی که ما میسازیم مرکزدادهٔ اشتراک مکانی است و با مرکزدادهٔ سازمانی کمی فرق دارد. این چیزهایی که میگویم برای ساختن تاسیسات اشتراک مکانی درست است؛ شاید برای سازندگان تاسیسات شرکتی مناسب نباشد. من تمام خبرنامههایی را که در صنعت مرکزداده منتشر میشود دریافت میکنم. واقعا از آنچه دربارهٔ پروژهٔ مرکزدادهٔ پراینویل فیسبوک میخوانم لذت میبرم. آن سرورها با آن رادیاتورهای (Heat Syncs) بزرگی که دارند، همگی مال خودشان است. این واقعا جالب است. ولی ما که مرکز اشتراک مکانی هستیم، به مشتریانمان اینطوری میگوییم: «ما دوست داریم شما به اینجا بیایید. فضا را به شما میفروشیم ولی سرورهایتان را باید خودتان بسازید.» ما باید پاسخگوی نیاز همه باشیم.
اگر درخواست مشتریان ما این طوری بود که «حدود ۳٫۰۰۰ متر مربع فضا لازم دارم. میخواهم این فضا را برایم محصور کنید و کمک کنید برای این محیط به راهکاری با بهرهوری انرژی بسیار خوب برسم»؛ این برای ما خیلی راحت بود. در چنین وضعیتی دیگر هیچکدام از آن ملاحظات ضروری را برای تغییرپذیری نداشتیم و در آن محیط هر کاری که میخواستیم میتوانستیم بکنیم. اگر آنطوری بود، چون از پیش میدانستیم چه سختافزارهایی در تاسیسات قرار میگیرند، همهٔ عوامل متغیری را که باید در فضای اطراف آن تجهیزات در نظر بگیریم، به عوامل ثابت تبدل میشدند و میتوانستیم بر اساس آنها طراحی انجام بدهیم.
خوشم میآید که میگویند: «مرکزداده زیاد دیدهام؛ همه مثل هم هستند.» من با این حرف مخالفم. مراکزداده مثل اثر انگشت هستند و خیلی با هم فرق دارند. میتوان آنها را دستهبندی کرد؛ ولی حتی تاسیساتی که در یک دسته جا میگیرند، گوناگون و بسیار متفاوتاند. در محیط اشتراک مکانی این مسئله بسیار ساده است؛ بدین معنی که کار ما فروش فضا است. میخواهیم فضا را هرچه کمتر اشغال کنیم و در همان حال تا حد امکان تغییرپذیر نگه داریم. با اینکه در کنار هم بودنِ این دو مسئله ناسازگار به نظر میرسد، وقتی فضای خالی برای ساخت و توسعه داریم، رسیدن به این خواسته هدف ما است. رویکرد استفادهٔ هرچه کمتر از فضا برای کارکنان تاسیسات با بیشترین تغییرپذیری در همان فضا، در مرکزدادهٔ سازمانی بههیچوجه نتیجه نمیدهد و بیهوده است.
«مراکزداده مثل اثر انگشت هستند و خیلی با هم فرق دارند. میتوان آنها را دستهبندی کرد؛ ولی حتی تاسیساتی که در یک دسته جا میگیرند، گوناگون و بسیار متفاوتاند.»
الگر: ظرفیت مرکزداده تا چند دهه پیش بر اساس فضای فیزیکی تعریف میشد. در حدود ده سال پیش سختافزارهای پرظرفیت آمدند و باعث شدند ظرفیت مرکزداده در اغلب شرکتها بر اساس سرمایش و برق تعیین شود. با این حال جالب است که شما میگویید ظرفیت در کسبوکارتان همچنان برپایهٔ فضای فیزیکی است.
استوارت: درست است. خوب! معمولا قبل از اینکه فضا تمام بشود، برق و سرمایش تمام میشود [دربارهٔ متناسببودن زیرساخت با فضا]. با این حال ما دربارهٔ چگونگی تقسیم فضا برای مشتریانمان خیلیخیلی محتاط و دقیق هستیم.
حتما دربارهٔ فضای ابر ما چیزهایی خواندهاید. سیستمهای ما تا حد زیادی مجازیسازی شدهاند که ظرفیت برق را افزایش میدهد؛ چون میتوانید همان تعداد سرور را در فضایی کوچکتر جا بدهید. با این روش صرفهجویی انرژیِ چندانی به دست نمیآید. هرچند بعضیها هم میگویند همهٔ سرورها را یک گوشه تلنبار کردهاند و در مصرف برق ۱۵ درصد صرفهجویی داشتهاند. این کار راهکار سرمایشی را پیچیدهتر میکند؛ ولی کار خوبی است. فضای بیشتری آزاد میکند که میتوان با استفاده از آن برق و سرمایش بیشتری فراهم کرد. بدین ترتیب جذب مشتریِ بیشتر ممکن میشود. این روندی است پویا.
الگر: نمیدانم گویا بیشتر مردم این طور خیال میکنند که لزوما مجازیسازی را مراکز اشتراک مکانی عرضه میکنند. مجازیسازی در مرکزدادهٔ شما چه نقشی دارد؟
استوارت: در این مرکزداده مجازیسازی برای تجهیزات فاوای خود شرکت Terremark اجرا شده است. مردم همیشه از ما که چنین مراکزدادهٔ عظیم و پر از سرور داریم میپرسند: «در مرکزتان چند سرور دارید؟» من هم میگویم چه میدانم! این سرورها که مال ما نیستند. همینطور وقتی بهرهوری مصرف برق خود را اندازهگیری میکنیم میپرسند: «برای افزایش بهرهوری در قسمت فاوا چهکار میکنید؟» میگویم هیچکاری! چون بخش فاوا که مال ما نیست؛ مال مشتریان است.
چنین وضعیتی مشتریان را وادار میکند برای سرورهایشان از منبع تغذیهٔ بهینهتری استفاده کنند تا پول برقی که به ما میدهند کمتر بشود. این کار هزینهٔ عملیاتیشان را کاهش میدهد. همچنین با این کار برق بیشتری برای ما میماند که میتوانیم به کس دیگری بفروشیم. در عین حال ما زیرساخت فاوای خودمان را هم داریم که شامل خدمات اختصاصی مبتنی بر ابر و نیز رایانش ابر خودمان میشود.
آن چیزی که به دست آوردهایم محیط رایانش ابر است. این محیط مجازیسازی شده؛ به همین دلیل فضای بسیار کمی اشغال کرده است. چنین کاری در واقع به ما امکان میدهد ادارهٔ فاوای خودمان و مرکزدادهٔ شرکتیِ خودمان و سرورهایی خودمان را داشته باشیم. برای مشتریان تنها چیزی که اهمیت دارد این است که بتوانند به آن بخش از مرکزداده که متعلق به خودشان است وارد شوند و ظرفیت رایانشی و فضای ذخیره و ظرفیت شبکه را کموزیاد کنند، یا هر کاری که میخواهند انجام بدهند. تا زمانی که این امکان را داشته باشند و تجهیزاتشان تماموقت کار بکند، کاری ندارند که دالان هوای سرد را در چه دمایی نگه میداریم یا فضا را چطوری مدیریت میکنیم. حالا که در مرکزداده بخشی داریم که مال خودمان است، آزادیم که وارد آن بشویم و کارهایی را بکنیم همانند آنچه فیسبوک در پراینویل میکند. در واقع اکنون ما هم اگر بخواهیم میتوانیم مثل فیسبوک برای پشتیبانی از محیط ابر، سرورهای خودمان را بسازیم. اکنون این فضای کوچک را در چنین طبقهٔ وسیعی داریم که مرکزدادهٔ مبتنی بر ابرمان است و امکان میدهد ادارهٔ فاوای خودِ Terremark را داشته باشیم. راستش این برای ما خیلی هیجانانگیز است. با این حال درصد بسیار کمی از مساحت اصلی سالن سرور را در بر میگیرد.
الگر: در این مرکزداده بسته به احتیاج و طراحی از فناوریهای گوناگونی استفاده کردهاید.
استوارت: بله. مثل زمین بازی است!
تصویر: یکی از سالن سرورهای محصور در تاسیسات NAP قارهٔ آمریکا
الگر: فناوری دیگری هم هست که بخواهید اینجا اجرا کنید ولی هنوز موقعیت آن پیش نیامده باشد؟
استورات: من همیشه دربارهٔ تاسیساتی همچون مرکزدادهٔ یاهو در لاکپورت یا مرکزدادهٔ فیسبوک در پراینویل میخوانم که از سرمایش تبخیری استفاده میکنند. اکنون روزبهروز بر تعداد تاسیساتی که از این فناوری استفاده میکنند افزوده میشود. اینها در واقع مراکزدادهٔ بدون چیلر هستند. موقعیت جغرافیایی مرکزدادهٔ میامی امکان چنین کاری را نمیدهد. ما از سرمایش طبیعی آبمحور و هوامحور نیز استفاده میکنیم. روشن است که در اینجا در میامی سرمایش طبیعی نداریم؛ اما میتوانیم در بعضی از سایتهای دیگرمان که در آنها استفاده از این روش معقول است از سرمایش طبیعی بهره بگیریم.
با تمام اینها هنوز نتوانستهایم به جمع استفاده کنندگان از سرمایش تبخیری بپیوندیم. ما همیشه میخواهیم این شیوه را اجرا کنیم؛ چون پیدا است که صرفهجویی زیادی در مصرف برق و در هزینهٔ عملیاتی به همراه دارد. این در حالی است که اکنون بههیچوجه آب تبخیر نمیکنیم؛ همهچیز با هوا خنک میشود. ما این را ریسک میدانیم. اکنون تمام توجه به مراکزداده و مقدار مصرف برق آنها است؛ ولی کمکم چیزهایی نیز دربارهٔ میزان مصرف آب مراکزدادهٔ مختلف میشنویم و اینکه منابع اصلی آب آنها و منبع پشتیبانشان کجاست. جالب است وقتی که مشتری پیش ما میآید و دربارهٔ تاسیسات میپرسد، به بحث آب که میرسیم میگوید: «منبع آب پشتیبان شما چطوری است؟» ما آب مصرف نمیکنیم؛ چون اصلا نیازی به آب نداریم. آب تبخیر نمیکنیم و هیچگونه سرمایش تبخیری هم نداریم.
بدین ترتیب ما الان هیچکجا چنین سرمایشی نداریم. من همیشه دربارهٔ مزایای آن و تاسیسات بدون چیلر مطالبی میخوانم. خیلی هیجانانگیز است! ما دوست داریم بیشتر آن را بررسی کنیم؛ ولی اکنون در هیچ منطقهای تاسیسات نداریم که هوای آن برای استفاده از چنین سیستمی بهاندازه کافی خشک باشد.
الگر: در پایان برای آنهایی که میخواهند ساختن مرکزداده را آغاز کنند چه توصیهای دارید؟ آیا از درسهایی که هنگام حل مشکل مشتریانِ گوناگون آموختهاید، چیزی هست که بخواهید توصیه کنید؟
استوارت: بیشتر مشتریانی که برای حل مشکلاتشان به ما مراجعه میکنند، معمولا کسانی هستند که خودشان از تلاش برای حل آنها خسته شدهاند. من با شرکتهای دیگر و افرادی از گروههای حرفهای و تخصصی هم سروکار دارم؛ یعنی کسانی که هنوز مراکزدادهٔ خود را دارند و سعی میکنند خودشان مشکلات را حل کنند.
مرکزداده اجزا و بخشهای زیادی دارد. به نظر خیلیها این تاسیسات بسیار ساده میآید و پیچیدگی چندانی ندارند. حتی اگر مرکزداده را به دو بخش برق و مکانیک تقسیم کنید، بازهم اجزا و عوامل بسیاری در هریک وجود دارد و گزینههای بسیاری هست. اینطور نیست که الگویی مشخص برای همگی بهخوبی مناسب باشد. مزایا و معایبی وجود دارد که باید در کنار یکدیگر آنها را سنجید.
توصیهام این است که برای کار چنین پروژهای بهتر است حتما با کسی همکاری کنند که تجربهٔ این کار را داشته باشد. یا اینکه خودشان زمان کافی صرف کنند و آن آگاهی و تجربهای را که لازم هست، با مطالعه و بررسی به دست بیاورند تا بتوانند تصمیمات لازم را درست بگیرند. من مراکزدادهٔ بسیاری دیدهام که ویژهٔ شرکت مشخصی طراحی شده بودند؛ اما در طراحی آنها هیچیک از عوامل مهمی را که در الگوی کسبوکارِ مالک موثر بوده است، یا آن اهدافی را که مالک تلاش داشته به آنها برسد در نظر نگرفته بودند. اینطوری نتیجهای که به دست میآید آنها را بسیار ناامید میکند؛ چون کارشان را راه نمیاندازد. دلیلش این است که هیچکس چنین چیزهای مهمی را اصلا در نظر نگرفته است.
حتی بعضی از شرکتهای بزرگ و مهم اینطوری کار میکنند که فقط میروند سراغ یک شرکت بزرگ معماری و مهندسی و میگویند: «ما مرکزدادهٔ ۱۰ هزار متری میخواهیم.» شرکت معماری و مهندسی میگوید: «بسیار خوب، با آن میخواهید چه کار بکنید؟» شرکت مشتری میگوید: «نمیدانیم! فقط لازمش داریم.» به این ترتیب آن سازنده مرکزدادهٔ کلاس سه یا چنان چیزی میسازد. مدتی که میگذرد شرکت مشتری میرود سراغشان و میگوید: «این مرکزداده اصلا کار ما را راه نمیاندازد، درست ساخته نشده است، تامین برقش درست نیست، تغییرپذیری کافی ندارد.» چطور همهٔ این مسائل پس از پایان ساخت پیش میآید؟ برای اینکه در مرحلهٔ قرارداد، خریدارِ مرکزداده و سازندهٔ آن به درک و توافق درستی نرسیدهاند.
در مرکزداده عوامل مهمِ بسیاری تاثیر دارند و خیلی چیزها را باید در نظر گرفت. خیلی برایم جالب است وقتی کسی میآید و میگوید: «مرکزداده، مرکزداده است دیگر! البته تفاوتهایی هم وجود دارد؛ اما بالاخره همه مثل هم هستند.» من در جواب فقط لبخند میزنم و میگویم: «واقعا امیدوارم شما هیچ مرکزدادهای نسازید!»
پانویس
[1] این مطلب ترجمهٔ بخش هفدهم از کتاب «The Art of the Data Center» است. گفتوگوکننده داگلاس الگر (Douglas Alger)، مترجم پرواز خیّر، ویراستار پرهام غدیریپور، بهکوشش دکتر بابک نیکفام، تهیهشده در باشگاه مراکزداده.
[2] Network Access Point: نقطهٔ اتصال شبکه
[3] کابل مخابراتی ۹٬۹۰۰ کیلومتری که از عرض اقیانوس اطلس میگذرد.
[4] شرکت بینالمللی Armstrong: این شرکت در زمینهٔ طراحی و تولید قطعات سقف و کف کار میکند.
[5] یین و یانگ: در نگرش چینیان باستان مفهومی است دربارهٔ نظام جهان و شکل سادهشدهای است از مفهوم یگانگیِ اضداد.
[6] NEC یا National Electrical Code: استاندارد سیمکشی و نصب سیستمهای الکتریکی در آمریکا
[7] Very Small Aperture Terminal: پایانهٔ کوچکدهانه
[8] United States Southern Command
[9] در سرمایش In-row واحدهای سرمایشی را در نزدیکترین مکان به بار گرمایی قرار میدهند؛ یعنی یا به سقف در بالای رکها، یا بین هر دو رک نصب میکنند.
درج دیدگاه