معرفی مرکزدادهٔ سیسکو در شهر آلن ایالت تگزاس [1]

 آنچه می‌خوانید

مرکزدادهٔ سیسکو در شهر آلن ایالت تگزاس که خدمات رایانش ابر را انجام می‌دهد، از مراکز دادهٔ پیشرو است که گواهینامه LEED زرین دارد. شرکت سیسکو برای داشتن پایایی (Availability) مطلوب، دو مرکزدادهٔ همانند به‌فاصلهٔ ۲۴ کیلومتری هم ساخته است که با فناوری درحال‌کار ـ درحال‌کار به‌شکل هم‌زمان به‌روز می‌شوند. بهره‌وری این تاسیسات چشمگیر است. از Rotary UPS به‌جای باتری معمول UPS بهره می‌برد. از پنل‌های خورشیدی استفاده می‌کند. همچنین برای سرمایش از سیستم رک بستهٔ هواکش‌دار بهره می‌برد و سرمایش طبیعی دارد. این تاسیسات از مراکزدادهٔ سبز نیز هست؛ آب باران در آبگیر جمع می‌شود، سپس با سیستم غیرشیمیایی تصفیه می‌گردد. 

آشنایی با مرکزدادهٔ سیسکو در آلن تگزاس

تصویر: مرکز‌داده سیسکو در شهر آلن در ایالت تگزاس به ساختمان دیگر این مرکزداده متصل است که ۲۴ کیلومتر با آن فاصله دارد. اگر یکی از آن‌ها از کار بیفتد، بلافاصله دیگری عملیات را ادامه می‌دهد. به این حالت Failover می‌گویند.

چه خوب است که یک مرکزداده، یا بهتر است بگوییم دو مرکزداده، آماده و دارای بهره‌وری انرژی چشمگیر داشته باشید که منابع «رایانش ابر» شرکت شما را در خود جای بدهد.

وقتی سیسکو در سال ۱۳۹۰ ش. مرکز‌دادهٔ خود را در شهر آلن تگزاس افتتاح کرد، این مجموعه ویژگی‌های فضای سرور مدرن را داشت: سیستم سرمایش رک بستهٔ هواکش‌دار که هوای گرم خروجی را از هوای سرد ورودی جدا می‌کند [مطالعهٔ بیشتر]. سیستم‌ سرمایش طبیعی هوامحور که برای افزایش بهره‌وری سیستم‌های سرمایش بیش از ۵۰ درصد اوقات از هوای بیرون برای سرمایش استفاده می‌کند. همچنین در هنگام قطع یا نوسانات برق، برای فراهم‌کردن نیرو تا به‌کارافتادن ژنراتور یا وصل‌شدن مجدد برق، از باتری Rotary UPS به‌جای باتری‌های رایج بهره می‌برد. ویژگی‌های دیگر این مرکزداده شامل مجموعه پانل‌های خورشیدی ۱۰۰ کیلوواتی و لامپ‌های روشنایی LED و آبگیر که آب باران را برای آبیاری محوطهٔ همیشه سبز آن جمع‌آوری می‌کند، همگی باعث شده‌اند این مرکزداده گواهینامه LEED با درجه زرین دریافت کند.

شاید جالب‌ترین نکته درباره این مرکزداده نه طراحی زیر‌ساخت فیزیکی آن، بلکه چگونگی اتصال دو مرکزداده در فاصله ۲۴ کیلومتری از همدیگر است. هر دوی این تاسیسات کلاس سه دارند و به‌روش «درحال‌کار ـ درحال‌کار» [2] به هم متصل شده‌اند. این دو درست مانند هم هستند؛ به‌طوری که اگر یکی از آن‌ها از کار بیفتد، مرکزدادهٔ دوم بی‌درنگ وظیفهٔ مرکزدادهٔ اول را به عهده می‌گیرد تا از وقفه در کار جلوگیری شود. داده‌ها در ساختمان دوم هم‌زمان با ساختمان اول به‌روز می‌شوند. سیسکو این رویکرد را «مرکز‌دادهٔ مجازی شهری» [3] می‌نامد و اکنون بیشتر منابع مرکز‌دادهٔ خود را در قالب مجموعهٔ کوچک‌تری ادغام می‌کند که در نهایت در کل جهان فقط شامل سه‌جفت مرکزدادهٔ مجازی شهری خواهد بود.

«جان منویل» (John Manville) معاون ارشد رئیس خدمات جهانی زیرساخت در شرکت سیسکو است. او دربارهٔ مدل «مرکزدادهٔ مجازی شهری» و دربارهٔ چگونگی طراحی این مرکزداده برای استفاده از فناوری این شرکتِ شبکه‌ساز توضیح می‌دهد.

مشخصات تاسیسات:

• نام سازمان: سیسکو
• مکان: آمریکا، ایالت تگزاس، شهر آلن
• شروع‌به‌کار: فروردین ۱۳۹۰ (آوریل 2011)
• ویژگی‌های چشمگیر: اتصال به مرکز‌دادهٔ دوم در همان منطقهٔ شهری، سیستم سرمایش رک بستهٔ هواکش‌دار [4]، سیستم تهویه با هوای طبیعی، سیستم UPS مبتنی بر حرکت مکانیکی چرخ دوار (Rotary UPS)، پانل‌های خورشیدی روی بام، روشنایی با لامپ LED، آبگیر برای جمع‌آوری آب باران برای آبیاری گیاهان، ساختمان مقاوم در برابر توفان تا سرعت ۲۸۱٫۶ کیلومتر بر ساعت، دارای گواهی‌نامهٔ LEED با درجه «زرین»
• مدت زمان طراحی و ساخت: ۲۲ ماه
• مساحت: مساحت کل ۱۵٬۰۵۰٫۳ متر مربع، مساحت سالن ۲٬۵۷۳٫۴ متر مربع
• برق: ظرفیت مصرف فاوا ۵٫۲۵ مگاوات، ۱۰ مگاوات ظرفیت با دو منبع تامین برق به‌شکل افزونه
• رتبه‌بندی: کلاس سه
• تعداد رک‌ها:  ۷۵۴
• ظرفیت برق: حداکثر ۲۰ کیلووات، به‌طور متوسط ۶٫۵ کیلووات در هر رک
• زیرساخت‌ها: کابل‌کشی ساخت‌یافته، تعبیهٔ مسیر عبور کابل‌های برق، سیستم سرمایش هوا در سقف
• بار سازه‌ای: ۱٬۲۲۰ کیلوگرم بر متر مربع
• سیستم اطفای حریق: سیستم آب‌فشانی پیش‌عملگر توسط لولهٔ خشک [5] با دستگاه تشخیص سریع دود  VESDA ـ[6]

متن مصاحبه

الگر: راهبرد کلی مرکز‌دادهٔ سیسکو و اهداف شرکت برای سبد دارایی (Portfolio) مرکز‌داده‌اش چیست؟

منویل: دو چیز است. یکی اینکه باید نیازهای کسب‌وکار مراکزداده را برآورده کنیم. دوم اینکه فناوری‌های مرکزداده‌ای سیسکو را عرضه کنیم و درباره اینکه سیسکو اکنون به چه‌کسانی خدمات می‌دهد، آگاهی و ذهنیت بیشتری بدهیم تا بتوانیم مشتریان بالقوه را جذب کنیم.

الگر: این نیازهای کسب‌و‌کار که گفتید چه هستند؟

منویل: آنچه می‌خواهیم به آن‌ها بپردازیم در سه زمینهٔ اصلی است که پیامدهای ناشی از بعضی نیازهای کسب‌و‌کار در مرکزداده هستند.

یکی به‌وجود آوردن ظرفیت مناسب در مکان‌های مناسب (در ایالات متحده و در سایر نقاط جهان) و استفادهٔ مناسب و درست از این ظرفیت است. به‌همین منظور باید کاربردها و استفاده‌ها را بهینه کنیم و احتمالا مرکزداده‌های دیگری نیز بسازیم یا با دیگران شریک بشویم، تا به ما ظرفیت مرکزداده‌ای بیشتر و احتمالا در آینده و به‌طور روز افزون منابع مرکزداده بدهد.

دوم اینکه ما باید به‌طور کلی اطمینان‌پذیری محیط فاوای سیسکو را افزایش بدهیم که اگر در منطقه‌ای فاجعهٔ طبیعی رخ داد، حادثه نتواند به کسب‌و‌کار سیسکو آسیب سخت وارد آورد.

سوم نیاز به تغییر دادن کیفیت ارائهٔ خدمات زیرساخت فناوری سیسکو است. این اساسا یعنی به سازمان مبتنی بر خدمات تبدیل شویم و تا حد زیادی از اتوماسیون‌ استفاده کنیم، درباره هزینه‌ها درک خوبی پیدا کنیم و آن‌ها را کاهش بدهیم و از جنبه‏‌های مختلف، شیوه‌های ارائه خدمات‌مان را بسنجیم.

الگر: در چهارچوب راهبردهایی که گفتید، این مرکز‌دادهٔ شما در آلن تگزاس چه‌کاری برای شرکت سیسکو  می‌کند؟

منویل: در سطوح بالای عملیاتی، این مرکز همراه با مرکز‌دادهٔ دیگرمان در شهر ریچاردسون ایالت تگزاس، در خدمات ما اطمینان‌پذیری را افزایش می‌دهد؛ چون در روش «درحال‌کار ـ درحال‌کار» می‌توانیم عملیات برنامه‌های ضروری‌مان را بهتر و با حجم بیشتری انجام دهیم. بنابراین قطعا پایایی (Availability) و اطمینان‌پذیری (Reliability) را با این روش بهتر می‌کنیم؛ هم برای خدمات درون‌سازمانی و هم برای خدماتی که به مشتریان خارجی می‌دهیم. برای مثال وب‌سایت Cisco.com خدمات گوناگونی از آن مراکز‌داده دریافت می‌کند.

پس ما با ارتقای این برنامه‌های کاربردی و فرایند‌های تجاری، سطح کلاس مرکز‌داده را به کلاس بالاتری افزایش دادیم. حتی فقط همین یک کار هم پایایی برنامه‌ها را افزایش می‌دهد.

ما از بسیاری از فناوری‏‌های سیسکو استفاده می‌کنیم. برخی از این فناوری‌‏ها دارای نوآوری‏‌های جدید و ویژگی‏‌هایی هستند که بخشی از ظرفیت و اطمینان‏‌پذیری و در واقع بخشی‌ از شیوه‌های ارائهٔ خدمات ما را ممکن می‌سازند. بعضی از دستاوردهای سیسکو صرفا در شیوهٔ ارائهٔ خدمات است که ما آن‌ها را در فناوری ابر خود به‌کار می‌گیریم. بنابراین به‌نظرم هر سه زمینهٔ اصلی را که سعی داشتیم در راهبرد مرکز‌داده عملی کنیم، به‌طور ملموسی در مرکزدادهٔ شهر آلن و مرکز‌دادهٔ همراهش اجرا کرده‌ایم.

 تصویر: یکی از دو سالن سرور مرکز‌دادهٔ سیسکو در آلن

الگر: به دگرگونی سیسکو مطابق الگوی خدماتی اشاره کردید. ماموریت این مرکز‌داده بر طراحی آن چه اثری گذاشت؟

منویل: ما بحث و بررسی کردیم که چطور خواهد بود اگر مرکزداده را با کلاس پایین‌تر از آنچه در نظر داریم، یعنی با کلاس سه‌پلاس [7] بسازیم؟ اکنون مرکزدادهٔ سیسکو در آلن چنین است؛ زیرا اگر مرکزداده را با کلاس پایین‌تر بسازید، ارزان‌تر از کار درمی‌آید. دو مرکزداده ساختیم که دارای فاصلهٔ منطقی (در حدود ۲۴ کیلومتر) هستند و سپس از فناوری درحال‌کار ـ درحال‌کار استفاده کردیم تا سامانه‌های نرم‌افزاری را بین این دو سایت توزیع کنیم.

ولی در نهایت به این نتیجه رسیدیم که این کار منطقی نیست. چون همهٔ سامانه‌های نرم‌افزاری، عموما قدیمی‌ها و حتی برخی از جدیدترها، مناسب کار با روش درحال‌کار ـ درحال‌کار طراحی نشده‌اند و باید در مراکز‌دادهٔ کلاس سه‌پلاس قرار بگیرند. بی‌شک بین مرکزدادهٔ کلاس دو و مرکزدادهٔ کلاس سه‌پلاس تفاوت هزینه وجود دارد. اما وقتی این افزایش هزینه را بررسی کردیم دیدیم به‌دلیل اینکه سامانه‌هایی هستند که قابلیت استفاده از روش درحال‌کار ـ درحال‌کار را ندارند، ناچار خواهیم بود ظرفیت بیشتر و اطمینان‌پذیری بهتری داشته باشیم. به همین دلیل هم تصمیم گرفتیم مرکز‌دادهٔ کلاس سه‌پلاس را بسازیم. این یک جنبه از ماجرا بود.

همچنین لازم بود این مرکزداده را چندکاربره بسازیم. برخی واحدهای کسب‌و‌کار در سیسکو هستند که می‌خواهند در مرکزداده برای خودشان فضای محصور شدهٔ اختصاصی یا چیزی مانند فضای کوچک اشتراک مکانی (Co-loinside) داشته باشند. هدف ما ارائهٔ خدمات زیرساختی است؛ اما در حال حاضر دلایل موجهی وجود دارد دراین‌باره که چرا بعضی واحد‌های کسب‌و‌کار تنها به فضای مرکزداده نیاز دارند. ما براساس آن دلایل به آن‌ها خدمات شبکه و برق و سرمایش می‌دهیم.

پس بحث چند‌کاربره بودن در میان است و سازگاری این مرکزداده با محیط زیست. هنگام طراحی‌کردن چند تصمیم گرفتیم، یا بهتر است بگویم تصمیم‌های زیادی گرفتیم برای اینکه تا حد امکان با محیط زیست سازگار باشیم. ما برای این مرکزداده موفق به دریافت گواهینامه LEED زرین شدیم و کارهای بسیار دیگری هم مثل استفاده از Rotary UPS کرده‌ایم.

گواهی‌نامهٔ LEED

«مدیریت انرژی و طراحی زیست محیطی» (Leadership in Energy and Environmental Design) یا به‌اختصار LEED سیستم رتبه‌دهی به طراحی و ساخت و عملکرد ساختمان‌های سبز است که از سال ۱۳۷۷ ش. آغاز شده است. مالکین ساختمان‌ها می‌توانند داوطلبانه در این رتبه‌دهی شرکت کنند. LEED معیارهای مشخصی در سنجش دارد که مطابق آن هر ساختمان با گرفتن حداقل امتیاز ۴۰ و حداکثر امتیاز ۱۱۰ یکی از چهار رتبهٔ «تایید شده»، «نقره»، «زرین» و «پلاتین» را بر اساس سنجش در ۶ موضوع زیر دریافت می‌کند: سازهٔ سازگار با محیط زیست بهره‌وری آب بهره‌وری از انرژی و سازگاری با جو زمین مواد و مصالح و منابع کیفیت محیط داخلی ساختمان نوآوری و طراحی این سیستم رتبه‌دهی هم‌اکنون در بیش از ۱۳۵ کشور جهان اجرا می‌شود.

این مرکزداده آشکارا از نظر فناوری‌ نسخهٔ جدید‏تری از برخی مراکز‌دادهٔ قدیمی‌تر ما است و ویژگی‌هایی که در آن به کار برده‌ایم اکثرا از خود سیسکو و همچنین از شرکای ما است. فناوری‌هایی که اطمینان‌پذیری بهتری به ما می‏‌دهد، یا راحت‌تر مدیریت می‏‌شود، یا می‏‌توان اتوماسیون آن را ساده‌تر انجام داد. یکی از مثال‌هایی که می‌توانم به آن اشاره کنم، نمونه‌ای از ابر خصوصی خود ما است که با نام CITEIS ـ[8] ساختیم و مبتنی بر همین مرکزداده است. این فناوری از نظر تامین خدمات زیرساخت تا حد بسیار زیادی خودکار است.

الگر: آیا لازم شد ویژگی‌های خاصی در طراحی اعمال کنید تا با سیاست‌های مختلف عملیاتی کاربران در داخل مرکزداده سازگار باشید؟

منویل: برای کاربران مُجاز در فضای مرکزداده راهروهایی با امکان دسترسی مناسب طراحی کرده‌ایم. در آن راهروها ورودی‌ها و چیزهایی از این قبیل در نظر گرفتیم تا بتوانیم به آنان امکان دسترسی برای تعمیر و نگهداری و جابه‌جایی‌های مختلف و کارهای کنترلی گوناگون بدهیم.

الگر: به چه‌دلیل سیسکو مرکز‌داده را در آلن تگزاس ساخت؟

منویل: پیش از آن هم یک مرکز‌دادهٔ جدید کلاس سه آنجا داشتیم که همان مرکزداده ریچاردسون است. بنابراین وقتی تصمیم گرفتیم یک‌جفت مرکزدادهٔ متصل‌به‌هم داشته باشیم، انتخابی که پیش رو داشتیم روشن بود.

در واقع سوال این است که آیا این محل برای مرکز‌داده نامناسب است؟ گمان نمی‌‏کنم جای بدی باشد. به نظر من وضعیت این منطقه از نظر حوادث طبیعی بسیار خوب است. زمین‌لرزه اتفاق نمی‌‏افتد، طوفان هم گاهی رخ می‏‌دهد ولی می‌‏توان ساختمان‌ها را مقاوم کرد. اینجا برق ارزان است. هوا هم کمی در تابستان گرم هست که به همین دلیل نمی‏‌توانیم در تمام مدت سال از سیستم سرمایش طبیعی استفاده کنیم. با این‌همه برآوردهای ما نشان می‌دهد ۵۶ درصد از مواقع می‌توانیم از سرمایش طبیعی بهره ببریم. پس با این توصیف اصلا جای بدی نیست و در واقع نسبتا خوب هم هست. ناگفته هم نماند که این مرکزداده در وسط آمریکا است؛ یعنی اگر هرگونه مشکل کندی در شبکهٔ سراسری رخ بدهد، فاصله‌اش با مراکز اصلی جمعیتی خدمات‌گیرنده در آمریکا به یک اندازه است. این هم به نظرم مزیتی است.

اگر ساخت‌وساز را از هیچ شروع می‌کردیم، احتمالا انتخاب‌های دیگری هم داشتیم؛ اما اگر واقعیت‌هایی را که به کسب‌و‌کار مربوط می‌شود در نظر بگیریم، البته مرکزدادهٔ دیگری هم داشتیم و معلوم بود که نمی‏‌خواستیم آن را جابه‌جا کنیم. به همین دلیل این تصمیم، تصمیم تجاری درستی بود. اینجا ممکن است جای ایده‌‏آلی نباشد ولی جای خیلی خوبی است. 

تصویر راست: پنجره‌های کرکره‌ای که قابلیت تنظیم هوا دارند، امکان می‌‏دهند هوای از بیرون به درون مرکز‌داده جریان پیدا کند.

تصویر چپ: هوای سرد را ۱۳ هواساز به پلنوم بالای ردیف‌‏های سرور می‌فرستند. سیستم سرمایش طبیعی هوا محور به تاسیسات امکان می‌دهد در بیش از نیمی از اوقات با استفاده از هوای بیرون خنک شود.

پنجره‌های کرکره‌ای تنظیم‌شونده	هواسازها

الگر: گفتید این مرکز‌داده به مرکز دیگری در همین منطقه متصل است. ممکن است دربارهٔ مفهوم «مرکز‌دادهٔ مجازی شهری سیسکو» و چگونگی طراحی آن صحبت کنید؟

منویل: روش کار در «مرکز‌دادهٔ مجازی شهری» این است که دو مرکز‌داده، از نظر کاربرد، در واقع همچون یک مرکزداده هستند. در این وضعیت اگر یکی از آن‌ها مشکل پیدا کند، سیستم بازیابی می‌شود و بهبود می‌یابد. بدین ترتیب پیوستگی خدماتی که باید سامانه‌های نرم‌افزاری یا فرایندهای کسب‌و‌کار داشته باشند حفظ می‌شود.

برخی از فناوری‌هایی که استفاده می‌کنیم از خود سیسکو و برخی دیگر متعلق به تعدادی از شرکای ما مانند اوراکل است (به‌خصوص در زمینهٔ پایگاه‌ داده) که اجازه استفاده‌اش را به ما می‌دهند. ضرورت‌های مخصوص خود سامانه‌های نرم‌افزاری نیز هست. بدیهی است که این سامانه‌های نرم‌افزاری مناسب کار با مرکز‌دادهٔ مجازی شهری ساخته می‌شوند؛ ولی برای اینکه بتوان از هر مرکزداده‌ای به برنامه‌‌ها و پایگاه‌های داده سرویس‌دهی کرد، باید بسیاری از زیرساخت‏‌ها و محیط‏‌های میان‏‌افزاری نیز شالودهٔ لازم را فراهم کنند.

اساسا این روش را به کار می‌برند برای اینکه اگر برق مرکزداده‌ای قطع شد، پیوستگی عملیات حفظ شود. زیرساخت و میان‌افزارها برای این کار پرهزینه هستند؛ به همین دلیل است که همهٔ سامانه‌ها این قابلیت را ندارند. بنابراین ما سامانه‌های نرم‌افزاری و فرایند‌های کسب‌وکارمان را از نظر اهمیت و حیاتی بودن رتبه‌بندی کردیم. سپس بررسی کردیم اجرای کدام‌یک در مرکز‌دادهٔ مجازی شهری ضروری است. آنگاه درباره هریک تصمیم گرفتیم و آن‌هایی را که باید به مرکزدادهٔ مجازی شهری منتقل شود، انتقال دادیم.

روش کار در «مرکز‌دادهٔ مجازی شهری» این است که دو مرکز‌داده، از نظر کاربرد، در واقع همچون یک مرکزداده هستند.

الگر: دو مرکز‌دادهٔ آلن و ریچاردسون در تگزاس تقریبا ۲۴ کیلومتر فاصله دارند. آیا نگرانی نیستید که هر دو در یک حادثهٔ طبیعی آسیب ببینند؟

منویل:  احتمال دارد که هر دوی آن‏ها در یک حادثهٔ طبیعی یا سایر حوادث گرفتار شوند. ما متوجه این مسئله هستیم. با آنکه احتمالش خیلی کم است، به هر حال امکان دارد. به همین دلیل سایت دیگری هم برای بازیابی از سانحه داریم که در حدود ۲٬۵۷۵ کیلومتری اینجا است. آن تاسیسات سوم مرکزدادهٔ اصلی نیست؛ آن‌طور که به‌تنهایی عرضه خدمات سازمان را ممکن کند. بنابراین وقتی حادثه‏‌ای نیست، کارها و سایر استفاده‌های فرعی در آن مرکز‌داده انجام می‌شود. جای آن مرکز در «پارک مثلث تحقیقاتی» [9] در کارولینای شمالی است. اگر حادثه‌‏ای رخ دهد که در دالاس هر دو مرکز‌داده را گرفتار کند، می‏‌توانیم اجرای برنامه‌های تجاری حساس را در مرکزدادهٔ بازیابی از سانحه در مثلث تحقیقاتی‌ ادامه بدهیم.

الگر: فاصلهٔ بین این سه مرکز‌داده تا اندازه‌‏ای با توجه به‌جای تاسیساتی که سیسکو در ریچاردسون و پارک مثلث تحقیقاتی داشت تعیین شده است. به‌طور کلی اگر کسی بخواهد این مدل را با دو مرکز‌دادهٔ متصل‌به‌هم در یک منطقهٔ شهری و یک مجموعهٔ بازیابی از سانحه در خارج از منطقه اجرا کند، فاصلهٔ توصیه‌شده بین این سه مرکزداده چقدر است؟

 منویل: از نظر فناوری مسئله این است که چقدر می‌شود دو مرکزدادهٔ متصل‌به‌هم را از هم فاصله داد. با توجه به اینکه در اکثر موارد به «فیبر تاریک» (Dark Fiber) و احتمالا «فیبر تاریک اختصاصی» بین دو مرکز‌داده نیاز هست، در واقع مسئله فاصلهٔ فیزیکی نیست؛ بلکه طول فیبر بین آن‌ها است.

توصیهٔ من این است که تا می‌توانید مرکزداده‌ها را دور از هم بسازید؛ ولی طول فیبر بین آن‌ها از ۹۶٫۶ کیلومتر بیشتر نشود. به این علت که اگر بخواهید در ذخیره‌سازی از فناوری «نوشتن هم‌زمان» (Synchronous Write) استفاده کنید، مهم است که تاخیر میان برنامه‏‌ها زیاد نباشد. بیشتر برنامه‏‌ها در فاصلهٔ فیبری ۹۶ کیلومتری کار می‏‌کنند؛ اگر این فاصله بیشتر بشود، برخی از آن‌ها با مشکل مواجه می‌شوند.

الگر: رویکرد سیسکو در طراحی سیستم مکانیکی چه بود؟ تگزاس معمولا جایی نیست که برای سیستم سرمایش طبیعی مناسب باشد. ولی مرکز‌دادهٔ شما سیستم سرمایش طبیعی هم دارد و بیش از نیمی از اوقات از هوای بیرون استفاده می‏کند.

منویل: ما می‌خواستیم مصرف برق این مرکزداده به‌دلایل زیست‌محیطی و برای صرفه‌جویی در هزینه تا حد ممکن پایین باشد. یک راهش این بود که هروقت دمای بیرون کمتر است، از هوای آزاد برای خنک‌کردن مرکز‌داده استفاده کنیم. الان هم دقیقا همین کار را می‌کنیم.

ما دریچه‌های زیادی برای ورود هوا داریم. بنابراین هر وقت بیرون به اندازه کافی خنک باشد می‏‌توانیم هوا را به داخل مرکزداده بیاوریم. در واقع مدت‌زمانی که می‌توانیم در منطقهٔ تگزاس از هوای آزاد برای سرمایش استفاده کنیم، مرا شگفت‌زده کرده است. ضمنا دمای هوای ورودی را هم افزایش دادیم که این کار هم واقعا مفید بود. اگر دمای بیرون کمتر از ۲۲٫۲ درجه سانتی‌گراد باشد، به‌جای استفاده از برخی چیلرها که برق مصرف می‌کنند می‏‌توانیم هوای بیرون را به داخل بیاوریم. به همین دلیل به‌نظرم نتیجهٔ کارمان عالی است. این کار باعث می‌شود در هزینه صرفه‌جویی کنیم و همان طور که گفتم با محیط زیست سازگار باشیم.

یکی از مسائل بدیهی در طراحی همان جداکردن هوای گرم از هوای سرد است. این کار را انجام داده‌ایم. در این تاسیسات از کانال‌ها یا هواکش‌هایی در روی رک‏‌ها استفاده می‌کنیم که واقعا خوب کار می‌‏کنند. اگر هم تداخلی پیش بیاید و هوای سرد و هوای گرم مخلوط بشوند، اندازهٔ آن بسیار کم است. آزمایش‏‌های زیادی انجام دادیم تا مطمئن شدیم دمای داخل رک‌‏ها مناسب است. ما دمای هوایی که به رک‏‌ها وارد می‌شود را بهینه کرده‌ایم تا گرمای تجهیزات در همان بازه‌ای که تولیدکننده‌ها مجاز دانسته‌اند و تجهیزات تحمل آن ‌را دارند باقی بماند. آن را در چهارچوب محدودیت‌های تعمیر و نگهداری و وارانتی تجهیزات حفظ می‌کنیم. پس در این کار بهینه‌سازی‌هایی انجام دادیم. 

تصویر: رک‌های بسته که دارای کانال‌های عمودی خروج هوای گرم هستند، جریان هوای سرد و گرم را جدا می‏‌کنند و بهره‌وری سرمایشی را افزایش می‌دهند. 

شما در برخی از رک‌ها برای سخت‌افزارهای خود به‌جای به‌کاربردن الگوی جریان هوای معمول که از جلو به عقب است، هوای گرم را از کنار رک خارج می‌کنید. روش جلو به عقب در مراکزدادهٔ دارای دالان‌های سرد و گرم ارجحیت دارد. این کار چگونه است؟

منویل: این سوال جواب‏‌های مختلفی دارد. یکی اینکه ما پیوسته با واحد‌های زیرمجموعهٔ سازمان‌ها (Business Units) کار می‏‌کنیم و آن‌ها کاملا از این روش آگاه‌اند. فقط وقتی از سوئیچ‌‌های بزرگ استفاده می‌شود، در مسئلهٔ سرمایش جلو به عقب به محدودیت‌های خاصی روبه‌رو می‌شویم که هنوز نتوانسته‌ایم آن‌ها را حل کنیم.

دوم اینکه ما به روش‌های بسیار مبتکرانه‌ای برای رک‌ها دست یافته‌ایم؛ این که هرچند هوا از دو طرف رک جریان دارد، اما می‏‌توان از کانال خروج هوای گرم نیز استفاده کرد.

سوم این است که فهمیدیم ممکن است تجهیزاتی باشند که در رک‌ها جا نشوند؛ این فقط شامل تجهیزات سیسکو هم نمی‌شود. به این ترتیب باید در نظر بگیریم که برخی تجهیزات را ممکن است روی کف سالن بگذارند؛ مثلا برخی از تجهیزات ذخیره‌سازی. مسلماً در این حالت غیرمنطقی خواهد بود که کانال خروج هوای گرم را بالای رک اختصاصی کار بگذاریم. بنابراین کافی است بهینه‌ترین جا را برای آن‌ها پیدا کنیم؛ زیرا روش توزیع سرمایش سنتی از کف همچنان کارآمد است و هوای گرم با کانال جمع‌آوری می‌شود. در نتیجه کل سالن دمای مناسبی دارد.

الگر: این مرکز‌داده از «سیستم رایانش  یکپارچه سیسکو» [10] که عملکرد شبکه و ذخیره‌سازی و سرور را یکپارچه می‌کند بهره می‌گیرد. استفاده از این فناوری چه تاثیری بر طراحی مجموعه داشت؟

منویل: بیشترین اثر آن بر روی کابل‌کشی بود. در مقایسه با قبل، ما در این ساختمان از کابل‌های مسی بسیار کمتری استفاده کرده‌ایم. همچنین نوع فیبری را که استفاده می‌کردیم تغییر دادیم و آن را بهینه‌ کردیم؛ به‌طوری که اکنون می‌تواند ۱۰ گیگابایت و در آینده تا ۱۰۰ گیگابایت را پشتیبانی کند. حتی اگر از نوآوری‌های سیسکو در زمینهٔ شبکه و کانال فیبر تجمیعی و اترنت و موارد دیگر استفاده نمی‏‌کردیم، بازهم اینکه استفاده از کابل‌های مسی را بسیار کاهش دادیم و درصد اتصالات از جنس فیبر را به‌مقدار زیادی افزایش دادیم، تصمیم بجایی بود.

الگر: امروزه دو دیدگاه مختلف دراین‌باره که آیا از تاسیسات کف کاذب در مرکز‌داده باید استفاده کرد یا نه وجود دارد. چرا در این مرکزداده از ساخت کف کاذب صرف‌نظر کردید؟

منویل: امروزه تحمل ظرفیت برق رک‏‌ها بیشتر شده است؛ ازاین‌رو اینکه هوای سرد را برای سرمایش به زیر کف برانیم چندان انتخاب درستی به نظر نمی‌رسد.

خنک‌کردن رک‏‌ها با استفاده از سرمایش زیر کف دارد دشوارتر می‌شود. با توجه به این مسئله و نیز محدودیت‌‏های ناشی از وزن بعضی از تجهیزات و همچنین بعضی هزینه‌‏ها (چون ساختن کف کاذب پرهزینه است)، تصمیم گرفتیم که هم در اینجا و هم در هر مجموعه‌ای که بعدا می‌سازیم، از کف کاذب استفاده نکنیم و کابل‌کشی و سرمایش و برق را از سقف بیاوریم. در اینجا هم به کمک مهندسان‌مان روش‌هایی پیدا کردیم که بتوان همهٔ آن فناوری‌ها را سقفی و در کنار هم اجرا کرد. به نظر من که این روش نتیجهٔ خیلی خوبی داشت.

الگر: این اولین مرکز‌دادهٔ سیسکو است که در آن از Rotary UPS به‌جای باتری‏‌های معمول استفاده شده که مبتنی بر سیستم UPS هستند. چه انگیزه‌هایی باعث این تصمیم شدند؟

منویل: به‌دلایل زیست‌محیطی این کار را کردیم. سرب و اسیدی که باتری‌‏ها دارند تاثیر زیادی بر محیط زیست می‌گذارند. به همین دلیل تصمیم گرفتیم از Rotary UPS استفاده کنیم. ضمنا اندازهٔ این مرکزداده هم به ما این امکان را می‌داد که با استفاده از Rotary UPS بهره‌وری مصرف برق‌مان را بهتر کنیم.

الگر: آیا نگران نیستید که مدت‌زمان ذخیرهٔ نیروی Rotary UPS نسبت به سیستم بانک باتری‌ کمتر است؟

منویل: راستش نه. به‌نظرم این Rotary UPSها چند مکانیسم ضدخرابی دارند. [11] یکی این است که اگر ژنراتور دیزل هنگام به‌کارافتادن مشکل پیدا کند، یک کلاج دارد که ژنراتور را راه می‏اندازد. ما آن را آزمایش کرده‌ایم و به نظرمان راه مطمئن و معتبری است. گمان می‌کنم به‌زودی استفاده از Rotary UPS رونق بگیرد.

تصویر: سیسکو هنگام قطع یا نوسان برق، برای فراهم کردن نیرویی که تا به‌کارافتادن ژنراتور یا وصل‌شدن دوبارهٔ برق بدان نیاز هست، به‌جای باتری UPS معمول از یک Rotary UPS استفاده می‌کند.

الگر: ما از چندین عامل در طراحی این مرکز‌داده صحبت کردیم: مفهوم مرکز‌دادهٔ مجازی شهری، رک‏‌های دارای کانال خروج هوای گرم، سرمایش طبیعی، همچنین فناوری سیستم رایانش یکپارچهٔ سیسکو. به نظر شما این راهکارها ویژهٔ همین مرکز‌داده یا موقعیت جغرافیایی آن هستند، یا جهانی‌اند و می‏‌توان در بیشتر مجموعه‌ها از آن‌ها استفاده کرد؟

منویل: به نظر من در طراحی هر مرکز‌داده‌‏ای باید سبک‌سنگین کنند و ببینند از چه فناوری‌هایی استفاده بکنند و از چه نکنند. در واقع خودمان هنگام ساختن هر مراکز‌داده‌ای همین کار را می‌کنیم. توجه شود که مرکزداده‌ها شبیه به هم نیستند. با این حال باید بیشترِ این تکنیک‌‏ها و فناوری‌هایی را که صحبت‌شان را کردیم، حداقل در نظر داشت و بررسی‌شان کرد. کسانی که مرکز‌داده می‌سازند باید گزینش‌های آگاهانه‌ای دربارهٔ این مسائل بکنند. منظورم این نیست که همه باید مدل طراحی ما را دنبال کنند. ما این طراحی را بنا بر دلایل تجاری خاصی برگزیدیم. می‌خواهم بگویم مجموعهٔ تصمیمات را باید با توجه به میزان نیاز ظرفیت برق و اینکه آیا می‌توان از سرمایش طبیعی استفاده کرد یا نه و مسائل مختلف دیگر بگیریم. دست‌کم دربارهٔ این چیزها باید با بحث و بررسی تصمیم بهینه گرفت.

به هر حال من گمان نمی‌کنم یک مدل معیار مرکزداده وجود داشته باشد که مناسب همه باشد. اما مطمئنم چیزهای زیادی هستند که باید هنگام ساختن مرکز‌داده در نظر گرفت؛ همین چیزهایی که درباره بعضی از آن‏ها صحبت کردیم.

الگر: اگر می‌توانستید به عقب برگردید و مرکز‌داده را دوباره طراحی کنید، چیزی را تغییر می‌دادید؟

منویل: دربارهٔ کانال‌های خروج هوای گرم [رک‌ها] تجدید نظر می‏‌کردم. دوباره این مسئله را به بحث می‌گذاشتم که آیا باید از کانال یا هواکش رک‏ استفاده کنیم، یا بهتر است دالان گرم بسته [مطالعهٔ بیشتر] داشته باشیم. گمانم این تصمیم‌گیری متفاوتی بشود. هر دو روش استفاده از «رک بستهٔ هواکش‌دار» و «دالان گرم بسته» سرانجام یک نتیجه دارند که جداسازی هوای سرد و گرم باشد. اما فکر می‌کنم درست این است که در آن تجدید نظر کنیم.

الگر: همان طور که گفتید هر دو راه‌حل یک نتیجه دارد. چه دلایلی دارید که در بازنگری خود در سرمایش تاسیسات، استفاده از دالان گرم بسته را بر سیستم رک بستهٔ هواکش‌دار ترجیح بدهید؟

منویل: به نظر من شیوهٔ دالان گرم بسته، هوای سرد و گرم را بهتر جداسازی می‌کند. امکان می‌دهد گرمای تجهیزات بیشتری را در هر رک مدیریت کنید. اگر در به‌کاربردن سازوکار بستن و محصور کردن دالان هوای گرم در شیوهٔ طراحی زیاده‌روی نکنید، احتمالا اجرای این روش برای‌تان ارزان‌تر درمی‌آید. باید مطمئن بشوید سازوکار دالان گرم بسته آن‌قدر انعطاف‌پذیر هست که بتوانید تجهیزات و تعداد رک‌‏هایی را که در مرکزداده دارید کم‌وزیاد کنید. به نظر من نتیجهٔ آن قطعی نیست اما طرح بهتری است. هر شیوهٔ اجرا کمی متفاوت است و الزاما به ضروریات کسب‌و‌کار بستگی دارد.

الگر: آیا در این پروژه درس‌های دیگری یاد گرفته‌اید که بخواهید در ساخت‌وسازهای بعدی از آن‌ها استفاده کنید؟

منویل: به‌نظرم تصمیم ما دربارهٔ ظرفیت توزیع برق مهم بود. اما باید وقت بیشتری برایش صرف می‏‌کردیم تا مطمئن بشویم در مرکز‌داده هیچ مقدار از انرژی به هدر نمی‌رود و بی‏‌استفاده نمی‌ماند. ممکن است بتوانیم سازوکار توزیع برق را از آنچه هم‌اکنون در مرکز‌دادهٔ آلن هست منعطف‌تر و تغییرپذیرتر کنیم.

الگر: برای کسی که اجرای پروژهٔ مرکز‌داده را به عهده می‌گیرد چه توصیه‌ای دارید؟

منویل: باید مطمئن شوند که جزئیات در سطوح پایین‌تر ساخت مرکز‌داده نیز با روش درست مدیریت می‌شود. باید توجه کنند که قرار است ۱۰ تا ۱۵ سال در همین مرکز‌داده باشند و بعضی از جزئیات در آینده پیامدهایی خواهند داشت. بسیاری از تصمیم‌های که اکنون در طراحی می‌گیرید، عواقب و نتایج بلندمدت دارند.

دیگر اینکه در هزینه‌‏ها همیشه باید جوانب را سنجید. توصیه می‌کنم که حتما متوجه باشند چه‌چیزی برای مرکزداده هزینه دارد. مطمئن شوند در مرکزدادهٔ‌شان ارزش هر تصمیمی با هزینه‌اش تناسب دارد. درک هزینهٔ برخی از این تصمیم‌ها واقعا امر مهمی است.

الگر: بدیهی است طراحی مرکز‌داده متناسب با موقعیت و ماموریت آن فرق می‌کند. اما آیا به نظر شما به‌طور کلی این تاسیسات برای مرکز‌داده‏ای که سیسکو در آینده خواهد ساخت مبنایی ارائه می‏‌دهد؟

منویل: البته ما تغییرات جزئی اعمال خواهیم کرد. فناوری‌های جدیدی به میان می‌آیند. برای مثال می‌توان به انعطاف و تغییرپذیری بیشتر در توزیع برق اشاره کرد. اما به‌طور کلی بله؛ من از تصمیم‌هایی که برای طراحی این مرکزداده گرفته‌ایم راضی هستم.

ممکن است در آینده متناسب با نیازهای تجاری و چیزهای دیگر کارهای متفاوتی بکنیم؛ اما من از این مرکز‌داده بسیار راضی هستم. به‌نظرم تصمیماتی که برای تامین خدمات ضروری برای سیسکو و بعضی از مشتریان‌مان گرفته‌ایم، بجا و بسیار نتیجه‌بخش بوده است. خلاصه اینکه این پروژه مبنای طراحی و ساخت ما در آینده خواهد بود و ساخت‌و‌سازهای آتی ما با تغییراتی جزئی در همین طراحی اجرا خواهند شد.

الگر: در آخر آیا مسئله مهم دیگری هست که بخواهید دربارهٔ این ساختمان بگویید؟

دعوت می‌کنم بیایید و از این مرکزداده بازدید کنید. ما برای بازدید از محوطهٔ خارجی مرکز‌داده تور داریم. می‏‌توانیم نتیجهٔ تصمیم‌های بسیاری را که برای طراحی اینجا گرفته‌ایم و دربارهٔ آن صحبت کردیم به شما نشان بدهیم. می‌توانیم به شما نشان دهیم که این تصمیم‌ها چقدر نتیجه‌بخش هستند و دربارهٔ مزایا و معایب آن‌ها صحبت کنیم. خودم واقعا دوست داشتم قبل از تصمیم‌گیری درباره طراحی مرکزدادهٔ خودمان، مرکزداده‌ای را که شبیه به اینجا بود می‌‏دیدم؛ چون می‌توانستم از خطاها یا تصمیم‌های درست دیگران چیز یاد بگیرم. من از همه و از هریک از خوانندگان این کتاب که برای بازدید از این مرکزداده بیایند، استقبال می‌کنم.

تصویر راست: ردیف پانل خورشیدی ۱۰۰ کیلوواتی که روی بام است، انرژی کافی را برای دفاتر و پرسنل پشتیبانی مرکزداده فراهم می‌کند.

تصویر چپ: این مرکز‌داده دارای سیستم تصفیهٔ غیرشیمیایی آب و سیستمی است که آب باران را در محل جمع‌آوری می‌کند. 

پانل خورشیدی روی بام	سیستم تصفیهٔ غیرشیمیایی آب

تصویر پایین راست: چهار مخزن سوخت ژنراتور هریک با ظرفیت ۷۵٬۸۰۲٫۲ لیتر، ۴ مخزن آب سرد هریک به ظرفیت ۵۶٬۷۸۱٫۲ لیتر، همچنین یک مخزن آب جبرانی داخلی در پشت مرکز‌داده قرار دارند.

تصویر پایین چپ: ردیف‏‌های سرور در سالن دوم با دیوارهای مشبک از هم جدا شده‌اند.

مخزن‌های سوخت و آب	ردیف‌های سرور در سالن دوم

پانویس

[1] این مطلب ترجمهٔ بخش ششم از کتاب «The Art of the Data Center» است. گفت‌وگوکننده داگلاس الگر (Douglas Alger)، مترجم پرواز خیّر، ویراستار پرهام غدیری‌پور، به‌کوشش دکتر بابک نیکفام، تهیه‌شده در باشگاه مراکزداده

[2] active-active

[3] Metro Virtual Data Center (MVDC)

[4] در این روش که از خانوادهٔ معماری‌های In-Rack است، جبههٔ هوای گرم از پشت رک وارد کانال هوای بسته می‌شود و به‌شکل عمودی به سقف کاذب یا پلنوم هدایت می‌شود.

[5] Pre-action dry pipe sprinklers

[6] Very Early Smoke Detection Apparatus

[7] کلاس سه‌پلاس: وقتی مشخصات مرکزداده‌ای در بخش‌های مختلف (مانند برق، سازه، معماری، تاسیسات) همگی در سطح کلاس چهارم نباشد، اما در یک یا همهٔ بخش‌ها از حد انتظار سطح سوم بهتر باشد، اصطلاحا به آن کلاس III+ می‌گویند.

[8] کوته‌نوشت عبارت Cisco IT Elastic Infrastructure Services به‌معنی «خدمات زیرساخت منعطف فاوای سیسکو»

[9] Research Triangle Park (RTP)

[10] Unified Computing System

[11] مکانیسم ضدخرابی (fail-safe): مکانیسمی است که اگر خرابی یا اشکالی در کار دستگاه رخ بدهد، از آسیب به سایر دستگاه‌ها یا سیستم‌ها جلوگیری می‌کند، یا مقدار آسیب را بسیار کم نگه می‌دارد.