مشخصات معماری ماژولار مرکزداده [1]

مقدمه

ماژولاریتی را معمولا شیوه‌ای تعریف می‌کنند که سیستم بزرگ را از زیرسیستم‌های کوچک می‌سازد؛ چنان‌که زیرسیستم‌ها برای تعامل داشتن از قوانین مشخص تعریف‌شده پیروی می‌کنند. از سویی ماژولاریتی روش ساده‌ای برای نصب و تعویض فراهم می‌کند که اجزای ماژولار به‌شکل مطلوب با روش سوکتی ساده در جای خود وصل می‌شوند.

گزارش موسسهٔ گارتنر می‌گوید «دو نسل نخستین طراحی مرکزداده دیگر نیازهای اکنون و آینده را برآورده نمی‌سازند. مراکزدادهٔ جدید سازهٔ ناپویا نیستند، بلکه بیشتر همانند ارگانیسم زنده و چابک عمل می‌کنند که با تغییر سرورها و زیرساخت ذخیره‌سازی رشد و تکامل می‌یابد.» سپس گارتنر پیشنهاد می‌کند که بهره‌برداران باید «اصول طراحی انعطاف‌پذیر (Flexible) و ماژولار و مجازی‌سازی‌شده (Virtualization) [مطالعهٔ بیشتر] را در طراحی مرکزداده جدید به‌کار گیرند.» [2]

تامین‌کنندگان بزرگی که تجهیزات و راهکارهای کامل برای مرکزداده فراهم می‌کنند، اکنون سرگرم ارتقای مزایای راهکارهای ماژولار خود هستند. با این حال تعریف ماژولاریتی همچنان مبهم باقی مانده است؛ چنان‌که می‌توان آن را هم به یک دستگاه (مانند UPS) و هم به کل ساختمان مرکزداده نسبت داد. دربارهٔ مراکزدادهٔ به‌اصطلاح کانتینری می‌توان خود مرکزداده را ماژول در نظر گرفت.

بهره‌برداران مرکزداده با اصطلاحات بسیاری روبه‌رو هستند که تعریف درستی ندارند. ماژولاریتی در قالب واژه‌هایی همچون منطقه (PoD)، کانتینر، خوشه (Cluster)، ناحیه (Zone)، ردیف، اتاق، باس (Busses) توصیف می‌شود.

روشن است که ماژولاریتی در مرکزداده بیانگر طراحی مطلوب مشخصی نیست؛ بلکه رویکردی است که انواع گوناگون طراحی را در بر می‌گیرد. افزون بر این با اینکه برخی مراکزداده «ماژولارتر» از بقیه به شمار می‌روند، مرز و آستانه‌ای برای ماژولار بودن مرکزداده تعیین نشده است.

پس از اینکه روش ماژولار انتخاب شد، می‌باید به سطحی که مرکزداده به ماژول‌ها تجزیه می‌شود توجه کرد. این نکته که هر زیرسیستم دارای ۳ ماژول یا ۴۷ ماژول باشد؟ از سویی ماژولاریتی هزینه دارد و ازاین‌رو ماژولار کردن هر چیزی همیشه مقرون‌به‌صرفه نیست.

Tier 1 Research در تحلیل جدید خود [3] مزایای ماژولاریتی مرکزداده را تایید کرده است. ولی همچنین نشان می‌دهد تاثیر آن تنها هنگامی به بیشترین مقدار می‌رسد که ماژول‌ها صنعتی و استاندارد بشوند. اگر چنین باشد، هزینه کاهش می‌یابد و زنجیرهٔ تامین سرعت می‌گیرد.

در این مقاله معنای ماژولاریتی را بیان می‌کنیم و کلماتی همچون فضا و برق و سرمایش را توضیح می‌دهیم که برای توصیف و مشخص‌کردن آن در زیرساخت فیزیکی [مطالعهٔ بیشتر] به‌کار می‌روند. ماژولاریتی در حوزهٔ معماری و سخت‌افزار فاوا موضوع بررسی اینجا نیست. برای توضیح معماری ماژولار از روش گرافیکی بهره می‌گیریم. استانداردسازی و صنعتی‌سازی ماژولاریتی را نیز بررسی و امکان‌سنجی می‌کنیم. سرانجام نشان خواهیم داد که چگونه می‌توان ماژولاریتی مرکزداده را به‌روش موثر به‌کار بست و مشخصات آن را تعیین نمود. همچنین به این موضوع می‌پردازیم که رویکرد چگونه به‌تناسب کاربرد تغییر می‌کند.

مشکلاتی که با ماژولاریتی برطرف می‌شوند

ماژولاریتی برای همهٔ بهره‌برداران مرکزداده سودمند است؛ زیرا مشکلات گوناگون را به‌شکل هم‌زمان حل می‌کند. کمابیش هر نوع مرکزداده‌ای، چه بزرگ چه کوچک، با هر الزامات پایایی که داشته باشد، از مزایای ماژولاریتی بهره‌مند می‌شود. جدول ۱ سیاههٔ (فهرست) مشکلاتی را نشان می‌دهد که طراحی ماژولار با موفقیت آن‌ها را برطرف می‌کند.

جدول ۱: ماژولاریتی چگونه مشکلات مرتبط با مرکزداده را از میان برمی‌دارد.

مسئله	چگونگی برطرف‌شدن مشکل
بی‌استفاده‌ماندن منابع هزینه سرمایه‌ای	روش ماژولار امکان می‌دهد به‌جای آنکه زیرساخت را پیشاپیش اجرا کنند، آن را در هنگامِ نیاز و برای برآورده‌ساختن تقاضای پیش‌آمده اضافه کنند.
طولانی‌بودن چرخهٔ طراحی و نصب	مرکزدادهٔ ماژولار از سیستم پیش‌مهندسی و پیش‌ساخته استفاده می‌کند که از زمان طراحی و نصب می‌کاهد.
مشکلات کیفیت	به‌کاربردن طراحیِ پیش‌مهندسی و پیش‌ساخته، نقص‌ها را کاهش می‌دهد.
طراحی با در نظر گرفتن ظرفیت نادرست	طراحی ماژولار امکان می‌دهد تصمیم‌گیری دربارهٔ مواردی همچون تعیین توان مصرفی، به‌جای سال‌ها پیش، در همان هنگام اجرا انجام بشود.
پیچیده‌بودن برنامه‌نویسی و پیکربندی سیستم‌های مدیریت	طراحی ماژولار امکانِ بهره‌گیری از ابزارهای استاندارد مدیریتِ دارای کارکردهای آماده را فراهم می‌کند. با این کار برنامه‌نویسی ویژهٔ هر تاسیسات کاهش می‌یابد.
فراهم ساختن تحمل خطا (Fault Tolerance)	طراحی ماژولار برای تحمل خطا و تعمیر و نگهداریِ هم‌زمان، معمولا قابلیت افزونگی N+1 دارد.
فراهم ساختن سازگاری استاندارد	طراحی‌ها را می‌توان از پیش برای مواردی همچون ایمنی، بهره‌وری انرژی، سازگاری، همچنین امنیت، اعتبارسنجی کرد تا دیگر نیاز نباشد هریک جداگانه ارزیابی بشوند. بدین ترتیب از حوادث غافل‌گیرکنندهٔ ناشی از ناسازگاری پیش‌گیری می‌شود.
ساده‌کردن آموزش کاربران	می‌توان آموزش را استاندارد و آسان کرد. زیرا مرکزدادهٔ ماژولار منحصربه‌فرد نیستند؛ همانند هستند.
بهره‌وری انرژی	ظرفیت بیشتر از نیاز (Oversizing) از عوامل مهم ناکارآمد بودن مرکزداده است. طراحی ماژولار و توسعه‌پذیر (Scalable) با داشتن برآورد درست، جلوی این مشکل را می‌گیرد. بسیاری از دیگر دلایل ناکارآمدی نیز با پیش‌مهندسی و استاندارد کردن تخفیف می‌یابند.

از هر مفهوم ماژولاری که صنعت مرکزدادهٔ امروزی مقرون‌به‌صرفه توصیف می‌کند، نمی‌توان همهٔ مزایای جدول ۱ را به‌دست آورد. تعریف‌ها و چهارچوب‌هایی که در این مقاله از معماری ماژولار ارائه شده است، در تایید موارد جدول بالا تعریف شده‌اند.

عناصر معماری ماژولار

 برای تشریح و مشخص‌کردن ماژولاریتی مرکزداده، نخست می‌باید به شیوهٔ به‌کاربردن آن توجه کرد. در این مقاله به سه عنصر ماژولاریتی می‌پردازیم که در توصیف معماری مرکزداده به‌کار می‌روند:

• ماژولاریتی دستگاه (Device Modularity): اینکه دستگاه‌ها از اجزای ماژولار تشکیل شده باشند.
• ماژولاریتی زیرسیستم‌ها (Subsystem Modularity): اینکه هر واحد کارکردی (Functional Block) از چندین دستگاه یا ماژول‌ همانند تشکیل شده باشد.
• پیوند ماژول‌ها (Module Linkage): روابط تعریف‌شده میان اجزای ماژول‌های زیرسیستم‌های گوناگون، که چگونگی دستیابی به افزونگی (Redundancy) [مطالعهٔ بیشتر] و ظرفیت و چگالی (Density) همچنین توسعهٔ آن‌ها را در طول زمان تعیین می‌کند.

سازندگان و دیگر طرف‌داران طراحی ماژولار مرکزداده به هر سه عنصر ماژولاریتی توجه دارند. ولی سومین آن‌ها یعنی «پیوند میان ماژول‌ها» با اینکه از بقیه‌ کمتر توسعه یافته است، برای ارتقای عملکرد فنی مرکزداده و نتایج کسب‌وکار بیشترین فرصت را فراهم می‌کند.

اکنون هریک از این عناصر را به‌تفصیل بیان می‌کنیم.

ماژولاریتی دستگاه

تشخیص تفاوت میان «ماژولاریتی معماری مرکزداده» با «ماژولاریتی دستگاه‌های به‌کاررفته در مرکزداده» اهمیت دارد.

گرایش به ماژولارسازی همهٔ دستگاه‌های مرکزداده از جمله سرور، دستگاه ذخیره‌ساز، تجهیزات شبکه، همچنین سیستم UPS مدت‌ها است که وجود دارد. ولی به سیستم‌های هواساز اتاق کامپیوتر (CRAH) و سیستم‌های توزیع برق به‌تازگی توجه شده است. ماژولار بودن این دستگاه‌ها مزایای آشکاری دارد که از مزایای آن قابلیت تعمیر و نگه‌داری، قابلیت پیکربندی دوباره، سرعت در تامین، امکان تغییر ظرفیت، همچنین زمان انتظار خرید کوتاه‌تر، شناخته‌شده هستند. بهره گرفتن از چنین دستگاه‌هایی در معماری ماژولار مرکزداده عامل مهمی است. با این حال بی‌شک بهره‌گرفتن از «دستگاه‌های ماژولار» لزوما به‌معنای «ماژولار بودن معماری مرکزداده» (به‌تعریف این مقاله) نیست.

شکل ۱: نمایش دو نمونه از ماژولاریتی دستگاه (UPS و PDU)

شکل 1b – مقاله ۱۶۰ دستگاه UPS ماژولار و باترهای آن	شکل 1a – مقاله ۱۶۰ واحد توزیع برق (PDU) ماژولار

ماژولاریتی زیرسیستم

واحدهای کارکردی درون مرکزداده مانند UPS، دستگاه تهویهٔ مطبوع سالن، همچنین چیلرها (یعنی زیرسیستم‌ها) را می‌توان با یکی از این دو روش اجرا کرد: یا با دستگاه یک‌تکه، یا با چند دستگاه (یعنی ماژول) که بار را میان خود تقسیم می‌کنند. برای نمونه، نیازمندی ۱ مگاواتی UPS را می‌توان با هریک از این چند شکل برآورده ساخت:

• با ۱ دستگاه UPS ـ ۱ مگاواتی
• با ۴ دستگاه UPS ـ ۲۵۰ کیلوواتی
• با ۱۰ دستگاه UPS ـ ۱۰۰ کیلوواتی
• با ۱٬۰۰۰ دستگاه UPS ـ ۱ کیلوواتی

خود هر دستگاه UPS ممکن است «ماژولاریتی دستگاه» را داشته باشد یا نداشته باشد. ولی زیرسیستم UPS را هنگامی ماژولار در نظر می‌گیرند که از چند دستگاه‌ تشکیل شده باشد. زیرسیستم‌های مرکزدادهٔ بزرگ (همچون PDU و دستگاه CRAH) که از چندین واحد کوچک‌تر تشکیل شده باشند، ماژولار هستند.

تحمل خطا (Fault Tolerance)، تعمیر و نگهداری هم‌زمان، لجستیک، این‌ها سه عامل اصلی محرک ماژولاریتی زیرسیستم به شمار می‌روند. داشتن «تحمل خطا» یعنی اینکه هرگاه یکی از ماژول‌ها خراب شود، زیرسیستم بتواند بدون وقفه به کارکرد خود ادامه دهد. «تعمیر و نگهداری هم‌زمان» هنگامی فراهم شده است که بتوان یک ماژول را بدون از کارافتادن سیستم برای بازبینی و عملیات نگهداری خاموش کرد. وجود دستگاه‌های با قابلیت جابه‌جایی (لجستیک) در تاسیسات بسیار سودمند است. اگر ماژول به‌قدر کافی کوچک باشد، می‌توان آن را با آسانسور و خودروی باربر جابه‌جا کرد و بدون دشواری از درهای ورودی و دیگر فضاهای داخلی عبور داد. چنین فایده‌ای موجب می‌شود زیرسیستم‌های بزرگ و یک‌تکه را از طراحی مرکزداده کنار بگذارند و زیرسیستم‌های متشکل از چندین ماژول را (به‌ویژه برای نصب و اجرا در فضای داخلی) جایگزین کنند.

بااین‌که ماژولاریتی زیرسیستم‌ها در مرکزداده برای انواع گوناگون دستگاه‌ها رایج است، ولی بسیاری از آن‌ها به وضعیت مطلوب ماژولار با نصب سوکتی نرسیده‌اند. برای نمونه برای اضافه‌کردن دستگاه‌های CRAHـ ۶۰ کیلوواتی هنوز هم به برنامه‌ریزی، مهندسی، لوله‌کشی، برنامه‌نویسی کنترل، همچنین داشتن مرحلهٔ راه‌اندازی نهایی (Commissioning) نیاز هست. سازندگان این محصولات برای اینکه بیش‌ازپیش از مزایای ماژولاریتی سوکتی در این زیرسیستم‌ها بهره‌مند بشوند، همچنان کوشش می‌کنند تا محصولات خود را بهبود دهند و این فرایند را ساده سازند.

ماژولاریتی زیرسیستم نیز همچون ماژولاریتی دستگاه در طراحی مرکزدادهٔ ماژولار عنصر مهمی به شمار می‌رود. ولی فراهم‌بودن آن به‌تنهایی به‌معنی ماژولار بودن معماری نیست. برای دستیابی به معماری ماژولار می‌باید طراحی به‌خوبی مشخص کند که چگونه چند زیرسیستم‌ با یکدیگر کار می‌کنند.

پیوند ماژول‌ها

برای اجرای هر واحد فاوا ترکیبی از فضای فیزیکی، برق، سرمایش، اتصالات، اطفای حریق، همچنین نورپردازی به‌کار می‌رود. ازاین‌رو پیوند ماژولاریتی میان انواع زیرسیستم‌های مرکزداده مفهوم کلیدی معماری ماژولار است.

در اصل هر مجموعهٔ کامل از زیرسیستم‌های متعادل و یکپارچه را می‌توان به‌عنوان واحد استاندارد ظرفیت مرکزداده ماژولار اجرا کرد. این‌چنین اجرایی آشکارا معماری ماژولار مرکزداده به شمار می‌رود. زیرسیستم‌های مرکزداده برای ماژول بودن می‌باید همگی با یکدیگر پیوند داشته باشند. از سویی می‌توان مراکزدادهٔ بسیار کوچک و مستقل را به‌مرور زمان به تاسیسات اضافه کرد. چنین حالتی معماری ماژولار مرکزداده به‌معنای واقعی است. این انگاره هرچند ساده به‌نظر می‌رسد ولی امروزه به‌دلایل زیر امکان‌پذیر نیست:

• مدیریت‌کردن هر ماژول ظرفیتی مرکزداده به‌عنوان مرکزدادهٔ جداگانه عملی نیست.
• بعضی از زیرسیستم‌ها فقط اگر بزرگ‌تر از ابعاد ماژول پیش‌گفته باشند مقرون‌به‌صرفه هستند.
• فراهم ساختن افزونگی برای مجموعهٔ ماژول‌ها اغلب ارزان‌تر و کارآمدتر از فراهم‌کردن برای هریک از ماژول‌ها است.
• اگر ظرفیت (همچون برق و سرمایش) برای هریک از ماژول‌های مرکزداده جداسازی بشود، ممکن است بخشی از آن بی‌استفاده بماند.
• اندازهٔ ماژول‌ها باید چندان کوچک انتخاب بشود که از آن بیشترین انعطاف‌پذیری به‌دست آید. ولی اگر ماژول برخی از دستگاه‌ها (همچون ژنراتور و چیلر) کوچک باشد، بسیار ناکارآمد خواهد بود.

هرچند پیوند میان تمام زیرسیستم‌ها و تبدیل آن‌ها به ماژول‌های مستقل و کامل امکان‌پذیر نیست، باید برای معماری ماژولار مرکزداده رویکردی برگزید که گروه زیرسیستم‌ها هماهنگ با هم و به‌روش منطقی اجرا بشوند. «پیوند ماژول‌ها» یکی از ویژگی‌های معماری مرکزداده است که چگونگی ارتباط زیرسیستم‌ها را در اجراهای گوناگون تعیین می‌کند.

برای بیان پیوند ماژول‌ها می‌توان به اجرای رک‌های تجهیزات و رک‌های دوشاخه‌های برق اشاره کرد. نمونهٔ سادهٔ آن تعریف‌کردن اجرای یک‌به‌یک است. اکنون به اجرای PDUها و رک‌ها توجه می‌کنیم. می‌توان برای آن قاعده‌ای تعریف کرد که هر PDU را به ۲۰ رک پیوند دهد. این روند را می‌توان ادامه داد و پیوندهایی همچون هر ژنراتور برای ۵۰۰ رک، هر دستگاه CRAH برای ۴۰ رک، هر سامانهٔ تجمیع داده (Data Acquisition System) برای ۲۰۰ رک را تعریف کرد. قواعد حاکم بر روابط میان اجراها را «پیوند» ماژولاریتی زیرسیستم‌های گوناگون می‌گویند. این پیوندها ممکن است قوانین اجرایی ساده باشند یا با کانتینرها و کیت‌های پیش‌مهندسی‌شده و پیش‌ساخته به‌کار روند.

در مراکزدادهٔ‌ سنتی درک مبهمی از پیوند‌ها در سرتاسر طراحی وجود دارد که با آن ظرفیت‌های مرکزداده را همچون ظرفیت کلی چیلر، سطح اشغال (Footprint)، همچنین ظرفیت CRAH تعیین می‌کنند. در این کار معمولا طراحی مرکزداده را کامل می‌کنند و آن را برای بیشینهٔ ظرفیت طراحی و بدون هیچ معماری ماژولاری می‌سازند. آنگاه برای به‌تاخیر انداختن هزینه اغلب بعضی از دستگاه‌ها را در مراحل اولیه نصب نمی‌کنند. برای نمونه سیستم را برای ۵ سری ژنراتور دیزلی با پیکربندی N+1 طراحی می‌کنند و تابلو برق و زیرساخت و چهارچوب‌های آن را برای ۵ ژنراتور دیزلی می‌سازند. سپس در هنگام اجرای اولیه تنها ۳ دستگاه از آن‌ها را نصب می‌کنند. می‌توان گفت چنین مرکزداده‌ای در سری ژنراتورها ماژولاریتی زیرسیستم‌ را دارد و از بعضی مزایای آن بهره‌مند است. ولی تا وقتی در میان زیرسیستم‌های مختلف دارای پیوند مشخصی نباشد، معماری این مرکزداده ماژولار به شمار نمی‌رود.

با توجه به سه عنصر «ماژولاریتی دستگاه» و «ماژولاریتی زیرسیستم‌» و «پیوند ماژول‌ها» که بیان کرده‌ایم، اکنون می‌توانیم مفهوم معماری ماژولار را تعریف کنیم و نشان بدهیم که در عمل چگونه است.

تعریف ماژولار بودن معماری مرکزداده

معماری ماژولار کارآمد در مرکزداده دارای ویژگی‌های زیر است:

• مجموعه‌ای از ماژول‌ها را تعریف می‌کند که مرکزداده بر اساس آن‌ها اجرا می‌شود.
• ماژول‌ها را به‌شکل زیرسیستم‌هایی تعریف می‌کند که تا می‌شود به‌هم مرتبط هستند؛ برای اینکه پیچیدگی اجرا به کمترین مقدار برسد.
• برای پشتیبانی از برنامهٔ رشد و توسعهٔ مرکزداده از قوانین و ابزارها و دستگاه‌هایی بهره می‌برد که با یکدیگر شیوهٔ اجرای تدریجی ماژول‌ها را تعیین می‌کنند.
• سیستم را چنان مهندسی می‌کند که برنامه‌ریزی، نصب، پیکربندی، همچنین نیاز برنامه‌نویسی را برای اجرای ماژول به کمترین مقدار برساند.
• ویژگی‌های سیستم اجرا شده را (همچون ظرفیت، کارایی، چگالی، وزن) پیشاپیش به‌درستی و بدون تحلیل بیشتر تعیین می‌کند.
• سطح جزئیات ابعاد ماژول را درست تعیین می‌کند و این کار را با سبک‌سنگین کردن موثر میان سادگی و هزینه و برآورد انجام می‌دهد.
• گزینه‌های آیندهٔ مرتبط با پایایی (Availability) (افزونگی) و توان مصرفی را به‌شکل مطلوب فراهم می‌آورد.
• این معماری کیفیت باز دارد (محدود نیست)؛ چنان‌که محصولات زیرساختی جدید و دستگاه‌های سازندگان گوناگون را در خود هماهنگ می‌کند.

توجه کنید معماری ماژولار مرکزداده آن‌طور که توضیح دادیم فقط لیست قطعات گوناگون نیست، بلکه خودش سیستمی است که به مهندسی و آزمون بسیاری نیاز دارد. با اینکه معماری ماژولار را می‌توان توسعه داد و برای هر مرکزداده‌ای تعریف کرد، بسیار مفیدتر و پربازده‌تر خواهد بود اگر استاندارد معماری آن در صنعت تعریف‌شده باشد. با به‌کاربردن معماری از پیش مهندسی‌شده و استاندارد در مرکزداده می‌توان به‌مقدار چشمگیری از عملیات مهندسی، مشخصات، برنامه‌ریزی، همچنین هزینه (و زمان) که صرف آزمون‌ها می‌شود کاست. هرچه مراکزدادهٔ بیشتری از معماری استاندارد بهره بگیرند، هزینه‌ کاهش می‌یابد و کیفیت بالا می‌رود.

مفهوم واحدهای ظرفیتی مرکزداده به‌نظر ساده می‌رسد، ولی در واقعیت چنین واحدهایی در سطوح و سلسله‌مراتب گوناگون اجرا می‌شوند. به‌عنوان نمونهٔ حداکثری می‌توان هریک از دستگاه‌های فاوا را واحد جداگانهٔ ظرفیتی یا مرکزدادهٔ مستقل کوچک به شمار آورد. از سوی دیگر ساختمان کاملا پیش‌ساختهٔ مرکزداده را نیز که ظرفیت فاوای آن ۴۰ مگاوات باشد می‌توان یک واحد در نظر گرفت. آن سه عنصر از ماژولاریتی (دستگاه، زیرسیستم، پیوند) که پیش‌تر گفتیم، برای تعریف معماری ماژولار کافی نیستند؛ افزون بر آن می‌باید توضیح داد ماژولاریتی در کدام سطح معماری به‌کار می‌رود. برای اینکه توضیح ما از واحدهای مرکزداده روشن باشد سلسله‌مراتب استاندارد زیر را تعریف می‌کنیم:

	تاسیسات مرکزداده، شامل:
		چند سالن فاوا، شامل:
			چند PoD فاوا، شامل:
				چندین رک فاوا، شامل:
					چندین دستگاه فاوا

با توجه به این تعریف سلسله‌مراتبی از مرکزداده، به‌سرعت درمی‌یابیم که واحدهای ظرفیتی فاوا را می‌توان در هریک از این پنج سطح اجرا کرد. یعنی مرکزدادهٔ دارای معماری ماژولار می‌تواند واحدهای ماژولار ظرفیت را (مجموعه‌های زیرسیستم‌های ماژولار مرتبط با هم)، در هر پنج سطح (دستگاه‌های فاوا، رک‌های فاوا، PoDهای فاوا [4]، سالن فاوا، در کل تاسیسات) اجرا کند. نمونه‌های ماژولاریتی هریک از این پنج سطح در مراکزدادهٔ واقعی مشاهده می‌شود.

در سلسله‌مراتب بالا از واژگان مرکزدادهٔ سنتی استفاده شده است. هرچند اگر «تاسیسات» را به‌معنای حیاط باز با ماژول‌های کانتینری و «سالن» را به‌معنای کانتینرها یا گروهی از کانتینر‌های مرتبط در نظر بگیریم، سطوح پیش‌گفته به‌شکل موثری طراحی غیر سنتی را نیز (همچون مراکزدادهٔ کانتینری) دربر خواهد گرفت.

روشن است که به‌طور کلی می‌توان بی‌شمار معماری ماژولار برای مراکزداده تعریف کرد. در واقع می‌پذیریم که هر مرکزداده‌ای می‌تواند معماری ماژولار منحصربه‌فرد خودش را داشته باشد. ولی البته چنین نتیجه‌ای بهینه نخواهد بود. زیرا بسیاری از مزایای مهم معماری ماژولار تنها هنگامی دست‌یافتنی است که معماری در میان مراکزداده استانداردشده باشد.

با درک این قابلیت‌ها اکنون می‌توانیم به مسائلی بپردازیم که ناشی از نیاز بهره‌برداران به معماری‌های ماژولار گوناگون است. دریابیم که آیا برآورده ساختن بیشتر این نیازها با بهره گرفتن از تنها چند معماری استاندارد امکا‌ن‌پذیر هست؟ پس از این برای توصیف و تعیین مرکزدادهٔ ماژولار روش استاندارد تعریف می‌کنیم و دربارهٔ اینکه چگونه می‌توان ماژولاریتی را به بهترین روش و بسته به وضعیت به‌کار برد، رهنمودهای پایه ارائه می‌دهیم.

یک معماری ماژولار، یا چند معماری ماژولار؟

در حالت مطلوب در هر مرکزداده، همهٔ کاربردها را یک معماری کامل ماژولار برآورده می‌سازد. متاسفانه الزامات بهره‌برداران مرکزداده تفاوت‌های چشمگیری دارند که نیاز به معماری‌های گوناگون را ضروری می‌کند. این تفاوت‌ها عبارت‌اند از:

• • تفاوت کاربردی در ابعاد مرکزداده
  • تفاوت در برنامهٔ رشد و توسعه
  • تفاوت در الزامات پایایی (Availability)
  • اولویت‌ها و محدودیت‌های ویژهٔ هر تاسیسات

معماری ماژولار پیشنهادی می‌باید به این واقعیت‌ها توجه کند. پیش از تلاش برای تعریف هر معماری ماژولار می‌باید تاثیر هریک از این چهار چالش را سنجید.

تاثیر ابعاد مرکزداده بر معماری ماژولار

ظرفیت مرکزداده (به‌وات) عاملی است که بر روش ماژولارسازی تاسیسات تاثیری زیادی دارد. برای روشن‌شدن موضوع سه نمونه را در نظر می‌گیریم: اتاق کامپیوتر کوچک در شعبهٔ اداری، مرکزدادهٔ کوچک، مرکزدادهٔ بسیار بزرگ. اکنون به جدول ۲ توجه کنید.

چنین به نظر می‌رسد که برای مراکزدادهٔ با ابعاد گوناگون، موثرترین رویکرد ماژولاریتی، زیرساخت فیزیکی بسیار متفاوت است. ازاین‌رو برای اجرای ماژولاریتی ممکن است واحد مناسب برای بیان ظرفیت مرکزداده در هر نمونه متفاوت باشد: «رک فاوا» برای اتاق کامپیوتر کوچک مطلوب باشد، «PoD فاوا» در مرکزدادهٔ کوچک سطح مناسب باشد، «سالن فاوا» در مرکزدادهٔ بسیار بزرگ بهترین اندازهٔ ماژول باشد.

مفهوم طراحی: دست‌کم به ۳ معماری ماژولار متفاوت نیاز هست تا از مراکزدادهٔ با ابعاد گوناگون پشتیبانی بشود. «رک»، «PoD»، «سالن»، سه ماژول‌های اصلی اجرا هستند که برای این معماری‌ها در نظر گرفته شده‌اند.

جدول ۲: تعداد عناصر طراحی موثر بر ماژولاریتی در مراکزدادهٔ با ابعاد گوناگون

	اتاق کامپیوتر در شعبهٔ اداری	مرکزدادهٔ کوچک	مرکزدادهٔ بزرگ
تعداد سالن (اتاق)	۱	۱	۶
تعداد PoD فاوا	۱	۴	۳۰
تعداد رک فاوا	۵	۴۰	۳۶۰
تعداد دستگاه فاوا	۲۰	۲۵۰	۲٬۰۰۰

بهره‌برداران این مراکزداده اغلب طرز فکر متفاوتی دربارهٔ مقیاس اجرای تجهیزات فاوا در طول برنامهٔ رشد و توسعهٔ خود دارند که جدول ۳ نمایش می‌دهد.

جدول ۳: اجراهای معمول فاوا به‌عنوان تابعی از ابعاد مرکزداده

	اتاق کامپیوتر در شعبهٔ اداری	مرکزدادهٔ کوچک	مرکزدادهٔ بزرگ
تعداد دستگاه فاوای اجرا شده در هر مرحله	۱ تا ۵	۵ تا ۲۰	۲۰ تا ۸۰
بهترین واحد زیرساخت اجرا شده	رک	رک یا PoD	PoD یا اتاق

تاثیر تغییرات برنامهٔ رشد و توسعه بر معماری ماژولار

بار فاوای بعضی از مراکزداده ثابت و از پیش تعیین‌شده است که انتظار می‌رود در طول عمر تاسیسات بدون تغییر بماند. از سوی دیگر برخی از مراکزداده ممکن است برنامهٔ رشد مصارف فاوا را طولانی‌مدت و کند پیش‌بینی کنند، یا دربارهٔ مقدار مصرف نهایی عدم قطعیت [5] چشمگیری داشته باشند.

مرکزداده‌‌ای که بار ثابت از پیش تعریف‌شده داشته باشد، اگر زیرساخت آن را پیشاپیش و کامل با ظرفیت بیشتر از نیاز بسازند، دچار هدررفت و زیان نخواهد شد. بلکه در واقع چنین کاری ضرورت نیز دارد. در این حالت مزایای توسعه‌پذیری (Scalability) ناشی از معماری ماژولار بی‌ارزش به‌نظر می‌رسد. هرچند وجود بسیاری از دیگر مزایای طراحی ماژولار همچون کاهش کارهای مهندسی، مزایای کیفیتی حاصل از طراحی امتحان‌شده، همچنین کاهش زمان انتظار (Lead Time) همچنان جذاب است. هنگامی که مقدار مصرف فاوا ثابت باشد و به‌درستی نیز تعیین بشود، معماری ماژولار در بسیاری از زیرسیستم‌ها به دستگاه‌های مرکزی و ماژول‌های با ابعاد بزرگ گرایش می‌یابد.

برای مرکزداده‌ای که توسعهٔ آهسته و برنامهٔ رشد نامطمئن دارد، مزایای توسعه‌پذیری عامل مسلط در طراحی است. در چنین تاسیساتی اجرای پیشاپیش زیرساخت به‌مقدار بیشتر از نیاز احتمالا موجب زیان‌های کلان می‌شود: هزینهٔ سنگین برای تجهیزات بی‌استفاده یا آن‌ها که از تمام ظرفیت‌شان استفاده نمی‌شود، هزینهٔ نگهداری دارایی‌هایی که سود و ارزش ندارند، هدررفت آن مقدار از انرژی که برای زیرساخت بی‌استفاده تامین می‌شود، حتی احتمال ثبت ارزش غیر واقعی برای دارایی‌های عظیم در حالی که در نیمهٔ عمر مفید خود متوقف شده‌اند. قابلیت متناسب‌بودن توسعهٔ زیرساخت با مصرف فاوای مرکزداده در چنین وضعیت‌هایی نقش مهمی بر بهای تمام‌شدهٔ تاسیسات و در نتیجه نرخ بازگشت سرمایه دارد. معماری ماژولار موجب می‌شود اجرای بیشتر از نیاز زیرساخت به کمترین مقدار برسد و ماژولارسازی زیرسیستم‌ها حداکثری شود. از همین رو است که در میان گزینه‌ها بهترین انتخاب به شمار می‌رود.

مفهوم طراحی: مراکزداده‌ای که بار مصرفی ثابت و قابل پیش‌بینی دارند، اگر از معماری ماژولار برپایهٔ دستگاه‌های مرکزی و ماژول‌های بزرگ‌اندازه استفاده کنند که معمولا از پیش اجرا می‌شوند، از مزایای ماژولاریتی بهره‌مند خواهند شد. مراکزداده‌ای که مصارف آیندهٔ نامشخص و برنامهٔ رشد طولانی‌مدت دارند نیز اگر بر اساس زیرساخت غیر متمرکز و ماژول‌های با ابعاد کوچک‌تر اجرا بشوند، از این مزایا بهره می‌برند. این‌ها الزامات ناهمگونی هستند که در معماری مرکزداده به رویکردهای گوناگون نیاز دارند.

نقش الزامات پایایی در معماری ماژولار

بسیاری از طراحی‌های مرکزداده برای دست یافتن به تحمل خطا و امکان تعمیر و نگهداری بدون خاموشی تاسیسات دارای سطوحی از افزونگی هستند. افزونگی یعنی زیرسیستم از عناصر گوناگونی تشکیل شده است که برخی از آن‌ها را افزونه در نظر گرفته‌اند. ازاین‌رو برای هر مرکزدادهٔ دارای افزونگی می‌باید دست‌کم یک رویکرد مقدماتی برای دستیابی به ماژولاریتی فراهم باشد. در طراحی سنتی مرکزداده، تحلیل و پیش‌بینی عملکرد سیستم‌های افزونه در طول عمر مفید تاسیسات کار پیچیده‌ای بود. این فقط یکی از چندین دلیلی است که مراکزدادهٔ سنتی را اغلب پیشاپیش با ظرفیت نهایی و کامل می‌ساخته‌اند.

معماری ماژولار و کارآمد می‌باید شیوه‌ای روشن برای اجرای ماژول‌های ظرفیتی فاوا ارائه دهد که هم‌زمان افزونگی مطلوب را نیز فراهم سازد. افزونگی مطلوب در طی توسعهٔ مرکزداده باید حفظ بشود. معماری ماژولار مرکزداده در بهترین حالت برای اینکه مقرون‌به‌صرفه‌ترین پشتیبانی ممکن را برای الزامات مختلف فاوا تامین کند، می‌باید متناسب با سطوح گوناگون افزونگی گزینه‌هایی را برای بخش‌های گوناگون مرکزداده فراهم سازد.

اجرای افزونگی در مرکزداده روش یگانه‌ای ندارد. معمولا چنین است که سطح آن را بیان می‌کنند (همچون N+1 ،2N، سیستم مضاعف)؛ ولی چنین بیانی روشن نیست زیرا برای اجرای هرکدام از آن‌ها راه‌های گوناگونی وجود دارد. برای نمونه در سیستم UPS با حالت N+1 می‌توان افزونگی را در درون UPS، یا با دستگاه‌های UPS موازی، یا با معماری سه‌افزونه (حلقه‌ای / Tri-Redundant)، یا با طراحی‌ به‌اصطلاح «گیرنده» همراه با کلیدهای انتقال استاتیک [6] به‌دست آورد. چنین گوناگونی در روش‌های اجرای افزونگی موجب پیدایش معماری‌های گوناگون با روش‌های ماژولاریتی گوناگون شده است.

معماری ماژولار کارآمد اندازهٔ ماژول‌ها را با توجه به اهداف افزونگی بهینه می‌سازد. کوچک‌‌بودن ماژول‌ها در معماری N+1 امکان می‌دهد ماژول «۱+» کوچک‌تر باشد. بدین ترتیب از هزینه کاسته می‌شود و بهره‌وری افزایش می‌یابد. ولی ماژول‌های کوچک‌تر یعنی تعداد بیشتر و این مسئله‌ای است که بر پیچیدگی می‌افزاید.

مفهوم طراحی: معماری ماژولار مرکزداده سخت متاثر از الزامات افزونگی است. نمی‌توان معماری واحدی داشت که هم در مرکزدادهٔ کم‌هزینه و هم در مرکزدادهٔ با اطمینان‌پذیری بالا کارآمد باشد.

راهبرد حیطه‌بندی خرابی‌ها (Fault Partitioning) عنصر مهم دیگری است که در میزان پایایی هر معماری نقش دارد. این کار با جداسازی دستگاه‌های زیرسیستم از یکدیگر انجام می‌شود. در معماری ماژولاری که شامل تعدادی دستگاه همچون چیلر باشد می‌توان همهٔ دستگاه‌ها را بر یک باس (شینه / Busbar) به‌شکل موازی قرار داد، یا بدون موازی‌سازی هریک را جداگانه به یک PoD یا منطقه اختصاص داد. مزیت موازی‌سازی آن است که امکان می‌دهد برای دست یافتن به افزونگی N+1 یک دستگاه بیشتر به باس اضافه بشود. بدین ترتیب هرگاه یکی از دستگاه‌های متصل به باس از کار بیفتد، دستگاه افزونه پشتیبانی می‌کند و جایش را می‌گیرد.

مهم‌ترین مشکل موازی‌سازی آن است که می‌باید باس را برای هر پیکربندی ممکن جداگانه طراحی و تحلیل کرد. لوله‌کشی سیستم چیلرهای موازی باید برای هر ترکیب ممکن از چیلر بررسی شود و مشخصات آن پیشاپیش برای پیکربندی حداکثری برآورد گردد. به همین ترتیب موازی‌سازی UPS بر باس‌های بزرگ توزیع برق نیز مسائل همانندی با کابل‌کشی و تابلو برق دارد. ازاین‌رو موازی‌سازی دستگاه‌ها بر باس‌های بزرگ مشکل مهمی است که بسیاری از مزایای ماژولاریتی را خنثی می‌کند. اگر به‌جای این کار هر دستگاه اصلی را به یک سالن (اتاق) یا PoD مشخص اختصاص بدهیم، این پیچیدگی‌ها برطرف خواهد شد.

هرگاه دستگاه‌های زیرسیستم بدون باس مشترک و به‌شکل جداگانه باشند، مشخصات تمامی زیرساخت باس از پیش به‌درستی تعریف می‌شود که فرایند پیش‌ساخته بودن دستگاه‌ها را آسان می‌سازد. بدین ترتیب افزودن واحدهای ظرفیتی فاوا مشکلی برای باس‌های فعلی سیستم برق و سرمایش ایجاد نمی‌کند. افزونگی مطلوب به هر حال برای هریک از دستگاه‌ها باید جداگانه فراهم باشد. ولی اینکه هر دستگاه واحد افزونهٔ خودش را داشته باشد، هدررفت چشمگیری به شمار می‌رود. هزینهٔ افزونگی مهم‌ترین دلیل به‌کار نبردن این رویکرد در مراکزدادهٔ با پایایی (Availability) بالا است. امروزه برای حل این مشکل دستگاه‌های ماژولاری ساخته‌اند که اغلب افزونگی N+1 داخلی دارند که با همان قیمت روش سنتی موازی‌سازی یا ارزان‌تر فراهم می‌شود. شکل ۲ دو نمونه از دستگاه‌های ماژولار با افزونگی داخلی N+1 را نمایش می‌دهد که برای اجرای ماژولار بسیار بزرگ نیز مناسب هستند.

شکل ۲: دو نمونه از زیرسیستم‌های اصلی که با افزونگی داخلی N+1 به تحمل خطا دست یافته‌اند.

شکل 2b – مقاله ۱۶۰ ماژول‌های سرمایش با افزونگی داخلی	شکل 2a – مقاله ۱۶۰ دستگاه UPS با افزونگی داخلی

مفهوم طراحی: مهم‌ترین ویژگی گزینه‌های پیشنهادی طراحی که آن‌ها را از هم متمایز می‌سازد، تفاوت رویکرد موازی‌سازی باس‌های سیستم برق و سرمایش در معماری ماژولار است. سیستم‌هایی که باس‌های مستقل (با کمترین موازی‌سازی) دارند، در واقع توسعه‌پذیرترین و انعطاف‌پذیرترین سیستم‌ها هستند که نگهداری و به‌روزرسانی آن‌ها آسان و بدون خطر ازکارافتادگی انجام می‌شود. البته این روش برای دستیابی به افزونگی مقرون‌به‌صرفه معمولا به دستگاه‌هایی همچون UPS و چیلر دارای افزونگی داخلی (معماری N+1 درون دستگاه) نیاز دارد.

تاثیر اولویت‌ها و محدودیت‌های ویژهٔ هر تاسیسات بر معماری ماژولار

شکل مطلوب چنین است که نخست معماری استاندارد مرکزداده انتخاب بشود، سپس ساختمان را بسازند، آنگاه واحدهای ماژولار با معماری انتخابی را در آن اجرا کنند. این روش بهینه است، ولی اغلب شدنی نیست. بیشتر پروژه‌های ماژولار مرکزداده باید در ساختمان از پیش ساخته اجرا بشوند. محدودیت‌های احتمالی پروژه شامل این موارد است: ابعاد فیزیکی محیط فاوا، دستگاه چیلر مرکزی یا سیستم‌های تهویه، تاسیسات الکتریکی موجود، ارتفاع سرگیر سالن‌های فاوا، برخی دستگاه‌های برق و سرمایش موجود در تاسیسات. همچنین برای اینکه بتوان معماری ماژولار را در ساختمان به‌کار برد، وجود ابزاری برای سازگاری با این محدودیت‌ها ضروری است.

افزون بر این بهره‌بردار مرکزداده نیز ممکن است اولویت‌هایی داشته باشد که بر طراحی تاثیر بگذارد. مثلا بخواهد همیشه بازدیدکننده داشته باشد، یا گروهی از تجهیزات فاوا در محدودهٔ مشخصی جداسازی شوند، یا کابل‌کشی شبکه چنان اجرا بشود که بر هوارسانی یا توزیع برق تاثیر نگذارد. سازمان می‌تواند رفته‌رفته سیاههٔ چشمگیری از استانداردهای مرتبط با طراحی مرکزداده فراهم سازد و در ورودی طراحی از آن استفاده کند. به‌طور کلی معماری استاندارد نمی‌تواند همگی اولویت‌های گوناگون را برآورده سازد.

معماری ماژولار مرکزداده این قابلیت را دارد که انعطاف‌پذیر باشد تا گزینه‌هایی را برای سازگار شدن با محدودیت‌ها و اولویت‌های تاسیسات فراهم سازد. قابلیت سازگاری موردی در معماری همواره دست‌یافتنی است، ولی امکان دارد برخی از مزایای معماری ماژولار استاندارد را از میان ببرد.

مفهوم طراحی: اگر به‌جای تلاش برای خوراندن معماری انتخابی به مشخصات از پیش تعیین‌شده، مشخصات را (با بازبینی اولویت‌ها و محدودیت‌های سایت) با معماری مطلوب سازگار کنیم، نتیجهٔ بهتری به‌دست خواهد آمد. ابعاد و شکل سالن‌های موجود رایج‌ترین محدودیت‌های مرکزداده هستند. معماری ماژولار کاربردی می‌باید روشی را برای سازگاری با ابعاد و شکل سالن‌های موجود به کار برد.

در نظر گرفتن تمامی عوامل پیش‌گفته روشن می‌سازد با چند معماری استانداردشده که دربارهٔ افزایش اندازهٔ ماژول‌ها و افزونگی دارای تفاوت‌های اولیه باشند، می‌توان بیشتر الزامات مراکزداده را برآورده ساخت. بنابراین به‌تعداد بی‌شمار از معماری‌های گوناگون نیازی نیست. این موضوع نشان می‌دهد که به‌زودی بهره گرفتن از معماری استاندارد مرکزداده امکان‌پذیر خواهد بود.

مستندسازی معماری ماژولار مرکزداده

پس از اینکه ماهیت معماری ماژولار در مرکزداده به‌خوبی درک شد، اکنون می‌توان برای هریک از معماری‌ها روش مستندسازی تعریف کرد. در این مقاله مفهوم مستندسازی را با سه عنصر اصلی بیان می‌کنیم:

• نموداری برای نمایش چگونگی اجرای ماژولاریتی و پیوندهای میان زیرسیستم‌ها
• تعیین چند ویژگی فنی اصلی معماری
• مجموعه‌ای از نمودارها برای بیان سطح اشغال ماژول‌های گوناگون در چیدمان

نمودار ماژولاریتی برای معماری مرکزداده

شکل ۳ نمونه‌ای از نمودار ماژولاریتی است که برای معماری مرکزداده تهیه می‌شود. این شکل هر سه عنصر ماژولاریتی را (دستگاه، زیرسیستم‌، پیوند) که در سه سطح PoD و سالن و تاسیسات اجرا می‌شوند نمایش می‌دهد. نموداری که می‌بینید اطلاعات بسیاری دربارهٔ معماری دارد که در ادامه خواهیم گفت.

شکل ۳: نمونه‌ای از نمودار ماژولاریتی برای معماری مرکزداده

در کنارهٔ سمت راست جدول شکل ۳، نام زیرسیستم‌های مرکزداده آمده است. خانه‌های خاکستری، نماد دستگاه‌ها هستند. هنگامی که همگی خانه‌ها اجرا بشوند، مرکزداده تا بیشینهٔ ظرفیت خود پیکربندی شده است. خانه‌های جدول معمولا از راست به چپ اجرا می‌شوند، تا مرکزداده به‌تدریج و متناسب با افزایش مصرف فاوا توسعه یابد. برای هر مقدار از ظرفیت مشخص فاوا به‌کیلووات، تمامی خانه‌های خاکستری سمت راست باید اجرا بشوند. خانه‌های خاکستری که بیانگر ماژولار زیرسیستم‌‌ها هستند، می‌باید هماهنگ با توسعهٔ ظرفیت مرکزداده افزوده شوند. بدین ترتیب این نمودار نمایش‌دهندهٔ پیوند میان ماژول‌های گوناگون زیرسیستم‌ها است. برای نمونه این شکل نشان می‌دهد که ماژول‌های CRAH به PoDها ارتباط دارند و برای هر سه دستگاه CRAH یک دستگاه افزونهٔ N+1 وجود دارد. همچنین برای هر ۱۲ ماژول CRAH یک دستگاه رطوبت‌ساز اجرا شده است و هر رطوبت‌ساز نیز به سالن ارتباط دارد.

در معماری شکل ۳ زیرسیستم‌های بالای نمودار (رک فاوا و رک PDU) با یکدیگر پیوند دارند و در فواصل ۶۰ کیلووات قرار گرفته‌اند. این زیرسیستم‌های دارای پیوند و هماهنگی، تشکیل‌دهندهٔ PoDهای ظرفیت فاوا هستند و ماژول اجرایی اصلی در معماری به شمار می‌روند. در این معماری که مشاهده می‌کنید هر PoD دربرگیرندهٔ رک‌های فاوا، رک‌های PDU،  PDPMها (RPPها)، UPS، CRAH، همچنین سیستم دالان گرم بسته است.

چنان‌که پیش‌تر گفتیم بعضی از زیرسیستم‌ها اگر در PoD اجرا بشوند کارآمدی کافی را ندارند. در معماری شکل ۳ زیرسیستم‌هایی همچون رطوبت‌ساز، دستگاه توزیع آب سرد، پمپ آب سرد، همچنین روشنایی، آن‌چنان پیوند یافته‌اند‌ و تنظیم شده‌اند که به‌شکل طبیعی از سه PoD پشتیبانی می‌کنند. هر سه PoD از این زیرسیستم‌ها سالن را تشکیل می‌دهند. سالن را می‌توان با دیوارهای فیزیکی یا با دیواره‌های مجازی به‌وجود آورد. معمولا آن سالن‌های کوچک‌تری را که در درون یک سالن بزرگ‌تر هستند ناحیه در نظر می‌گیرند.

هر مرکزداده دارای زیرسیستم‌هایی است که در سطح تاسیسات نقش دستگاه مرکزی را دارند و بهینه اجرا می‌شوند. چیلر، مبدل حرارتی، برج خنک‌کننده، ژنراتور، تابلو برق در شکل ۳ از این‌گونه زیرسیستم‌ها هستند. در آن معماری که شکل ۳ نشان می‌دهد برخی از این زیرسیستم‌ها (مانند ژنراتور) ماژولار نیستند، ولی دیگر زیرسیستم‌ها (مانند چیلر) ماژولار هستند.

شکل ۳ همچنین چگونگی اجرای افزونگی در معماری ماژولار را نشان می‌دهد. اجرای ماژول یا برای ظرفیت یا برای افزونگی است. این تفاوت در توضیحات معماری می‌باید به‌خوبی روشن باشد. هر زیرسیستم در نمودار به‌شکل گروهی از ماژول‌ها به‌نمایش درآمده است که از راست به چپ بر ظرفیت می‌افزایند. همچنین می‌توان هر ماژول را در زیر مجموعهٔ ماژول‌هایی آورد که در نقش افزونگی به ظرفیت کمک می‌کنند. برای درک چگونگی اجرای افزونگی زیرسیستم‌های CRAH در این معماری به شکل ۴ توجه کنید که جزئیات این زیرسیستم را نشان می‌دهد.

شکل ۴: بخش زیرسیستم CRAH از جدول ماژولاریتی شکل ۳

در اینجا افزونگی N+1 را می‌بینید؛ چنان‌که به‌ازای هر سه ماژولی که اجرا شده یک ماژول افزونه وجود دارد. افزونگی N+1 تنها در سطح PoD اجرا می‌شود. توجه داشته باشید که در این معماری اجرای ماژول N+1 برای CARH در سطوح دیگر (همچون برای هر دو PoD، یا در سطح سالن) کارآمد نیست. در اینجا معماری تعیین کرده است که افزونگی چگونه اجرا بشود. روشن است که قرار دادن ماژول افزونه در نمودار به ظرفیت سیستم کمکی نخواهد کرد.

شکل ۵: بخش زیرسیستم چیلر از جدول ماژولاریتی شکل ۳

شکل ۵ چگونگی اجرای افزونگی دستگاه چیلر را در این معماری نمایش می‌دهد. در اینجا طراحی چیلر N+1 را داریم که در آن هر ماژول قابلیت پشتیبانی از ۴٫۵ منطقه (PoD) را دارد. این نمونه نشان می‌دهد که در ماژولاریتی برای توسعهٔ دستگاه مرکزی ضرورت ندارد «جانمایی» با یک PoD یا یک سالن هماهنگ باشد. در معماری شکل بالا آن دو چیلر که در سمت راست هستند باید همان اول کار نصب بشوند تا افزونگی N+1 را فراهم کنند. چیلر سوم هنگامی نصب می‌شود که PoD پنجم به سیستم اضافه شود. بند آبی‌رنگی که میان دو چیلر راست و چپ در ردیف بالایی می‌بینید، نشان می‌دهد که هر دو چیلر با یک باس تغذیه می‌شوند و چیلر N+1 که در ردیف پایین قرار دارد افزونهٔ دو چیلر دیگر است. ممکن است چنین به‌نظر برسد که سودمند خواهد بود برای بهتر بودن توسعه‌پذیری از چیلرهای با اندازهٔ کوچک بهره بگیریم تا با اجرای PoD متناسب باشد. ولی این دستگاه گران‌قیمت است و تقسیم‌کردن کارکرد آن به قسمت‌های کوچک‌تر هدررفت را افزایش می‌دهد. چیلر در این معماری باید از دامنهٔ گسترده‌ای از ظرفیت پشتیبانی کند. این مسئله نشان می‌دهد که باید از نوع دارای کمپرسور دور متغیر استفاده کرد. نکتهٔ مهم آن است که انتخاب اندازه و نوع ماژول در موضوع بهینه‌سازی معماری، مشکل پیچیده‌ای است که به تحلیل و آزمون نیاز دارد. بدیهی است توسعهٔ معماری در واقعیت بسیار دشوارتر از گذاشتن بلوک‌ها در هنگام ترسیم نمودار است. نمودار شکل ۳ روش ساده و کارآمدی برای نمایش و مستندسازی و روابط در معماری فراهم می‌سازد.

تعیین ویژگی‌های فنی اصلی

هر مرکزدادهٔ مشخص در سطح سیستم دارای ویژگی‌های عملکردی است. همچون: PUE به‌عنوان تابعی از مصرف فاوا، توان مصرفی، مجموع ظرفیت ورودی برق شهری، سطح اشغال، مقدار تخلیه الکترونیکی، بار کف، هزینهٔ خرید، هزینهٔ عملیاتی. بسیاری از این ویژگی‌ها قابلیت اندازه‌گیری را دارند، ولی معمولا میان آنچه در واقعیت هست با آنچه پیشاپیش تعیین می‌شود یا میزان سازگاری که طراحی پیشنهادی مشخص می‌کند، تفاوت آشکاری وجود دارد. زیرا تشخیص ویژگی‌های سیستم از ویژگی‌های اجزای دستگاه‌های به‌کاررفته در سیستم اغلب کار آسانی نیست.

بیشتر بهره‌برداران مرکزداده برای غلبه بر این مشکل معمولا خودشان استانداردهای داخلی طراحی را تدوین می‌کنند یا می‌کوشند از استانداردهای طراحی که پیش‌تر توسعه یافته‌اند بهره بگیرند. بدین وسیله قابلیت پیش‌بینی نتایج عملکرد برای مواردی همچون اطمینان‌پذیری، بهره‌وری، همچنین ظرفیت بهبود می‌یابد. این روش کمابیش با موفقیت همراه است، ولی به‌کارگیری آن موجب می‌شود بهره‌برداران نتوانند از مزایای آخرین فناوری‌ها بهره‌مند شوند. اگر بتوان مشخصات فنی عملکردی سطح سیستم را برای گزینه‌های گوناگون مرکزداده (همچون رویکردهای جدید) پیشاپیش تعیین کرد، این روش آشکارا نتیجهٔ بهتری خواهد داشت.

گرچه برخی از مشخصات سیستمی هر مرکزداده‌ای ویژهٔ خودش است، ولی بسیاری دیگر را می‌توان مشخصات معماری در نظر گرفت و در هر تاسیساتی که با آن سازگار باشد به‌کار برد. برای نمونه پیش‌بینی کردن PUE برپایهٔ سیاههٔ اجزای قطعات، برای مرکزدادهٔ خاصی که بار مصرفی مشخص دارد، کار دشواری است. اما اگر عملکرد معماری به‌کاررفته در آن مرکزداده از پیش روشن باشد، تخمین PUE نیز آسان خواهد بود. چند داده‌ای (Data) که در همهٔ معماری‌ها باید مشخص باشند عبارت‌اند از:

• مقدار PUE به‌عنوان تابعی از مصرف، برای هریک از گام‌های اجرای تعیین‌شده در معماری
• افزونگی زیرسیستم (همچون N+1 یا 2N)
• مقدار فضای تجهیزات در محیط (به U یا همان Rack Unit بر PoD)
• مقدار بار کف بر PoD
• مقدار بار کف بر سالن (اتاق)
• الزامات اندازه بر PoD
• الزامات اندازه بر سالن (اتاق)
• هزینهٔ تقریبی بر کیلووات
• کلاس (Tier Level) مرکزداده
• مقدار مصرف آب بر کیلووات در مکان‌های جغرافیایی گوناگون
• متوسط برق فراهم‌شده بر رک
• اوج توان مصرفی فراهم‌شده بر رک [7]
• متوسط توان بر متراژ سالن پردازش
• الزامات اجرای لوله‌کشی و کابل‌کشی

داشتن این مشخصات در مراحل نخستین فرایند طراحی موجب می‌شود سرعت و کیفیت فرایند پروژهٔ پیشنهادی مرکزداده بسیار بهبود یابد. می‌توان معماری‌های گوناگون را به‌سرعت با هم مقایسه کرد. می‌توان بدون نیاز به جزئیات بیشتر و هدر رفتن زمان، یکی از آن‌ها را برای دست یافتن به توسعهٔ مفهوم برگزید. برای مشاهدهٔ نمونه‌های بیشتر از معماری استاندارد و معماری‌های مرجع مرتبط با آن به مقالهٔ «پروژه‌های مرکزداده: مزایای به‌کاربردن معماری مرجع» [8] مراجعه کنید. پس از انتخاب معماری می‌توان بسیاری از ویژگی‌های طراحی دقیق و پرجزئیات را تعیین کرد و احتمالا برنامهٔ زمانی پروژه را با پیش‌مهندسی یا حتی پیش‌تولید سرعت داد، همچنین کیفیت و پیش‌بینی‌پذیری نتایج را بهبود بخشید.

نمودارهای نشان‌دهندهٔ سطح اشغال ماژول‌ها

در معماری سنتی مرکزداده چه ساختمان جدید باشد چه از پیش موجود باشد، معمولا جانمایی تمام زیرسیستم‌ها فرایند زمان‌بری است که دوباره‌کاری دارد و باید فضا و مکان تعداد بسیاری از دستگاه‌ها را تحلیل کرد. از جمله می‌باید به گزینه‌های پیشنهادی هر دستگاه، گزینه‌های با سطح اشغال گوناگون، دسترسی، همچنین تجهیزات جانبی (همچون نمایشگر یا صفحه‌کلید) توجه داشت.

شکل ۶: نمونهٔ سطح اشغال ماژول PoD

روشن است که در معماری ماژولار (مانند آنچه که در ابتدای این بخش بیان شد) می‌باید سطح اشغال را هرچه کمتر در نظر گرفت. برای نمونه اگر PoD را واحد اصلی ساخت در نظر بگیریم، سطح اشغال (Footprint) بسیاری از دستگاه‌ها روی سطح PoD قرار می‌گیرد. شکل ۶ نمونه‌ای از سطح اشغال PoD را نمایش می‌دهد.

یکی از دلایلی که در رد به‌کارگیری معماری ماژولار بیان می‌شود، محدودیت بسیار آن برای سطح اشغال است. چنان‌که امکان دارد انعطاف‌ناپذیری PoD یا سطح اشغال زیرسیستم‌های دیگر نگذارد از تمام فضای موجود استفاده بشود. بهره‌برداران اغلب مجبورند مرکزداده را درون محیط از پیش‌ساخته‌ای که اندازه و شکل مشخص‌شده دارد جا بدهند. نمونه‌های بسیاری را می‌توان دید که اجرای PoD استاندارد موجب شده بخش‌هایی از سطح محیط بی‌استفاده بماند. از سوی دیگر تجربه نشان می‌دهد که این مشکل به‌دلایل زیر اهمیت ندارد:

• اگر سطح اشغال PoD از پیش مشخص باشد، اغلب می‌توان برای اطمینان از مناسب‌بودن اندازه‌ها در محیط برنامه‌ریزی کرد.
• برای داشتن چیدمان مفید در فضاهای نامعمول می‌توان از معماری PoD با همان ظرفیت متوسط طراحی‌های پیشین استفاده کرد.
• ظرفیت تجهیزات فاوا در طراحی PoD اغلب بسیار بالاتر از بهره‌وری به‌دست‌آمده از تجمیع دستگاه‌های فاوا در روش‌های سنتی است. زیرا گذرگاه‌های دسترسی و توان مصرفی بهینه هستند. طراحی‌های مبتنی بر PoD معمولا تجهیزات فاوای بیشتری را در خود جا می‌دهند و از طراحی‌های سنتی که به‌نظر می‌رسد از همهٔ فضا استفاده می‌کنند کارآمدتر هستند.

تعیین مشخصات پروژهٔ مرکزداده با روش‌های ماژولار

با توجه به اطلاعاتی که تاکنون بیان کرده‌ایم، اکنون روش‌های استاندارد زیر را برای انتخاب‌کردن معماری ماژولار بهینه بیان می‌کنیم:

1. طراحی کلی را برای پارامترهای اصلی تعریف کنید. (ظرفیت برق، پایایی (Availability)، برنامهٔ رشد و توسعه، توان مصرفی)
2. برای انتخاب معماری استانداردی که بیشترین تناسب را با مجموعهٔ الزامات داشته باشد، از پارامترهای فاوا استفاده کنید. (ابزارهای توصیه‌شده، روش‌ها، رهنمودهای انتخاب)
3. محدودیت‌های ویژهٔ پروژه را شناسایی کنید. (فضای فیزیکی موجود، زیرسیستم‌های برق و سرمایش)
4. با توجه به محدودیت‌ها و معماری انتخاب‌شده، مجموعهٔ ماژول‌ها و هر گزینهٔ دیگری را که برای دستیابی به پارامترهای فاوا نیاز هست شناسایی کنید.
5. با توجه به محدودیت‌های پروژه، قابلیت اجرای ماژول‌ها را بررسی و تایید کنید.
6. اگر با محدودیت‌های موجود، معماری انتخابی موجب ناکارآمد طراحی بشود، باید گزینه‌های دیگر از همین معماری یا معماری‌های جایگزین را در نظر بگیرید و بکوشید محدودیت‌ها را تغییر دهید و سازگار کنید.
7. معماری نهایی را انتخاب یا تعریف کنید.
8. هنگام تعیین مشخصات طراحی مرکزداده، مجموعهٔ ماژول‌های ضروری برای تکمیل الزامات فاوا را نیز در نظر بگیرید.
9. طراحی جزئیات را آغاز کنید.

توجه داشته باشید که فرایند برنامه‌ریزی پیش‌گفته را اغلب می‌توان در چند ساعت (با هزینهٔ پیش‌بینی‌شده) انجام داد، ولی رویکرد سنتی چند ماه به‌درازا می‌کشد. دلیلش این است که معماری استاندارد امکان تجسم سریع مفاهیم بهینه‌شدهٔ جایگزین را فراهم می‌کند.

کانتینر و دیگر مدل‌های پیش‌ساخته

ما برای نمایش مفاهیم در بررسی‌های این مقاله از مراکزدادهٔ سنتی سالنی استفاده کردیم. ولی این واژگان و روش‌ها را همچنین در هر اجرا یا فناوری دیگر نیز می‌توان به‌کار برد. نمودارها و شیوه‌های تعیین مشخصات برای توصیف مرکزداده‌ای که برپایهٔ کانتینرهای فاوا و دستگاه‌های ماژولار برق و سرمایش باشد، به‌خوبی مناسب هستند. افزون بر این با استفاده از همین شیوه‌ها می‌توان مشخصات مراکزداده‌ای را که در ساختن آن‌ها از هر دو روش سنتی و ماژولار استفاده شده است به‌شکل کارآمدی توضیح داد.

نتیجه‌گیری

درک مزایای معماری ماژولار امروزه فراگیر شده است. ما در اینجا تنها خلاصه‌ای از این مزایا را برشمردیم. بی‌شک روند حرکت به‌سوی مرکزدادهٔ ماژولار به‌دلیل بهبودهای شایان توجهی که در عملکرد و بهای تمام‌شده به‌دست آورده است ادامه خواهد یافت. چنین پیشرفتی را می‌توان در بسیاری از صنایع همچون اتومبیل‌سازی و تجهیزات فاوا مشاهده کرد. تنها سوال در صنعت مرکزداده این است که دگرگونی چقدر سریع خواهد بود و چه‌شکلی خواهد داشت.

در این مقاله معنای معماری ماژولار مرکزداده را تعریف کردیم که بهره‌برداران، شرکت‌های مهندسی، شرکت‌های ساختمانی، همچنین تامین‌کنندگان بتوانند دربارهٔ طراحی ماژولار مرکزداده با زبان مشترک به بررسی و گفت‌وگوی سازنده بپردازند. این مقاله در چگونگی تعیین مشخصات معماری ماژولار از این نیز پیش‌تر رفته است. صنعت مرکزداده تنها هنگامی از مزایای معماری ماژولار بهره‌مند می‌شود که سیستم استاندارد پیش‌گفته یا چیزی همانند آن پذیرش عمومی داشته باشد، تا سازندگان برای توصیف مرکزدادهٔ پیشنهادی خود همچنین مشتریان برای بیان درخواست‌ها از آن استفاده کنند.

پانویس

[1] این مطلب بخشی از کتاب «آئین‌نامهٔ مهندسی مرکزداده» و ترجمهٔ فارسی مقالهٔ زیر است:

APC White Paper 160: “Specification of Modular Data Center Architecture” (Revision 1)

نویسنده نیل راسموسن (Neil Rasmussen) [آشنایی با نویسنده و مطالعهٔ مقالات فارسی او]، مترجم نازلی مجیدی، بازنویسی و ویراستاری پرهام غدیری‌پور، به‌کوشش دکتر بابک نیکفام، تهیه‌شده در باشگاه مراکزداده

[2] “The Data Center as a Living Organism: Why history is not a good guide to the future”, by Rakesh Kumar and Phillip Dawson, Gartner Research.

[3] “Data Center 2.0: The Industrial Revolution” by Jason Schafer, Tier 1 Research/451 Group, September 2011

[4] منطقهٔ ویژه خدمات (Data center Point of Delivery): به گروهی از رک‌های فاوا می‌گویند که با هم اجرا می‌شوند. چیدمان آن معمولا به‌شکل یک ردیف یا ردیف‌های جفت است و عناصر زیرساختی آن‌ها (همچون هواساز، PDU، تایل‌های کف، پچ‌پنل، روتر) مشترک است. اصطلاح PoD فاوا اغلب آن چیزی است که در این مقاله اتاق (سالن) فاوا خوانده می‌شود.

[5] عدم قطعیت: کمیتی که مقدار آن را نمی‌توان به‌طور دقیق محاسبه کرد و باید طی پیشرفت کار آن را مطابقت داد.

[6] “Catcher” design with static transfer switches

[7] «نسبت اوج مصرف به میانگین توان مصرفی هر رک» از پارامترهای مهم طراحی است که معمولا به‌خوبی درک نمی‌شود و ناکارآمد تعیین می‌گردد. برای اطلاع بیشتر دراین‌باره به مقالهٔ «راهنمایی برای تعیین توان مصرفی مرکزداده» مراجعه کنید. متن انگلیسی:

APC White Paper 120: Guidelines for Specification of Data Center Power Density

[8] APC White Paper 147: “Data Center Projects: Advantages of Using a Reference Design”