مرکزدادهٔ NetApp ـ[1]
آنچه میخوانید
مرکزدادهٔ پیشروی شرکت NetApp در پارک مثلث تحقیقاتی، اولین دارندهٔ نشان Energy Star برای مرکزداده است. این تاسیساتِ پرظرفیت که بهرهوری انرژی بسیار خوبی دارد، از رکهای بلند 52U بهره میبرد که ۴۲ کیلووات بر رک ظرفیت دارند. برای تنظیم سرمایشِ دالانهای سرد بستهاش، بهجای دما از فشار هوا بهره میگیرد که نوآوری ويژهٔ NetApp است. سرمایش آن هوامحور است و دو سوم از سال با سرمایش طبیعی کار میکند. در این پروژه جای همگی هواسازها را در طبقهٔ دوم ساختمان در نظر گرفتهاند؛ تا از بالا با بیرون هوا مبادله کنند و از پایین بر اساس فشار استاتیک، هوای خنک به تاسیسات بدهند.
مصاحبهای است با مارک اسکیف از مدیران ارشد NetApp؛ او پیشتر در EPA کار میکرده است.
آشنایی با مرکزدادهٔ NetApp
تصویر: مرکزدادهٔ NetApp در پارک مثلث تحقیقاتی در کارولینای شمالی، اولین مرکزدادهای است که موفق شد از سازمان حفاظت از محیط زیست آمریکا (EPA) نشان «Energy Star برای رتبهبندی مرکزداده» بگیرد.
میگویند فشار زیاد الماس میسازد؛ ظاهرا فشار هوا هم مرکزداده را کارآمد و با بهرهوریِ عالی میکند.
شرکت NetApp که در زمینهٔ ذخیرهسازی کامپیوتری و مدیریت اطلاعات کار میکند، مبتکرانه از فشار هوا برای تنظیم سرمایش بهره گرفته است. نوآوریهای این شرکت موجب شد مرکزدادهاش در کارولینای شمالی نخستین تاسیساتی باشد که از سازمان حفاظت از محیط زیست ایالات متحده نشان Energy Star ـ[2] گرفته است. بهرهوری انرژی این مرکزداده بسیار خوب است و از نظر برق کمبودی ندارد. ظرفیت برق رکهای مشتریان ۲۵ مگاوات است که برای رکهای 52U تا ۴۲ کیلووات نیز میرسد. همچنین برق با میانگین ۸٬۳۰۰ وات در هر متر مربع برای سرمایش مصرف میشود.
بیشتر این مزایا با بهرهگرفتن از سیستم سرمایش هوامحور و نیز چیدمان عمودی ساختمانِ مرکزداده به دست آمده است. در این تاسیسات، هواسازها را در طبقهٔ دوم گذاشتهاند که هوای خنک را در طبقهٔ زیرین به سالنهای مرکزداده میفرستد و درون دالانهای هوای سرد بستهٔ اختصاصی به جریان میاندازد. وضعیت آبوهوایی منطقه طوری است که در دو سوم سال میتوان از هوای بیرون برای سرمایش استفاده کرد.
در گفتوگوی زیر «مارک اسکیف» (Mark Skiff) مدیر ارشد بخش East Coast Tech Sites شرکت NetApp دربارهٔ سیستم کنترل فشار هوای منحصربهفرد مرکزداده و سایر ویژگیهای آن میگوید.
مشخصات تاسیسات
- نام سازمان: NetApp
- مکان: پارک مثلث تحقیقاتی در کارولینای شمالی
- شروعبهکار: مارس ۲۰۰۹
- ویژگیهای چشمگیر: کنترل فشار جریان هوای بهسوی رکها، سیستم سرمایش هوامحور، دالان هوای سرد بسته در سالن سرور، سیستم UPS مبتنی بر حرکت مکانیکی چرخ دوار (Rotary UPS)، رکهای 52U، نشان Energy Star
- مدت زمان طراحی و ساخت: ۱۹ ماه
- مساحت: ۱۱٬۶۰۰ متر مربع مساحت کل، شامل ۳٬۰۰۰ متر مربع سالن سرور
- برق: ۲۵ مگاوات
- رتبهبندی: کلاس سه (Tier 3)
- تعداد رکها: ۲٬۱۳۶ رک
- ظرفیت برق: میانگین ۱۲ کیلووات بر رک، حداکثر ۴۲ کیلووات
- زیرساختها: زیرساخت برق و سرمایش و کابلکشی بهشکل سقفی
- بار سازهای: ۹۰۰ کیلوگرم در هر متر مربع
- سیستم اطفای حریق: سیستم لولهٔ خشک دو مرحلهای
سازمان حفاظت از محیط زیست آمریکا (EPA) در سال ۲۰۱۰ «رتبهبندی Energy Star برای مرکزداده» را تدوین کرد. این سیستم مراکزداده را براساس مقیاسِ ۱۰۰ نمرهای رتبهبندی میکند. بعد از بررسی اظهارنامهٔ شرکتهای متقاضی، نشان Energy Star به دارندگان نمرهٔ ۷۵ به بالا اعطا میگردد. برنامهٔ Energy Star در سال ۱۹۹۲ آغاز شد تا بر اهمیت محصولاتِ برخوردار از بهرهوری انرژی تاکید شود. در ابتدا برای کامپیوترها و مانیتورها به کار میرفت. سپس گسترش یافت و از مشارکت دپارتمان انرژی آمریکا نیز برخوردار شد. اکنون محصولاتی مانند تجهیزات اداری، لوازم خانگی اصلی، تجهیزات نورپردازی، لوازم برقی خانگی، خانههای جدید، ساختمانهای تجاری و صنعتی را در بر میگیرد. |
متن مصاحبه
الگر: این مرکزداده چه خدماتی برای شرکت NetApp انجام میدهد؟
اسکیف: قطعهزمینی در پارک مثلث تحقیقاتی هست که تعدادی از ساختمانهای اداری ما نیز در آن قرار دارد. مکان ساخت این مرکزداده در آنجا تکهزمینی سبز و دست نخورده بود. در شروع که ساختن این مرکزداده را آغاز کردیم، هدفمان پشتیبانی از تحقیق و توسعهٔ داخلیِ سازمان خودمان بود. آنجا قرار بود بیشتر محیط آزمایشگاهی باشد. نیاز محیط آزمایشگاهی به افزونگی زیرساختی، کمتر از مرکزدادهٔ شرکتی است.
در حدود ژانویه ۲۰۰۹ اندکی پیش از تکمیل ساختمان و راهاندازی، از ما خواستند قسمتی را نیز برای بخش فاوای شرکت مناسبسازی کنیم. به نظر من یکی از جنبههای جالب و بینظیر این مرکزداده، چندکاربره بودن آن است. بخش فاوای شرکت دارای پایایی (Availability) بسیار خوبی است و در خود سایت، سیستمهای برق افزونهٔ کامل با UPS داریم. این بخش حدود یکششم تاسیسات را شامل میشود. از کلِ حدود ۲٬۲۰۰ رکی که در ساختمان هست، ۳۶۰ رک در خدمت فاوا است. حدود ۱٬۸۰۰ رک باقیمانده نیز ویژهٔ فعالیتهای توسعه و تحقیقات برای پشتیبانی از محصولاتمان است. اگر بخواهیم مقایسه کنیم باید بگویم مرکزدادهٔ نسبتا بزرگی است. بزرگترین مرکزدادهٔ جهان نیست؛ اما حدود ۳ هزار متر مربع فضای رک دارد و ظرفیت بار تجهیزات آن حدود ۲۵ مگاوات است. این مساحت نسبتا زیادی است.
الگر: گمان میکنم کاربران مرکزدادهٔ شما هریک الگوهای عملیاتی گوناگونی داشته باشند. چگونه وضعیتی ایجاد کردید که آنها بتوانند در یک مرکزداده در کنار هم سازگار باشند؟
اسکیف: ساختار قوانین ما بهگونهای است که اختیارات بهرهبرداران را مستقل و مجزا میکند و اجازه نمیدهد هر بهرهداری در حریمهای مشترک به سلیقهٔ خودش کاری انجام بدهد.
تصویر: راهروی میان دو ردیف سرور در مرکزدادهٔ NetApp واقع در پارک مثلث تحقیقاتی
گرچه فضای داخلی دارای راهروها و دالانهایی است که به هم راه دارند، اما برای آن قسمت از مرکزداده که مخصوص فاوای خود شرکت است، از دالانهای بستهٔ هوای سرد استفاده میکنیم. برای واردشدن به این دالانها که دو طرفشان را از کنارهمچیدن جلوی رکها ساختهایم، باید از درهای مجهز به قفل RFID گذشت. به این ترتیب ما دالانها و راهروها و بهطور کلی محیط بخش مربوط به فاوای شرکت خودمان را بهطور فیزیکی و از دید امنیتی از سایر راهروها و دالانها و کل فضای قسمتهای عمومی مرکزداده جدا کردهایم.
فضایی که در مرکزداده برای بخش تحقیق و توسعه در نظر گرفتهایم، تغییرات بیشتری نسبت به بخش فاوای شرکت دارد. روشن است که الزامات کنترل تغییرات در بخش فاوای شرکت جدیتر اعمال میشود. آنچه میخواهیم، یافتن نقطهٔ بهینه است میان تعداد و موازیسازیِ بار ترانسها، در تعامل با محدودیتهای ولتاژ و آمپراژِ کلیدها و سطح اتصال کوتاه.
ما میان این دو بخش خیلی فرق نمیگذاریم؛ گرچه تجربه نشان میدهد که کارکنان مرکزداده مرتبتر رفتار میکنند. اگر شیوهٔ کار کردن در زیرساختها را به کارکنان بخش مرکزداده بگویید، بیشتر از افراد بخش تحقیق و توسعه پایبندی نشان میدهند. در مقابل معمولا افراد بخش تحقیق و توسعه کابلکشیها را با روش عجیبغریب انجام میدهند، یا چیزهایی را که از منابع برق مختلفی تغذیه میشوند، طوری که زیاد مطلوب نیست به هم وصل میکنند. چون در این بخش با افراد بسیار بیشتری سروکار داریم، تمایز زیادی قائل نمیشویم و به همین شیوه آن را مدیریت میکنیم. داشتن دو دستهٔ مختلف از کاربران برای ما مشکل چندان بزرگی نبوده است.
الگر: در چه مرحلهای از فرایند طراحی به فکر افتادید گواهینامهٔ Energy Star بگیرید؟
اسکیف: من در سال ۲۰۰۵ به مرکزدادهٔ NetApp آمدم. پیش از این در سازمان حفاظت از محیط زیست آمریکا فعالیتهای بسیاری در زمینهٔ «Energy Star برای ساختمانهای اداری و تجاری» انجام داده بودم. بنابراین کاملا با این برنامه آشنایی داشتم و از همین طریق ما برای ساختمانهای اداری گواهینامه گرفتیم. گمانم در سال ۲۰۰۹ بود که از وجود برنامهٔ ارزیابی آنلاینِ Energy Star Portfolio Manager که اکنون در سایت Energy Star است باخبر شدیم.
این برنامه در ژوئن یا ژوئیه ۲۰۱۰ شروعبهکار کرد. به نظرم در حدود ۱۰۰ مرکزداده در این برنامه شرکت کرده بودند. ما نیز در رتبهبندی شرکت کردیم. تدوینکنندگان این برنامه در تلاش بودند تا شاخصهایی برای این رتبهبندی ایجاد کنند. این شاخصها چیزهایی همانند این را مشخص میکند که چه مرکزدادهای بزرگ و چه مرکزدادهای کوچک است، جغرافیا و آبوهوا در رتبهبندی اهمیت دارد یا ندارد، همچنین اینکه بود و نبود UPS و سیستم سرمایش طبیعی و چنین چیزهایی چه تاثیری در رتبهبندی دارد. هنگامی که شاخصها را تدوین میکردند و تحلیل حساسیت [3] انجام میدادند، ما نیز بخشی از این روند بودیم و همین که فهمیدیم برنامه شروع شده است، بهراحتی واجد شرایط دریافت Energy Star شناخته شدیم. بار فاوای ما در اولین سالی که دادههایمان را ارائه و ثبت کردیم، بهاندازهٔ امروز زیاد نبود. گمانم بهرهوری مصرف انرژی (PUE) سالانهٔ ما در آن زمان ۱٫۳۵ بود. عدد PUE ما بهتازگی از ۱٫۲ هم کوچکتر و بهتر شده است. برای عملیات نگهداریِ داده در ۱۲ ماه گذشته به بهرهوری ۱٫۱۷ رسیدهایم.
الگر: گفتید بهآسانی واجد شرایط شناخته شدید. اینکه از همان ابتدا میخواستید برای سایت این تاسیسات نشان Energy Star دریافت کنید، بر طراحی مرکزداده تاثیر زیادی داشت؟
اسکیف: خیر؛ چون پیش از آنکه بدانیم چنین برنامهای قرار است برای مرکزداده اجرا بشود، طراحی را انجام داده بودیم. در واقع ما در سال ۲۰۰۶ در یکی از ساختمانهای اداری موجود NetApp، مرکزدادهای نسبتا پرظرفیت بر پا کرده بودیم. تاسیساتی ۳ مگاواتی با میانگین حدود ۵٫۴ کیلووات بر متر مربع که تقریبا پرظرفیت بود؛ یعنی ۸ کیلووات در هر رک. با محصورکردن دالان سرد و بهکاربردن برنامهٔ کنترلِ اختلاف فشار برای مدیریت هوایی که به دالان سرد وارد میشود، این ظرفیت را به دست آوردیم. این برنامه در آن زمان بیسابقه محسوب میشد. البته هنوز هم در صنعت فاوا رویکردی بینظیر است؛ چون فقط آن مقداری از هوا به هر رک وارد میشود که تجهیزات درون آن نیاز دارد. این شیوه در کنار سرمایش طبیعیِ مستقیم به ما کمک میکند بهرهوری انرژی را در بهترین اندازهٔ ممکن نگه داریم.
پیشتر یعنی اول که آزمایشگاه را میساختیم، نوآوری اندازهگیری دقیقِ مقدار نیاز هوای هر رک را بر اساس اختلاف فشار استاتیک آزموده بودیم. وقتی این مرکزداده را میساختیم، میخواستیم ظرفیت را افزایش بدهیم و به ۸٫۳ کیلووات بر متر مربع برسانیم که برابر است با ۱۲ کیلووات برای هر رک. در واقع با استفاده از رویکرد کنترل فشار هوا میتوانیم در هر رک تا ۴۲ کیلووات ظرفیت داشته باشیم! هرچه هواساز به منبع گرما نزدیکتر باشد، بهرهوری سرمایشی بیشتر میشود. بر همین اساس کار دیگری که میخواستیم انجام بدهیم این بود که بهجای نصب هواسازها در انتهای دالانهای هوای گرم، آنها را مستقیم و بدون هیچ داکتی در طبقهٔ بالا، درست بالای دالانهای سرد کار بگذاریم. سپس قابلیت سرمایش طبیعی را به کار افزودیم که امکان داد در ۷۰ درصد از سال تجهیزات را بدون نیاز به چیلر سرد نگه داریم.
در واقع ما میخواستیم میزان بهرهوری انرژی و ظرفیت مرکزداده را افزایش بدهیم. آنچه با ساختن بنای عمودی ۸ طبقه و جادادن ۶٫۲۵ کیلووات در هر متر مربع دریافتیم، این بود که هزینهٔ ساختوساز ما حدود یکسوم هزینهای شد که موسسه Uptime میگوید برای ساختن هر مرکزدادهٔ کلاس سه لازم است.
تصویر: ترانسمیتر اختلاف فشار بهکاررفته در این مرکزداده، برای کنترل فشار دالان بستهٔ هوای سرد (سمت راست) و کنترل فشار هوای گرم خروجی (سمت چپ)
هم بهدلیل بهرهوری انرژی بسیار خوب و هم بهدلیل کمتر شدن هزینهٔ ساختوساز، بهای تمامشدهٔ مرکزدادهٔ ما که کلاس سه است، در حدود ۷ هزار دلار در هر کیلووات درآمد. آنچه که خودمان بهعنوان «هزینهٔ جاری» برای هر کیلووات در ماه محاسبه میکنیم، برای تجهیزات ادارهٔ فاوایمان میشود در حدود ۶۰ دلار در ماه.
این حدود یک دهم پولی است که برای استفاده از خدمات مرکزدادهٔ اشتراک مکانی میپردازیم. همچنین خیلی کمتر از هزینهٔ سایتهای دیگری است که NetApp در آنها مرکزدادهای دارد که خودش ساخته و مالک آن است.
الگر: بیایید دربارهٔ یکی از ویژگیهای این مرکزداده صحبت کنیم که گفتید: دربارهٔ کنترل فشار برای تنظیم حجم هوای داخل تاسیسات. گمانم در صنعت مرکزداده این را درک کرده باشند که اکنون بسیاری از تاسیسات از سرمایشِ بیشتر از اندازه و با بیفکری استفاده میکنند؛ یعنی حجم بیحسابی از هوای سرد را وارد و سپس هوای گرم را خارج میکنند.
اسکیف: چنین روشی کارساز نیست. در حقیقت آنچه مهم است دمای هوایی است که از درون سرورها عبور میکند که آن هم طبعا با دمای محیط اطراف رک مرتبط است. این یکی از همان نکات بسیار جالبی بود که وقتی در سال ۲۰۰۶ به اینجا آمدم فهمیدیم. ما شاخصهای طراحی کویل را بررسی کردیم و بعد به سنجش تجهیزات درون رکها پرداختیم. کویلهای سرمایشی ما برای درجات ۱۰ یا ۱۲ طراحی شده بودند تا تجهیزات در دمای ۲۰ تا ۲۵ درجه کار کنند.
این یعنی هوای زیادی را وارد سیستم کنیم که فقط ۱۰ درجه گرمتر از دمای کویل است. در این حالت همان طور که شما هم گفتید، به تجهیزات بیش از اندازه هوارسانی میشود و اغتشاش و آشفتگی زیادی در جریان هوا رخ میدهد. ما زیرساخت تاسیسات را در سقف کار کردهایم. اگر از شیوهٔ ما یعنی محصور کردن دالان هوای سرد و جداسازی فیزیکیِ دالان هوای سرد و گرم استفاده نکنید، هرچه هوای خنکِ بیشتری به رکها وارد کنید، هوای گرم تلفشدهٔ بیشتری وارد دالان هوای گرم میشود. روش کار ما این است که چند دریچه و دیوارک در بالای رکها در سقف کاذب ایجاد میکنیم. هزینهٔ این ساختوساز در مقایسه با هزینهٔ تاسیسات مکانیکی و الکتریکی ناچیز است. [مقالهٔ مرتبط]
اینگونه بود که ما به اینجا رسیدیم. با خودمان گفتیم «اینطوری مسخره است». عموما کویلها در واحدهای سرمایشی Liebert ـ[4] و دیگر هواسازهای سفارشی برای دمای حدود ۱۶ درجه طراحی شدهاند. اگر تجهیزاتی با دمای مطلوب ۲۰ درجه پیدا شوند، با مشکل بزرگی روبهرو شدهاید.
الگر: به نظر من دیگر این روزها همهٔ طراحان مرکزداده روشهای جداسازی و محصور کردن دالانهای سرد و گرم را میشناسند. اکنون سوال این است: بهترین راه برای تشخیص اینکه مقدار هوای خنکی که به سرورها میرسد از حد لازم بیشتر است یا نیست، یا فشار هوا مطلوب هست یا نه چیست؟
اسکیف: هنگام استفاده از شیوهٔ دالان بسته، اگر شدت جریان هوای ورودیِ سرور با شدت جریان هوای خروجی دقیقا برابر نباشد، در این صورت یا فشارِ بیشتر از حد ایجاد میشود یا کمتر از مقدار ضروری هوای خنک به سرورها میرسد. راستش من خودم واقعا تابهحال نشنیدهام کسی سرمایش را بر اساس اختلاف فشار استاتیک انجام داده باشد؛ هنوز سعی میکنند از دمای دالان هوای گرم یا شاید هم دمای تجهیزات استفاده کنند. ظرفیت تهویهٔ هوا تابعی است از دما و شدت جریان هوا. اگر قرار باشد مقدار مشخصی از جریان هوا از تجهیزات عبور کند، در این صورت برابر کردن شدت جریانِ هوای ورودی و خروجی تنها راه است. ما میخواهیم در سرمایش مقرونبهصرفه عمل کنیم؛ به همین دلیل دمای هوای ورودی را بر این اساس تعیین میکنیم. کوشش میکنیم دمای عملیاتی را تا جایی که میشود افزایش بدهیم، البته نه آنقدر که کارکنان در دالان هوای گرم بپزند! بدیهی است که توانایی تحمل گرمای تجهیزات بسیار بیشتر از انسان است.
«کوشش میکنیم دمای عملیاتی را تا جایی که میشود افزایش بدهیم، البته نه آنقدر که کارکنان در دالان هوای گرم بپزند! بدیهی است که توانایی تحمل گرمای تجهیزات بسیار بیشتر از انسان است.»
من خودم روزانه و از نزدیک از وضع مراکزدادهای که رویکرد دالان بسته را به کار میبرند باخبر نیستم. اما از آنچه در اینترنت میخوانم، به نظرم میرسد که در مسئلهٔ فشار و جریان هوا با مشکل مواجهند. اگر با وجود مشکل بخواهند از پردهٔ هوا استفاده کنند، عملکرد خوب نخواهد بود.
بنابراین در پاسخ به سوال شما میگویم: خیلیها به مرکزدادهٔ ما میآیند که تعدادشان به صدها نفر در سال میرسد. اینها از سازمانهایی از مشتریان کنونی ما یا از شرکا و مشتریان بالقوهٔ ما هستند. زیاد میشنوم که دربارهٔ کنترل دما و از کاری که ما کردهایم حرف میزنند و میگویند که کار بسیار جالبی است. به نظر آنها حتما باید از این شیوه در مرکزداده استفاده بشود؛ دستکم این روش را برای سرمایش بسیار موثر میدانند.
الگر: به چه دلیل دمای عملیاتی این مرکزداده را در حدود ۲۳ درجه سانتیگراد تعیین کردید؟ من شرکتهای زیادی را میشناسم که دمای عملیاتی تاسیساتشان بیشتر از این مقدار است. البته شرکتهای بسیاری هم هستند که با دمایی کمتر از این کار میکنند.
اسکیف: برای این کار چندین دلیل داریم. بیشک هرچه دمای دالانِ هوای سرد را افزایش بدهیم، بیشتر میتوانیم از هوای بیرون استفاده کنیم. به این دلیل که اگر هوای بیرون ۲۴ درجه باشد و ما هوا را با دمای ۲۳ یا ۲۴ درجه به تجهیزات برسانیم، فقط تا زمانی که هوای بیرون سردتر از هوای برگشتی باشد میتوان از آن برای سرمایش استفاده کرد. حتی اگر دمای هوای بیرون به حدود ۳۰ درجه هم برسد، هنوز معقول است که آن را خنکتر کنیم و استفاده کنیم. اینطوری حداقل ۵ درجه صرفهجویی کردهایم؛ زیرا بهجای اینکه هوای برگشتیِ ۳۵ درجهای را ۲۴ درجه کنیم، آن را از ۳۰ به ۲۴ درجه رساندهایم. درست است؟ روشن است ما میخواهیم دمای دالان هوای سرد را تا جایی که میتوانیم افزایش بدهیم. اما همان طور که پیشتر اشاره کردم، عاملی که بازدارنده است، تحمل گرمای آدمهایی است که در دالان هوای گرم کار میکنند.
ما متوجه شدهایم که بیشترین دمایی که میتوانیم در دالان هوای گرم داشته باشیم، حدود ۳۵ درجه است. بهویژه هنگام استفاده از هوای آزاد، در طول تابستان که بسیار گرم میشود و رطوبت هم نسبتا زیاد است. در واقع اگر بخواهیم میتوانیم در زمستان که هوا سردتر است، دمای دالان سرد بسته را به ۱۶ درجه هم برسانیم. ولی آنوقت کسانی که در دالان گرم کار میکنند، به دمای ۲۷ درجهایِ آنجا عادت میکنند و در فصول گرم دیگر، این دالان بهنظرشان خیلی گرم میآید. بیشک دمای ۳۵ درجهای در تابستان از نظر «اداره ایمنی و سلامت حرفهای» [5] آمریکا اشکالی ندارد؛ اگر پرسنل لباس مناسب بپوشند، سلامتشان به خطر نخواهد افتاد. در واقع این بیشتر انتخاب خودمان است. در زمستان سعی میکنیم دمای عملیاتی را خیلی کم نکنیم و شاید دست بالا تا ۲۱ درجه کاهش بدهیم؛ چون از سرمایش طبیعی استفاده میکنیم. در تابستان هم دمای عملیاتی را به ۲۴ درجه افزایش میدهیم.
دلیل دیگر این است که در دماهای بیشتر باید سعی کنیم هرگز به نقطهٔ شبنم [6] نرسیم؛ یعنی همان دمایی که رطوبت با تبدیلشدن به مایع از هوا جدا میشود. در واقع در مرکزداده تا هنگامی که رطوبت را خیلی افزایش نداده باشید، یا آن وضعیت در محیط ایجاد نشود که میعان رخ بدهد، رطوبت و سرمایشِ نهان بر تجهیزات اثر نمیگذارد. میخواهیم برای اینکه انرژیِ بیشتری هدر نرود، هیچگونه میعانی در کویل سرمایشی رخ ندهد.
در اینجا هم اگر مرکزدادهٔ معمول را در نظر بگیرید که منبع سرمایشی آن تقریبا ۱۳ درجه باشد، شاید یکسوم سرمایشِ انجام شده یا دستکم ظرفیت تعیینشدهٔ کویل سرمایشی، صرف غلبه بر گرمای نهان میشود. البته احتمالا بدین شکل هم نیست؛ چون بیشتر مراکزداده را نسبتا بیدرز میسازند و رطوبت نفوذ نمیکند. با این حال بالاخره بازهم مقداری رطوبت نفوذ میکند؛ چون برای تهویه و اینجور کارها از هوای بیرون استفاده میشود.
دلیل دیگر نیز مصرف برق فن تجهیزات است. خیلی از تجهیزات را طوری ساختهاند که اگر دمای عملیاتی از ۲۷ درجه بیشتر بشود، فنهایشان سریعتر میچرخند که در نتیجه مصرف برق بیشتر میشود. بخش زیادی از مصرف انرژیِ رکها ممکن است ناشی از کار کردن فنها باشد. ما فرصت نداشتهایم چندان دربارهٔ این موضوع مطالعه و بررسی انجام بدهیم؛ اما میدانیم که اگر دمای عملیاتی به ۲۷ درجه برسد و سرعت حرکت فنها افزایش یابد، مصرف انرژی افزایش تصاعدی خواهد داشت. هزینهٔ مضاعفِ ناشی از این وضعیت باعث میشود همهٔ آن صرفهجوییهایی که با استفادهنکردن از چیلر به دست آوردهایم، خنثی بشود.
الگر: آیا طراحی این مرکزداده برای تاسیسات بعدیِ NetApp الگو خواهد بود؟ آیا از فناوریهایی که در این مرکزداده استفاده کردهاید در جاهای دیگر هم میتوان استفاده کرد، یا فقط ویژهٔ همین سایت هستند؛ با این موقعیت آبوهوایی و سایر شرایط و ویژگیهایی که دارد؟
اسکیف: سوال بسیار خوبی پرسیدید. همان طور که قبلا هم اشاره کردم، ما در سال ۲۰۰۶ در یکی از ساختمانهای NetApp مرکزدادهای پرظرفیت راهاندازی کردیم. این تاسیسات اولین نمونهای بود که با استفاده از نوآوری «قابلیت کنترل اختلاف فشار» ساختیم. کمی بعد بر اساس همین روش، در شهر سانیویل (Sunnyvale) در کالیفرنیا آزمایشگاهی ساختیم. به تاسیسات این آزمایشگاه قابلیت سرمایش طبیعی را افزودیم. طراحی آن بهنوعی نسل بعدی طراحیِ همان نمونهٔ اولیهٔ مرکزداده بود. در نمونهٔ اولیه برای کار خارجکردن هوای گرم از تجهیزات، مشکلاتی داشتیم. ما آن مرکزداده را درون ساختمان اداری برپا کرده بودیم و ناچار شدیم در آنجا یک رایزر دیگر هم ایجاد کنیم. به این دلیل که وقتی هوای آزاد را از بیرون برای سرمایش به درون مرکزداده میآورید، باید بتوانید بعد از آنکه تجهیزات را خنک کرد و وارد دالان هوای گرم شد، ردش کنید برود و تخلیهاش کنید.
مشکلات کوچکی از این دست وجود دارند. با این حال در این مرکزداده در پارک مثلث تحقیقاتی آن مشکل را نداشتیم؛ چون تاسیسات را در ساختمان مستقل در تکهزمینی سبز و دستنخورده ساختیم. کل طبقهٔ دوم این ساختمان فقط جای هواسازها است. با این هواسازها میتوانیم همین طور که از بام ساختمان هوای تازه را وارد میکنیم، از دو طرفش هوای گرم اضافی را خارج کنیم.
تصویر: NetApp توانسته است با نصب هواسازهای صنعتی بهجای مدلهای ویژهٔ مرکزداده، حدود ۱۰ میلیون دلار در هزینهٔ سرمایهای صرفهجویی کند.
بنابراین در پاسخ به این سوال شما که آیا این طراحی را برای ساختن مرکزداده در سایت دیگری بهکار میبریم یا نه، میگویم که بستگی دارد. اگر در برخی مناطق که نمک و مواد خورنده و فرساینده وجود دارد یا میزان ذرات معلق در هوا زیاد است بخواهید از سرمایش طبیعی استفاده بکنید، شاید این روش طراحی فکر خوبی نباشد. پارک مثلث تحقیقاتی برای استفاده از روش سرمایش طبیعی بهخوبی مناسب است. اینجا پارک تجاری برونشهری است که هوای نسبتا خوبی دارد. تنها مشکلی که آن هم تنها یک هفته از سال با آن درگیر میشویم، مشکل گردهٔ گل در هوا است. فیلتر کردن این گردهها کار سختی نیست؛ ولی باید دانست گردهها پخش میشوند و به همهجا نفوذ میکنند. حتی از درزهای فیلتر ورودی رک هم عبور میکنند. یکی از کارهایی که اینجا انجام دادیم این بود که از نوعی هواساز صنعتی استفاده کردیم و با این کار صرفهجویی مالی زیادی به دست آوردیم. این نوع هواساز دارای عملکرد بسیار خوبی است. با این حال فیلتر ورودیِ رک منافذ زیادی دارد؛ به همین دلیل در فیلتر کردن گردهها کمی مشکل داشتهایم. بدین ترتیب باید بگویم که اگر در آن یک هفته بهجای سرمایش طبیعی از چیلر استفاده بکنیم، بهاحتمال زیاد ارزانتر از عوضکردن ۳٬۵۰۰ فیلتر درمیآید.
الگر: اگر میتوانستید به عقب برگردید و مرکزداده را از اول طراحی کنید، آیا کاری هست که بخواهید با روش دیگری انجام بدهید؟
اسکیف: از لحاظ عملکرد، تنها کاری که به روش دیگر انجام میدادیم، اضافهکردن فیلتراسیون مقدماتی به فیلتر اصلی است تا مشکل گردهٔ گلها حل شود.
از نظر هزینه چند کار بود که میتوانستیم انجام بدهیم تا بیشتر از آنچه امروز هست صرفهجویی کنیم؛ بدون اینکه از قابلیتهای مرکزداده کم بشود. هنگامی که این ساختمان را میساختیم، هزینهٔ کلیِ ساختوساز را حدود ۶۶ میلیون دلار برآورد کرده بودند. دستوراتی هم که برای تغییر به ما دادند، کمتر از یک درصد بود. بدین ترتیب فرایند جالبی به وجود آمد. بهطور کلی باید بگویم در واقع در دو سال گذشته، برای پرداختن به هیچ مشکلی لازم نبوده است دست به کاری بزنیم. البته الان با این قضیهٔ رک فیلتر درگیر هستیم که حل آن چند صد هزار دلاری خرج برمیدارد.
در اوایل سال ۲۰۰۷ که کل فرایند را آغاز کردیم، همان زمانی که از من درخواست کردند این ساختمان را بسازم، با تعدادی مشاور مشهورِ مرکزداده گفتوگو کردم. هرکدام از آنها که آمدند اینجا میخواستند ساختمان را یک طبقه بسازند؛ با مساحت ۶۰ هزار متر مربع و ظرفیت ۲۵ مگاوات. سرانجام ما این ساختمان را سهطبقه با مساحت ۴۰ هزار متر مربع ساختیم. این کار را با کمک یکی از معماران محلی و شرکت طراحیای انجام دادیم که در زمینهٔ زیستفناوری (Biotechnology) فعالیت زیادی دارد. از نظر من این پروژه بیشتر شبیه پروژهٔ طراحی محیط با حجم هوای بسیار زیاد و سیستم آب سرد برای تاسیسات بود، تا پروژهٔ مرکزداده. از پیمانکار عمومی هم استفاده کردیم. این پیمانکار هرگز مرکزداده نساخته بود؛ ولی در احداثِ برخی ساختمانهای اداری با او کار کرده بودیم. البته هیچگونه تصمیم قبلی نداشتیم که در اینجا از آن استفاده کنیم. شرکت NetApp در جایگاه مدیر طرح در این پروژه بسیار درگیر بود و در تکتک تصمیمگیریها نقش داشت.
حتی بهدقت نمیدانستیم این کار قرار است چقدر هزینه برایمان داشته باشد. میدانید که ما در کسبوکار مرکزداده فعالیت نمیکنیم؛ بههمین دلیل هزینهٔ ساختن آن مرکزدادهٔ نمونه را ملاک قرار دادیم که پیش از این ساخته بودیم و گفتیم «اینجا قرار است چهار برابر بزرگتر باشد، به یک سازهٔ مستحکم ساختمانی هم نیاز داریم؛ پس به نظر میرسد هزینهاش فلان قدر بشود». قبل از آغاز به کارِ مناسبسازی و اصلاح این ساختمان برای ادارهٔ فاوای NetApp، ما ۴۵ میلیون دلار بودجه داشتیم که رکها و PDUها را شامل نمیشد. سرانجام پروژه با ۴۴ میلیون دلار به انجام رسید. پروژهٔ جالبی بود و این موضوع که در هر مرحله از کار نمیدانستیم چقدر قرار است هزینه بشود، باعث شد پیوسته در ساختوساز، در پی فرصتهایی برای صرفهجویی مالی باشیم. پروژه در پایان با پایایی (Availability) عالی و بهای تمامشدهٔ کم بهاتمام رسید.
الگر: چهچیزی به شما امکان داد که بهجای ساختن مرکزدادهٔ ۶۰ هزار متر مربعی که برآورد اولیهتان بود، آن را در ۴۰ هزار متر مربع بسازید؟
اسکیف: ظرفیتِ اغلب مراکزداده ۱٬۵۰۰ یا ۲٬۰۰۰ وات در هر متر مربع است که میشود ۴ کیلووات در هر رک. شاید در مرکزدادهٔ امروزیتر سعی بشود این عدد به ۷ یا ۸ کیلووات برسد. ما سعی میکردیم ۱۲ کیلووات را اجرا کنیم. میتوانستیم با استفاده از قابلیت کنترل فشار به بیشترین ظرفیت نیز برسیم؛ یعنی ۸٬۳۰۰ وات در هر متر مربع.
وقتی توانستیم در هر رک، ۲ یا حتی ۳ برابر اکثر مراکزداده ظرفیت داشته باشیم، نیاز به فضا کمتر شد. سپس اجرای طراحی سه طبقه، کارگذاشتن هواسازها درست بالای رکها، همچنین جادادن تاسیسات در زیرزمین باعث شد فضای ضروری به یکسوم کاهش یابد. با همهٔ اینها ما توانستیم مرکزداده را بهجای ۶۰ یا ۷۰ هزار متر مربع در ۴۰ هزار متر مربع بسازیم.
الگر: متوجه شدم که در رتبهدهیِ Energy Star از ۱۰۰ امتیاز ۹۹ امتیاز گرفتهاید. برای چنین امتیازی به شما تبریک میگویم. ولی بگذارید بپرسم آن یک امتیاز چه بود که نگرفتید؟
اسکیف: این سیستم با نمره و امتیاز نیست؛ بیشتر عملکرد را ارزیابیِ کلی میکند. ما بهتازگی دوباره اطلاعات مرکزدادهٔ خود را با این ارزیابی سنجیدیم و امتیاز ۱۰۰ گرفتیم. دلیل آن این است که بهرهوریِ مصرف انرژی مرکزداده از گذشته بهتر شده است.
الگر: من طرفداری آنها را نمیکنم که برای گرفتن امتیاز خوب از سیستمهای رتبهبندیِ مرکزداده مثل PUE و LEED، کارهایی میکنند که در عمل بهرهوری بهتری برای مرکزداده فراهم نمیکند. با این حال میخواهم بپرسم آیا برای شما در این پروژه پیش آمد که مجبور بشوید برای دستیابی به امتیاز بهتر تصمیم بگیرید عناصر طراحی خاصی در مرکزداده بگنجانید که واقعا هزینه و مزایای آن برایتان مناسب نبوده است؟
اسکیف: سوال خوبی است. در واقع چیزی که مرکزداده را مقرونبهصرفه میکند، «سرمایش طبیعی هوامحور» است. این نوع نسبت به «سرمایش طبیعی آبمحور» زمان بیشتری برای شما سرمایش فراهم میکند. هریک از این دو روش مزایا و معایب خودش را دارد. ممکن است هوای پیرامون مرکزدادهٔ شما برای بهکاربردن روش هوامحور مناسب نباشد، یا ممکن است بتوانید روش آبمحور و هوامحور را با همدیگر استفاده کنید. در هر حال میدانیم که برای ۲۵ مگاوات، حتی در ایالتی همانند کارولینای شمالی که نرخ برق ارزان و مناسب است، اگر بهرهوری انرژی را مثلا از ۱٫۸ به ۱٫۲ برسانید، ۶ میلیون دلار در سال صرفهجویی کردهاید. با این پول میتوانید امکانات زیادی برای مرکزدادهٔ خودتان فراهم کنید. در واقع افزودن روش سرمایش طبیعی به هواسازها تقریبا هیچ هزینهای ندارد. برای این کار فقط باید میان هواساز و هوای بیرون ارتباط ایجاد کنید تا هوای بیرون به هواساز بیاید. همچنین باید اتاقکی برای ترکیبکردن هوا درست کنید که هزینهٔ اجرای آن بیشک از یک میلیون دلار هم کمتر است.
یکی دیگر از کارهایی که انجام دادیم محصور کردن دالانها بود. هزینهٔ آن در حدود ۱ یا ۲ درصد از هزینهٔ پروژه شد. بدین ترتیب دراینباره هم روشن بود که استفاده از کنترل فشار و محدود کردن توان فنها و دیگر روشها، مزیتهای زیادی دارد. این پروژهای نبود که از پیش برایش خیلی مدلسازی کرده باشیم. البته چیزهای گوناگونی را پیشاپیش در نظر گرفته بودیم، اما بهطور کلی تلاش میکردیم ساختمان را نسبتا سریع بسازیم. در آوریل ۲۰۰۷ بود که با معماران و مهندسان مشورت کردیم، در دسامبر ۲۰۰۸ هم ساختمان آماده شد. به این ترتیب فرصت زیادی برای بررسی موشکافانهٔ مدلهای مختلف نداشتیم. در عین حال با وجود ساختمانِ نمونهٔ اول که ساخته بودیم، تصویر روشنی از آنچه باید انجام میگرفت در ذهن داشتیم.
الگر: دربارهٔ چگونگی انجام پروژهٔ مرکزداده توصیهای به دیگران دارید؟
اسکیف: مهمترین عامل این کار «اجرای گروهی» کل پروژه است. NetApp شرکت نسبتا نوپایی است و تجربه و زمینهٔ قبلی چندانی ندارد. دلیل جایزهگرفتنش این است که رئیس شرکت بدون داشتن آن پسزمینههای ذهنی، کار را با شیوهای خاص و نوآورانه انجام داد. «نوآوری» مزیتی بود که ما در این کار داشتیم؛ این فرهنگ شرکت ما است. شرکت ما قبل از ساختن مرکزداده، در این قطعهزمین ساختمان آزمایشگاه را برای بخش تحقیق و توسعه راهاندازی کرد. این بهگمانم برای ما مزیتی شد. چون برای بهکاربردن نوآوری، راضیکردن افراد در بخش تحقیق و توسعه که مشتریان ما هستند، بسیار آسانتر از قانعکردن کارکنان ادارهٔ فاوای شرکت است که طبعا محتاطترند. بهطور کلی از معاشرت با افراد مختلف اینطور متوجه شدهام که در این صنعت، رفتار شرکتهای مختلف در برابر نوآوری متفاوت است. گروهها یا شرکتهای جاافتادهتر و بالغتر با اینکه ایدههای جدید را بررسی میکنند میگویند: «متوجه هستیم چه میگویید؛ ولی هرگز نمیتوانیم آن کار را انجام بدهیم». برعکس شرکتها یا گروههای جدیدتر و نوپا مثل آنهایی که در سواحل غربی آمریکا هستند، اغلب در پی نوآوریاند و به چنین کارهایی گرایش دارند.
الگر: در این مرکزداده تمام زیرساختهای فیزیکی از بالا و سقف اجرا شده و از کف کاذب بینیاز بوده است. شما از رکهای بسیار بلند 52U استفاده کردهاید. برای این کار در تعیین مسیر و سربندی کابلها مشکلی نداشتید؟
اسکیف: خیر. بیشتر کابلها فیبر نوری هستند و ما خیلی ترجیح میدهیم که از سوئیچهای Nexus سیسکو استفاده کنیم. به این ترتیب میبینید که کابلکشی ما مرتب است. در واقع کمترین میزان لازم است. با اینکه همان طور که گفتم کابلها فیبر هستند، ما از سیستم سبد کابل استفاده میکنیم. احتمالا از خود میپرسید چرا برای فیبرِ به این کمی از چنین سبدهای سنگینی استفاده کردیم.
تصویر: مرکزدادهٔ NetApp در پارک مثلث تحقیقاتی: دالانهای سرد بسته جریان هوای گرم و سرد را برای دستیابی به بهرهوری انرژیِ بیشتر جدا میکند.
از چهارچوب درِ ورودی دالان سرد بسته که درون دالان را نگاه میکنید، ۳۰ رک سمت راست و ۳۰ رک سمت چپ میبینید. فاصلهٔ این دو ردیف رک ۱۲۰ سانتیمتر است؛ یعنی بهاندازهٔ عرض دالان. سیستم اطفای حریق و سیستم روشنایی در بالای سرتان در وسط دالان و در ارتفاع حدودا ۱۵ سانتیمتر بالاتر از سبدهای کابل نصب شده است. در دو سوی آن، سقف مشبک با عملکرد زیباسازی کار شده است. هواسازهای دور متغیر در طبقهٔ بالا و درست روی دالان قرار دارند که هوا را به هر مقدار نیاز باشد، بر اساس فشار استاتیک تعیین میکنند و پائین میفرستند.
میبینید که دالان بستهٔ هوای سرد چطور به این شکلِ بسیار منظم و مرتب کار میکند. در این دالان ارتفاع کف تا سقف حدود ۲٫۷ متر است. وارد دالان هوای گرم که میشوید میبینید ارتفاع سقف از کف ۵ متر است. در اینجا باسداکتها و مسیرهای عبور کابل و سیستم روشنایی در بالای رکها قرار دارد. فضای تر و تمیزی است!
یکی از پیامدهای خوب استفاده از دالانهای بسته این است که فضای بسیار کمصدا و آرامی دارید. اغلب مراکزدادهٔ پرظرفیت خیلی پرصدا هستند و در آنها درست نمیشنوید که بتوانید حرف بزنید. در اینجا استفاده از در ورودیِ دالانهای سرد، برای حل مشکل سروصدا راه بسیار موثری بوده است.
الگر: اگر کسی بخواهد یکی از این رکهای 52U را کامل پر کند، شما به هر رک مستقل حداکثر چقدر میتوانید ظرفیت برق بدهید؟
اسکیف: وان حمام پر آبی را در نظر بگیرید. اگر دستتان را داخل آن ببرید هرچقدر هم سعی بکنید، شاید بتوانید تنها کمی موج روی سطح آن ایجاد کنید؛ ولی نمیتوانید ارتفاع آب را تغییر بدهید. به همین ترتیب اگر در این اتاقِ سرور یک رک را با ۴۲ کیلووات تجهیزات فاوا روشن بکنید، فشار هوا بلافاصله به حالت اول برمیگردد. از نظر فیزیکی غیرممکن است افزودن این رک فشار هوای آن محیط را تغییر بدهد. در اینجا تنها محدودیتی که ایدهٔ کنترل اختلاف فشار برای ما دارد، حداکثر تجهیزات فاوایی است که میتوان در هر رک نصب کرد. علت اینکه ما رک بیش از ۴۲ کیلووات در این مرکزداده نداریم، این است که حداکثر میتوانستیم از دو سری پریز برق ۲۱ کیلوواتی استفاده کنیم. من همیشه به مشتریان میگویم در این سالنی که مشاهده میفرمایید جمعا ۷۲۰ کیلووات توان و تا ۶۰ رک ظرفیت دارید. ولی توجه کنید که واقعا نمیشود در هر رک بیشتر از ۴۲ کیلووات مصرف داشته باشید.
الگر: سیستم سرمایش شما این امکان را دارد که از فاضلاب تصفیهخانهٔ شهری که نزدیک مرکزداده است، برای تامین آب ازدسترفته بهره بگیرد. برای استفاده از فاضلاب تصفیهشده مشکلی نداشتید؟
اسکیف: راستش ما هنوز منتظریم که آن تاسیساتِ تصفیهٔ آب راهاندازی بشود. بنابراین در آینده خواهیم دید که مشکلی هست یا نیست. مشکلاتی که شاید با آن روبهرو بشویم پایایی (Availability) است، یا اینکه میزان آلایندههای موجود در آب بیشتر از چیزی باشد که به ما اطلاع بدهند، یا ممکن است مقدار آلایندهها متغیر باشد.
دربارهٔ آب تصفیهخانهٔ تاسیساتِ خودتان میدانید در فاضلابتان چه آلایندههایی دارید که باید تصفیه بکنید. اما اگر بخواهید مستقیم از فاضلاب شهری استفاده کنید، آدم از کجا بداند چه آلایندههایی در آن وجود دارد؟ آنچه باعث شد از فاضلاب استفاده کنیم این است که نمیخواهیم کاملا متکی به آب شهری باشیم؛ میخواهیم دو منبع آب داشته باشیم.
این تصفیهخانه در شهر کِری (Town of Cary) قرار دارد و بیشتر نیاز آب دورهام کانتی (Durham County) و بخشی از وِیک کانتی (Wake County) را تامین میکند. برای ما انتخاب بدیهی بود که به آن متصل بشویم و منبع اصلی آب ما باشد.
الگر: در پایان توصیهای دیگری دارید؟
اسکیف: توصیهٔ من همکاریِ نزدیک با بهرهبرداران سیستمهای فاوا و انتخاب شرکای مناسب است. به نظر من دربارهٔ خودمان محلیبودن و نزدیکبودن شرکایی که طراحی را برایمان انجام میدادند، بسیار مهم بود. اگر کسانی را انتخاب میکردیم که مجبور بودند پیدرپی با هواپیما به اینجا بیایند و بروند، جلسهگذاشتن بسیار دشوار میشد. مخصوصا در آغاز کار و در مرحلهٔ طراحی که با شرکا جلسههای بارش فکریِ زیادی راه میانداختیم. انتخاب گروهِ کاری مناسب و داشتن روابط کاری خوب، واقعا ضروری است.
پانویس
[1] این مطلب ترجمهٔ بخش پانزدهم از کتاب «The Art of the Data Center» است. گفتوگوکننده داگلاس الگر (Douglas Alger)، مترجم پرواز خیر، ویراستار پرهام غدیریپور، بهکوشش دکتر بابک نیکفام، تهیهشده در باشگاه مراکزداده.
[2] ستاره انرژی (Energy Star): استاندارد بینالمللی با موضوع نحوهٔ مصرف انرژی در دستگاههای الکترونیکی است. اولین نسخهٔ این استاندارد در سال ۱۹۹۲ برای دولت آمریکا تدوین شد. سپس کشورهای دیگر مانند کانادا، استرالیا، ژاپن، نیوزیلند، تایوان، همچنین کشورهای عضو اتحادیه اروپا نیز آن را پذیرفتند و اجرا کردند. نشان ستارهٔ انرژی روی چیزهایی همانند تجهیزات کامپیوتری، وسایل آشپزخانه، لوازم خانگی، همچنین ساختمانها نشان میدهد که ۲۰ الی ۳۰ درصد کمتر از استانداردهای الزامی کشور آمریکا انرژی مصرف میکند.
[3] تحلیل حساسیت (Sensitivity analysis): به مطالعهٔ تاثیرپذیریِ متغیرهای خروجی از متغیرهای ورودی، در مدلی آماری گفته میشود. به عبارت دیگر «تحلیل حساسیت» روشی نظاممند است برای تغییردادن ورودیهای مدل آماری؛ چنانکه بتوان تاثیر این تغییرات را در خروجی مدل پیشبینی کرد.
[4] شرکت Liebert: شرکتی وابسته به Emerson Electronics که سیستمهای مدیریت زیرساخت و سرمایش و برق، برای کامپیوترهای مینفریم و رکها و سیستمهای پردازشیِ حساس تولید میکند.
[5] Occupational Safety and Health Administration (OSHA)
[6] نقطهٔ شبنم: اگر دمای هوای مرطوبِ اشباعنشده را بدون کاهش یا افزایش رطوبت، در فشار ثابت کاهش بدهیم، رطوبت هوا در دمایی مشخص به قطرات ریز آب تبدیل میشود. به این دما «نقطهٔ شبنم» میگویند.
درج دیدگاه