среда, 5 марта 2014 г.

Охлаждение жидкостью (Liquid Cooling) серверов и датацентров

    Есть вещи, о которых уже много сказано и разжевывать их в очередной раз не стоит.

Например, процентов десять программ одного российского телеканала начинаются с простой утверждающей фразы: "Известно, что инопланетяне посещали Землю неоднократно." А дальше уже на этой опоре идут рассуждения: огромные глыбы камня как бы "смяты". Чем можно размягчить камень, чтобы его мять, как пластилин? Известно чем - "таким специальным излучением" двигателей летательных аппаратов этих инопланетян!     Шутка, основанная на реальных телепередачах.

    Итак, нам известно:
- плотность размещения активного вычислительного оборудования растет;
- энергии в датацентры подается все больше и она в большой степени трансформируется в тепло, которое необходимо утилизировать. Эта самая утилизация сама сопряжена с затратой энергии, увеличивая накладные расходы;
- резкого скачка эффективности вычислительного оборудования не ждется, так что в недалеком будущем проблемы не рассосутся сами собой;
- воздух в качестве переносчика тепла - отнюдь не самый эффективный носитель;
- воздух для нас, людей - естественная среда, не агрессивная. И, с некоторой предварительной подготовкой, не агрессивная для техники. И он просто есть! Не надо добывать, создавать запасы, хранить,...

    Упс!... Так долго собирался, что поднятая тема уже раскрылась в некоторых средствах массовой информации...
Data Center Journal: Liquid Cooling: The Wave of the Present
Data Center Knowledge: Liquid Cooling Can Reduce Data Center Energy Use
LAN: Жидкостное охлаждение в ЦОД: опыт, выводы, перспективы
Хабрахабр: Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению
Компьютерра: Что мешает жидкостному охлаждению завоевать рынок ЦОДов?
Что ж, в первых рядах не буду, но при этом постараюсь не выходить за рамки "3% корректного заимствования".

    Жидкость (это не обязательно вода) давно и успешно используется для охлаждения, в том числе и связанных с электричеством устройств - например, трансформаторы в подстанциях с масляным охлаждением. Но к вычислительной технике жидкость до сих пор близко не подпускают, несмотря на заведомо большую эффективность.

    Вообще, понятия "охлаждение жидкостью" или частное "охлаждение водой" очень общие. А конкретные решения различаются между собой как небо и земля. Все дело в том - насколько глубоко внутрь оборудования проникает жидкость.

Начал он издалека...

    Целая группа решений использует в первом контуре охлаждения воздух, во втором - жидкость (воду).


Охлаждающие колонны

    В пространстве ЦОД располагаются колонны, по которым циркулирует вода. Воздух - первичный контур отвода тепла, вода в колоннах - вторичный. Оборудование и жидкость сильно разнесены в пространстве - относительно безопасно. Непосредственно от оборудования тепло по-прежнему уносится воздухом - по-прежнему неэффективно. Выгода половинчатого решения также половинчата. Из карабина - по стае гусей...

Охлаждающий трубопровод (теплообменник)

    Google реализовал. Пространство ЦОД все само собой логично делится на коридоры. Ряды стоек образуют стенки. Чередуя ориентацию стоек в рядах, мы получаем естественное образование горячих (на них выходят "задницы" стоек) и холодных ("морды") коридоров. Это не новация. Новация, запатентованная Google, заключается в том, что над горячим коридором располагаются теплообменники с жидкостным наполнением. Воздух в стойке нагрелся, поднялся в горячем коридоре, отдал тепло теплообменнику, выбросился для дальнейшего использования в холодный коридор. Жидкость по-прежнему безопасно далека от оборудования. Возможные протечки не очень страшны, поскольку шкаф защищает, а жидкость уходит под фальшпол. Эффективность решения выше, поскольку теплообмен приближен к источнику. Но в непосредственном контакте все тот же воздух.

 Стойка с теплообменником

    Еще немного ближе, по все еще относительно безопасно. Варианты:
- шкаф с замкнутой циркуляцией. К боковой стенке шкафа добавляется теплообменник с жидкостным наполнением, образуя со шкафом единое целое. Воздух не выбрасывается из шкафа, а выводится вбок - к теплообменнику и возвращается в шкаф.
- шкаф с охлаждаемой передней стенкой. Зачем охлаждать весь объем воздуха в ЦОД, если можно заняться малой его долей непосредственно перед употреблением? Передняя стенка трансформируется в теплообменник.
    Свежеохлажденный воздух сразу попадает к источнику тепла, не расходуя с таким трудом полученный холод направо и налево.

    Все приведенные методы использования жидкости "внешние" по отношению к оборудованию. То есть, "где-то там", совсем безконтактно используется жидкость, ну и ладно...

Заскучали? Не хватает адреналина?

    Тогда еще на ступеньку вглубь... Жидкость уже внутри. Но по-прежнему изолирована. Первый контур жидкостной, второй - или воздух, или жидкость. Долго и безуспешно продвигаемая в области персональных компьютеров система. Хладоагент - жидкость. Циркулирует, подгоняемая насосом, по системе трубок в контуре, включающем теплообменники внутренние (металлические платы на источники тепла) и внешний (радиатор). Были и есть попытки применить технологию для серверов.
    В частности, компания Asetek продвигает RackCDU - РЕВОЛЮЦИОННУЮ И ИННОВАЦИОННУЮ систему охлаждения стоечного сервера аж в двух вариантах - система с холодной ISAC™ (In-Server Air Conditioning), и D2C (Direct-to-Chip) с горячей жидкостью-теплоносителем. Решение запатентовано, о чем сообщается специальным баннером-печатью на каждой странице сайта (почему из памяти всплывают герои Джека Лондона с непременными "запатентованными средствами"?). Состоит из нахлобучек на процессор и модуль памяти, радиатора, трубок, фитингов и системы мониторинга. Фотографии боюсь приводить - "PATENTED"... В качестве покупателя гордо представлен не кто иной, как Cray с суперкомпьютером Cray CS300-LC.
    Достоинства? Эффективно. Без лишних накладных расходов в потреблении энергии. Тихо. Тихо - не для комфорта прогуливающихся по ЦОД сисадминов, а исходя из того - что на производство шума также тратится энергия.
    Недостатки? Их немало. К вороху проводов, подводимых к серверу добавляются шланги. Толстые и много. Теплообменники для процессоров и памяти необходимо делать индивидуально для конкретной системы, с большой точностью и качеством обработки поверхностей. "Это безумно дорого и сложно" - было сказано по поводу подобного отечественного решения, представлявшегося на мероприятии по поводу вычислительных кластеров. Сказано не на стенде компании, демонстрировавшей "железо", а в разговоре глаза-в-глаза в двух шагах от него. Это при том, что производство было (или есть?) в тех же стенах, где рождаются космические корабли, бороздящие... И главное! Как гласит еще не опровегрнутый закон Мерфи - "Все герметичные соединения текут". Если домашний пользователь вдруг почувствует под тапочками хлюпание, он матернется, выдернет вилку из розетки, сбегает за шваброй, потом за феном... Несколько часов он будет недоступен в социальных сетях. А в ЦОД? К многочисленным инженерным системам надо добавлять контроль за протечками? Стоит упомянуть еще такие "мелочи", как повышенную сложность монтажа/демонтажа/обслуживания, а также то - что помимо основных источников тепла (процессоры, память), есть еще куча мелких. Это и регуляторы напряжений (VRM) и отдельные чипы, составляющие систему. При охлаждении потоком воздуха, они также получают свою долю "выноса тепла". А если в корпусе сервера стоячий воздух? Приходится использовать специально спроектированные материнские платы.

Переходим к сладкому...

Волков бояться - в лес не ходить!

    Когда-то видел, уже не помню в чьем исполнении, а быстро найти не получается - ДУШ

    Изучение основ ТРИЗ надо поголовно вводить если не в старшей школе, то на первых курсах технических университетов. Не бороться с протечками и защитой оборудования от жидкости, а залить все оборудование. Целиком!
    Iceotope, Шеффилд, Великобритания. Очень хотелось влепить тут "британские ученые", но вроде ни к чему - тут британские инженеры сработали. Хотя, может быть и местные, британские же ученые приложили руку.
    Смонтированную материнскую плату помещаем в бокс. Бокс наполнен охлаждающей жидкостью (о ней ниже) - первый контур. Одна из стенок содержит змеевик, по которому циркулирует теплоноситель второго контура (это уже может быть и вода), унося тепло. Все необходимые соединения - питание, интерфейсы,... расположены на передней панели. На задней - вход и выход для жидкости. Легко и просто? Решение представлено в ноябре 2009 года. С 2012 года компания собрала целый ворох наград, в том числе Electra 2012, Green I.T. Awards 2013, Tech Trailblazers 2012 и 2014. Отдельные "лезвия" собираются по 7шт в корпус. Корпуса располагаются с обеих сторон стойки. В стойку монтируется до 3 корпусов в высоту. Итого: 3*2*7 = 42 сервера.
    Наверное, не очень просто сделать герметичный бокс. наверное, его подготовка к работе - наполнение и герметизация крышки требуют некоторого умения и сноровки. Что произойдет, если бокс разгерметизируется? Перегреется и будет остановлен. Повредит ли это остальным модулям в системе? Нет.
    Намного продвинулись вперед по пути повышения эффективности, часть проблемных мест обошли. Остались: герметизация и дополнительные шланги - со стороны окружения, и заказной дизайн материнских плат.

    Рубим проблему на корню. К черту герметизацию! Делаем общую ванну - с ней справиться легче, всего 8 швов и 2 фланца на вход-выход. В ней в открытом виде плавают серверы. К черту шланги! Ванну делаем под размер 19-дюймовой стойки, которую топим в ванной горизонтально. Остаются всего два шланга на целую стойку. Решение? А то!...
    Green Revolution Cooling (GRC) представило свое видение современного эффективного ЦОД в 2010 году. Хотя еще в 2009 заметка в Tech Week Europe описывала подобную ванну в исполнении IBM. Заголовок заметки, кстати, гласил, что по мнению IBM ВСЕ серверы в течение десяти лет будут переведены на охлаждение горячей водой! Обозначенный срок еще не вышел, нам отведено еще пять лет на реализацию.

    От теории к практике. GRC реализовала концепцию, получившую название Disruptive Technology, в конкретных инсталляциях. Начали они с Texas Advanced Computing Center в 2010 году (пресс-релиз) - полигона суперкомпьютерных систем, откуда совместными усилиями распространяются по всему миру.
    Помимо традиционных ЦОД, решение вполне успешно может быть упаковано в контейнер для передвижного или модульного ЦОД. Описание тут: CarnotJet . Контейнер содержит до 8шт 42U стоек с оборудованием, потребляющим до 200кВт.
    Очень сжато основные идеи. Ванна, в которую умещается стандартная 42U 19-дюймовая стойка. Оборудование (серверы, в частности) стандартные, требуются минимальные изменения - снимаются крышка и все вентиляторы (минус потребляемая ими энергия), терпопаста заменяется на нерастворимую. Вся процедура занимает 60 секунд! НЖМД до недавнего времени необходимо было заменить на SSD, но и эту проблему убрали, придумав специальный контейнер (caddy), который позволяет использовать совершенно стандартные накопители. В качестве OEM партнера по серверам, в основном, выступает Supermicro, хотя в листе совместимости присутствуют все тяжеловесы - IBM, HP, Dell, Cisco, Quanta.... Все заливается охлаждающей жидкостью (первый контур), которая разогревается оборудованием и стабилизирует свою температуру в точке кипения. Пары поступают к теплообменнику, по которому циркулирует теплоноситель второго контура (это может быть вода с температурой до 50 градусов Цельсия), на котором конденсируется, отдает часть тепловой энергии и возвращается в оборот. Вспомогательная помпа, рассчитана на 4 ванны. Ванна рассчитана на мощность до 100кВт.
    Итак, в чем замечательность.
- Эффективность. Как показали натурные испытания, система, укомплектованная 37 серверами и 2 коммутаторами требует 40Вт для системы охлаждения на каждые 5кВт выделяемой энергии. Это 0,8% накладных расходов.
- Использование совершенно стандартного оборудования. Собственно, ванна не очень сложна в изготовлении.
- Использование во втором контуре горячей воды. Понятно, что каждый градус, на который необходимо остудить теплоноситель приводит к затратам энергии.
- Нет необходимости в растрате энергии на поддержание температуры, влажности, обеспыливании всего объема воздуха в датацентре. Даже пожаробезопасность повышается.
- Ни шума, ни вибраций погружная система не создает.

Опасения.
    Уменьшается ли плотность размещения, т.е., показатель сервер/кв.м за счет "укладывания" стойки в горизонталь? Не особенно. К стойке спереди и сзади необходимо свободное технологическое пространство для обслуживания и циркуляции воздуха - это, как минимум в 2,5 раза увеличивает занимаемую стойкой площадь.
свободной). Ванны не требуют столь широких зазоров между собой. Свободное пространство для доступа необходимо лишь с одной стороны и оно намного уже, чем при вертикальной стойке. А высоту, как бы неиспользуемую, можно утилизировать для других, не менее нужных задач - как придумано немецкими инженерами (см. картинку)
    Сильно ли увеличится стоимость инженерной обвязки ЦОД? Скорее всего, она будет снижена. Большая часть кондиционеров, фильтров, увлажнителей - долой, вместе с пожираемой ими электроэнергией и занимаемым пространством! Воду слегка охлаждаем в уличной градирне, или даже в пассивном радиаторе, если расчет позволяет. Она может быть достаточно горячей, чтобы без лишних затрат отдавать тепло окружающей среде (в наших широтах, по крайней мере, температура редко держится под 50 и выше)
   Увеличатся затраты на обслуживание? Нет. Администраторам нет необходимости менять любимый свитер на гидрокостюм, маску и ласты. Извлеченному из ванны оборудованию надо несколько минут на то, чтобы жидкость стекла и испарилась. После этого (вернув на место крышки и вентиляторы) его можно устанавливать в традиционный шкаф.

Не все жидкости полезны для организма!

    Выбор правильной жидкости для первичного контура в погружной или заполненной системе занял некоторое время.
 
    Требования к охлаждающей жидкости:
- диэлектрик;
- достаточная теплоемкость;
- для систем с кипением - низкая температура кипения;
- не токсична;
- не пожаро- и взрывоопасна;
- не коррозийна для материалов электроники;
- не растворитель для материалов электроники;
... много еще каких требований. Для России еще и не-спиртосодержащая!!!

    Компания 3M . Жидкость Novec, а попутно и теоретические основы погружного метода подробно описаны в заметке блога 3М. Первоисточник. Ни добавить (это может только специалист), ни переписать (смысла нет).
    В системах Green Revolution Cooling используется вроде бы GreenDeF - смесь минеральных масел. Замены не требует, время жизни равно времени жизни датацентра. Информация довольно скудная, почему именно масла, а не что-то другое - неизвестно.

PS Увлекся настолько, что чуть не забыл!... У нас же тоже используют погружные серверы! Правда, масштаб еще не тот. Но - лиха беда начала. Прошу знакомиться: IMMERS. Про уникальность и "патентованность"- прошу брать поправки на ветер... Свое отношение к этим словам я уже высказал, но наш мир построен по таким правилам...


Комментариев нет:

Отправить комментарий