ULLtraDIMM - вот оно, щасте??

Издание второе, улучшенное и дополненное

   Начал тему давно - в сентябре 2013 и было две попытки, но отвлекся и руки не доходили вернуться... С тех пор много чего изменилось, кое-где поправки сделал. Две части имеют небольшие пересечения.

   SSD в формате 2,5" накопителя с интерфейсом SATA уже никого не удивляют (как все быстро в нашей области!...). Производятся достаточно массово и технологично (еще не так массово и не так технологично, чтобы по цене за мегабайт приблизиться к HDD, но многие на это надеются!). Периодически кто-то из производителей вырывается вперед то по скорости той или иной записи, то чтения. Модели сменяют друг друга с бешеной скоростью, каждая новая модель (как правило) лучше предыдущей. Особенных прорывов нет, так как используется очень ограниченный набор контроллеров (самые распространенные - SandForce, Marvell) и несколько более широкий, но тоже считанный набор микросхем памяти (Intel, Micron, Toshiba, Sandisk,...). В общем, рутинное развитие.

   В разделе "SSD Enterprise", то есть для серверного применения, все традиционно несколько более размеренно. Вот, интерфейс SAS появился уже у целого ряда как "традиционных производителей HDD" - Seagate, Toshiba, HGST ( поправка - SSD Сигейт под вопросом!), так и у "традиционных производителей SSD" - OCZ, Micron,... (OCZ уже успела разориться и успешно продаться). Не то, чтобы оно только-только появилось, у некоторых было давно, но сейчас есть у всех, кто позиционирует себя в Enterprise секторе. Как обычно, у каждого свой победный флажок, которым надо размахивать. Seagate: "...все собрались, обсудили и закрепили все необходимые и достаточные условия и параметры. Дальше все разбежались каждый по своим производствам, но строго соблюдаем все общие договоренности ТОЛЬКО МЫ! Остальные - кто в лес, кто по дрова... Не по мужски!...". Тошиба: "У нас единственных по чучхе - все свое - и контроллер, и чипы памяти, и производство, - кто еще сможет так же уверенно отвечать за конечное изделие???" HGST: "Гибкость, гибкость, и еще раз гибкость! Не одна, не две продвинутых линейки, а ТРИ!" Для клиентов разной степени Enterprise'ности, наверное... (прямая речь здесь - полная придумка автора, просьба не воспринимать буквально).
    Я пытался свести все в таблицу, но ничего не получилось. Нет набора параметров с общими условиями, который бы публиковался всеми в полной мере, а заниматься детективной деятельностью при том - что через 3..5 месяцев эта модель уже будет EOL (снятой с производства)??

    Несколько особняком в общем строю "дисковых ускорителей" стоят устройства в формате платы расширения с интерфейсом PCI. Идея простая - чем меньше промежуточных контроллеров, интерфейсов и линий передачи, тем выше производительность. На этой поляне пихалова меньше. Вариаций несколько. От "контроллер с прикрепленной (одной или двумя) платами SSD" до тщательно спланированного и оптимизированного Fusion. Чем больше денег вложено в разработку - тем быстрее и тем (существенно) дороже устройство.
    Можно не стеснять себя в цене и соорудить FusionIO на 10Тб... Стоит такое поболее, чем стоимость некоторых малых предприятий :), но почему бы и нет - если для кого-то каждая дополнительная миллисекунда - потеря в деньгах, при этом обрабатываемые объемы (допустим, баз данных) достаточно велики, а конкурентов особенно нет... Ну, хорошо, есть, но не столько... OCZ Z-Drive, например... Вроде бы и не так, чтобы совсем по-другому - тоже контроллер PCI и к нему микросхемы памяти, но все же один быстрее, второй заметно медленнее.

Революция! Грядет революция!!!

   Что действително удивило-порадовало при первом взгляде - решение настолько близкое "к сердцу" (процессору, конечно же!), что дальше некуда - ULLtraDIMM от компании SMART Storage Systems., анонсированное аж в декабре 2012. Название продукта сказало само за себя? Да, в формате DIMM! То есть - прямо руками и ногами непосредственно в CPU! Как-то не очень заметно, без фейерверков представили в декабре 2012 года на Tech Trailblazers и так же скромно заняли первое место в разделе "Storage". Прорыв темной лошадки? Стартап. Засветили идею, пропиарились и продались не долго думая SanDisk Company в июле 2013. Там и растворились тихо. Реального продукта среди обширной линейки SanDisk не находится. Ссылка про ULLtraDIMM ведет на пресс-релиз SMART Storage Systems.

   Итак, что пишут (рекламный листок в формате pdf можно взять здесь):

Область применения          Enterprise Storage

Интерфейс                           DDR3

Форм-фактор                       DIMM

Емкость                                200GB, 400GB*

Тип флэш-памяти NAND   MLC

Максимальная скорость последовательного чтения/записи  (Mb/сек)    1000/760 MB/s

Максимальная скорость произвольного чтения/записи (операций ввода/вывода в секунду)            150 000/65 000 IOPS **
Максимальная задержка доступа при записи (Read Access Latency)              5мкс

Количество полных перезаписей в день для 5-летней работы (Drive writes/day (DW/D) for five years)     10

--

*) масштабируется

**) масштабируется

   Сравнение
- По количеству IOPS и по скорости последовательного чтения-записи цифры очень похожи на те, что заявляются для SSD класса Enterprise.
- Задержка на запись - параметр, не публикуемый для SSD, поэтому сравнивать не с чем. Но эта характеристика фигурирует в описаниях PCI ускорителей и составляет, например: 68мкс (чтение)/15мкс (запись) для модели 2,4ТБ ioDrive2 Duo и 30мкс для модели 5,2ТБ ioDrive2 Octal компании FusionIO.
- Емкость и производительность системы растут пропорционально числу установленных модулей. 4 штуки 400 GB модуля, установленные в систему, дадут в сумме 1,2млн IOPS !!! Диаграмма, приведенная ниже, наглядно демонстрирует рост производительности:

Синяя с треугольничками: операций ввода/вывода в секунду. Растет пропорционально числу модулей в системе
Черная с квадратиками: задержка доступа. Остается прежней при любом количестве модулей в системе

   Сколько стоит, доступно ли уже к заказу, или будет доступно и когда - этим вопросом не задавался, но уже есть артикулы:

TX93E40200GG7101     200 GB

TX93E40400GG7101     400 GB

Заклятые друзья
    Если засветившаяся в инфопотоках идея не выглядит утопично и соотносится с чаяниями аудитории, эта самая аудитория требует "продолжения банкета"! Показал на картинке - рассказывай, где магазин?! Пресс-релиз ULLtraDIMM компании Smart Storage System и аналогичный продукт, MCS (Memory Channel Storage), заявленный Канадской компанией Diablo Technologies Inc. немного позже, вызвали неподдельный интерес коллег по цеху. (MCS - уже второе возможное название продукта, до этого упоминался TeraDIMM. Кстати - ULL расшифровывается как Ultra Low Latency - Ультра Низкая Задержка). Английский тематический информационный ресурс The Register, не найдя ответа на два основополагающих вопроса "Где купить и започем?", провел небольшое расследование (http://www.theregister.co.uk/2013/07/31/smarts_diabolic_move/, http://www.theregister.co.uk/2013/04/29/smart_diablo_ssd/), краткое содержание результатов которого приводится ниже:

   Компании компании Smart Storage System и  Diablo Technologies Inc. заключили стратегический союз с целью разработки и вывода на рынок "SSD в формате DIMM" - устанавливающихся непосредственно в каналы памяти процессора флеш-модулей. Цитата: "...позволят приложениям беспрепятственно получать доступ к данным из системной памяти и флеш-накопителей одновременно с крайне низкой задержкой и очень высокой пропускной способностью."
   Технические детали реализации пока не раскрываются. Есть только некоторые параметры будущего продукта. Скорости записи/чтения и IOPS КАЖДОГО модуля определяются возможностями существующих чипов NAND и пока заявлены на уровне продвинутых SSD Enterprise сектора, за исключением задержки доступа - она на порядок ниже. НО! Заявляется возможность масштабирования модулей в системе - т.е., при установке, допустим, четырех модулей на процессор, все скоростные характеристики, практически, учетверяются при константной задержке! Максимальное количество одновременно устанавливаемых ULL модулей в системе не оговаривается, так что можете включать фантазию на полную мощность!

   Diablo, основанная в 2003 году тремя выходцами из Nortel, получила $ 7,5 млн финансировании в марте 2013 года. Общий объем финансирования с учетом уже привлеченных $ 28 млн в ноябре 2012 года, составил $ 36 миллионов.
   Компания обещает "скорый анонс готового продукта". То есть, его еще по-прежнему нет. Есть концепция, есть потенциальный рынок и, видимо, видение реализации. Патент US 20120204079 A1 опубликован в августе 2012 года. Теперь есть деньги на доводку. За дело, товарищи!

   Есть определенные подозрения в том, что не все гладко на пути, и тесная интеграция с производителем памяти нужна для определенного "допиливания" чипов. Иначе Diablo могла позиционировать MCS как открытую технологию с привлечением более широкого круга заинтересованных компаний в качестве союзников по альянсу. На данный момент нет никакой информации о взаимодействии Diablo с Intel , HGST&WD, LSI, Micron, Plextor, Samsung, Toshiba - других производителей серверных SSD и чипов для них.

   По оценкам специалистов, ВОЗМОЖНО появление готового продукта на рынке в 2014 году.
Пока же - чтобы не скучали и не забывали, очередной пресс-релиз о скором наступлении новой эры

New Tape Technology (ленточные накопители)

    С десяток лет пытливые умы пытаются ответить на вопрос: "ленточные накопители умирают или УЖЕ умерли?"

    Точек зрения, как минимум, две.

   

Пациент, скорее, мертв..

    Где столь славные имена и проектируемые/производимые ими замечательные устройства, столь широко представленные в недалеком прошлом? Exabyte, Sony, Quantum, HP, Compaq, IBM, строители автоматов - Overland, Tandberg, ADIC? Кто-то куплен конкурентом, кто-то отбросил ветку, как не прибыльную, кто-то перепродает чужие устройства... Из всего многообразия форматов и типоразмеров как-то телепается на плаву, видимо, только LTO.
    При этом - тот же Quantum - едва ли не последний из могикан - продает параллельно как библиотеки на лентах, так и "Disk-Based" (то есть на НЖМД) бэкап-системы.

Охлаждение жидкостью (Liquid Cooling) серверов и датацентров

    Есть вещи, о которых уже много сказано и разжевывать их в очередной раз не стоит.

Например, процентов десять программ одного российского телеканала начинаются с простой утверждающей фразы: "Известно, что инопланетяне посещали Землю неоднократно." А дальше уже на этой опоре идут рассуждения: огромные глыбы камня как бы "смяты". Чем можно размягчить камень, чтобы его мять, как пластилин? Известно чем - "таким специальным излучением" двигателей летательных аппаратов этих инопланетян!     Шутка, основанная на реальных телепередачах.

    Итак, нам известно:
- плотность размещения активного вычислительного оборудования растет;
- энергии в датацентры подается все больше и она в большой степени трансформируется в тепло, которое необходимо утилизировать. Эта самая утилизация сама сопряжена с затратой энергии, увеличивая накладные расходы;
- резкого скачка эффективности вычислительного оборудования не ждется, так что в недалеком будущем проблемы не рассосутся сами собой;
- воздух в качестве переносчика тепла - отнюдь не самый эффективный носитель;
- воздух для нас, людей - естественная среда, не агрессивная. И, с некоторой предварительной подготовкой, не агрессивная для техники. И он просто есть! Не надо добывать, создавать запасы, хранить,...

    Упс!... Так долго собирался, что поднятая тема уже раскрылась в некоторых средствах массовой информации...
Data Center Journal: Liquid Cooling: The Wave of the Present
Data Center Knowledge: Liquid Cooling Can Reduce Data Center Energy Use
LAN: Жидкостное охлаждение в ЦОД: опыт, выводы, перспективы
Хабрахабр: Погружная система охлаждения сервера или фермы на базе Novec как альтернатива воздушному охлаждению
Компьютерра: Что мешает жидкостному охлаждению завоевать рынок ЦОДов?
Что ж, в первых рядах не буду, но при этом постараюсь не выходить за рамки "3% корректного заимствования".

    Жидкость (это не обязательно вода) давно и успешно используется для охлаждения, в том числе и связанных с электричеством устройств - например, трансформаторы в подстанциях с масляным охлаждением. Но к вычислительной технике жидкость до сих пор близко не подпускают, несмотря на заведомо большую эффективность.

    Вообще, понятия "охлаждение жидкостью" или частное "охлаждение водой" очень общие. А конкретные решения различаются между собой как небо и земля. Все дело в том - насколько глубоко внутрь оборудования проникает жидкость.

Начал он издалека...

    Целая группа решений использует в первом контуре охлаждения воздух, во втором - жидкость (воду).