среда, 19 ноября 2014 г.

Для проектирования новых HDD, HGST потребовался кластер из 75 000 ядер. И его построили за 5 дней.

    11.11.2014 ресурс EnterpriseTech опубликовал историю, содержащую несколько интересных слоев. Та же история описана Cycle Computing - героем дня.

    Краткая суть такова: компания HGST исследует возможности улучшения потребительских характеристик HDD. Поскольку эта область давно уже работает в непосредственной близости от физических ограничений, цитата: "Несмотря на все разговоры о чудесах флеш-памяти, механический диск является действительно чудом инженерной мысли". При современных скоростях, мизерных зазорах между головкой и поверхностью, крошечных размерах головок и оставляемых ими на дисках "пятен", что-либо усилить-улучшить-уменьшить крайне тяжело. Для построения модели используется молекулярная динамика и физика теплопередачи.
    Модель содержит 22 изменяемых параметра, что на гора выдает миллион вариантов дизайна головки. Объем расчетов таков, что внутренний кластер HGST, содержащий несколько сотен ядер, выдает результат через 30 дней.

    HGST обратился за помощью в Cycle Computing, предоставляющую платформы (как ПО, так и "железо") для HPC задач.

   Вот тут начинается интересное. Обращение было в среду. Технари из Cycle Computing
перенесли рабочие приложения в облако AWS (Amazon Web Services) и, покрутив, выдали - оценочно на 1 000 ядер будет считаться 5 дней. HGST попросил раздвинуть горизонт. К утру воскресенья все было готово к старту. Кластер мог задействовать оборудование 12 доступных зон в 3 AWS регионах - US East в Вирджинии, US West 1 в Северной Калифорнии и US West 2 в Орегоне.
    "Ключ на старт! Продувка! Протяжка!..."
    Расчет занял 8 часов. В пике было задействовано 70 908 ядер процессоров семейства Intel E5-2600 v2. В "бананах" пиковая производительность системы составляла 729 терафлопс, что мигом вознесло ее на 63 место в Топ 500 суперкомпьютеров.

    Итоги:
- менее, чем за неделю (среда-воскресенье, 5 дней) строится суперкомпьютер мощностью из первой сотни "самых-самых". 71 000 ядер - далеко не предел для Cycle Computing. В прошлом году они смоделировали для оценки масштабируемости кластера на AWS систему MegaRun на 156 000 ядрах;
- этот суперкомпьютер "собирается" под конкретную задачу на 1 неделю. И тут же "разбирается". До новых заданий; Он ВИРТУАЛЬНЫЙ.
- географическая распределенность вычислительных ресурсов в кластере не обязательно привносит "бутылочное горлышко" в систему. Региональные центры объединяются для общей задачи посредством Virtual Private Computing (VPC) линков. Распределением нагрузки занимается Submit Once компании Cycle Computing в автоматическом режиме;
- HGST не пришлось выкладывать порядка $ 15 000 000 (пятнадцать миллионов долларов) в покупку оборудования. Аренда оборудования под задачу обошлась в $ 5 593.94 (пять тысяч пятьсот девяносто три доллара и девяносто четыре цента). Что-то, наверное, еще на лицензионное ПО потратилось.

    Второй интересный слой - немного засвечивается, сколько денег, усилий тратят производители на исследовательские цели. Все, все для того, чтобы мы получили больше, быстрее, да еще и за меньшие деньги - "рынок требует!!".

    Третий слой. Риторический. Каждый год я слышу "проповедь" уважаемого Сергея Михайловича Абрамова. Каждый год она предваряется примерно такими словами: "я уже всем надоел, но говорить сегодня опять буду то же, что и в предыдущие годы". О том, что страна имеющая в той или иной форме собственности суперкомпьютеры из верхушки Топ 500, имеет инструменты для технического прогресса. О том, что суперкомпьютеры сначала строятся на государственные деньги, а потом (может быть) продаются в аренду или предоставляются для значимых проектов "на шару". О том, что Проктер и Гембл используют суперкомпьютеры для... кто бы мог подумать - проектирования ПАМПЕРСОВ!

http://www.enterprisetech.com/2014/11/11/hgst-speeds-disk-design-work-90x/

Комментариев нет:

Отправить комментарий