Mellanox Technologies анонсировал 'Soft-RoCE' - программного обеспечения, реализующего RDMA Over Converged Ethernet (RoCE)

    23.06.2015   В результате от совместных усилий разработки с IBM Corp. и System Fabric Works, Inc. , свободно доступная реализация программного обеспечения позволяет серверам и системам хранения данных, общаться с RDMA, используя любой стандартный адаптер Ethernet. Программное решение обеспечивает полную совместимость между стандартными сетевыми адаптерами и решениями, имеющими аппаратное ускорение.
http://www.mellanox.com/page/press_release_item?id=1557

    Ресурс, посвященный технологии RoCE, объединяющий усилия по продвижению от InfiniBand Trade Association.

    Mellanox уже довольно долгое время пропагандирует преимущества RDMA в системах с высокой нагрузкой.
    В информационных закромах компании можно найти конкретные примеры с цифрами и подробностями. В частности:

 - http://www.mellanox.com/blog/2015/05/storage-spaces-direct-if-not-rdma-then-what-if-not-mellanox-then-who/  с говорящим заголовком "Если не RDMA, то что? Если не Mellanox, то кто?" раскрывает приобретаемое преимущество в связке адаптеров Mellanox и Microsoft Windows Server 2016 Storage Spaces. При прочих равных условиях, нижеприведенная табличка показывает разницу в производительности с- и без- RDMA (2 и 3 строки):

   




   - http://www.mellanox.com/blog/2014/06/how-rdma-increases-virtualization-performance-without-compromising-efficiency/   - отсылка к исследованиям Dell нагрузочной способности системы, состоящей из серверов PowerEdge R720 с ПО Fluid Cache, объединенных между собой адаптерами ConnectX-3 40GE с технологией RoCE. До 5 миллионов IOPS на случайном чтении 4k блоками. В переложении на симулятор Oracle ускоритель Fluid Cache совместно со скоростным интерфейсом с RoCE позволяет увеличить количество одновременно обслуживаемых пользователей с 2 200 до 14 000 - в 6 с лишним раз!

 - https://www.mangstor.com/web/binary/saveas?filename_field=datas_fname&field=datas&model=ir.attachment&id=413    - представление компании Mangstor флэш-хранилища с адаптером внешнего интерфейса Mellanox, показывающего до 10GB/s на случайном чтении 8GB/s на случайной записи 4k блоками. Задержки, которые показывает система, сравнимы с задержками локального PCIe SSD в сервере.

Seagate покажет накопители с технологиями записи heat-assisted magnetic recording (HAMR) и bit-patterned media (BPM) на IEEE International Magnetics Conference 2015

    Это - прорыв. От слов, как говорится, к делу!
    Блог компании Seagate обещает (ссылка) уже в этом году показать "в железе" накопители на основе столь ожидаемых прогрессивных технологий магнитной записи - heat-assisted magnetic recording (HAMR) и bit-patterned media (BPM). Причем - будут представлены сразу оба направления развития!
    Что примечательно, в 2015 году конференция пройдет в Китае - самом крупном потребителе НЖМД в мире. К слову, упоминается также о том, что Китай - родина первого магнитного прибора - компаса, которому уже 2 тысячи лет.

    HAMR потенциально пятикратно увеличит плотность записи - с 1Тб на квадратный дюйм сразу до 5Тб на квадратный дюйм.
    Bit-patterned media (BPM), или фирменная Seagate'овская технология, сочетающая в себе HAMR+BPM и названная heated-dot magnetic recording (HDMR) рисует перспективы еще краше - до 10Тб на квадратный дюйм!

    С учетом того, что объем выпуска накопителей уже начинает не успевать за ростом генерируемого в мире объема информации (а уж про увеличение плотности записи и говорить не приходится!), реальные наработки Seagate должны принести облегченный вздох игрокам рынка.

http://blog.seagate.com/business/seagate-demos-hamr-drives-at-intermag-conference/

Проблема с Samsung SSD - продолжение, подробности из первых уст.

    Про выявленную проблему с SSD Samsung уже сообщалось. В этом блоге - общее описание здесь.

    В сети опубликовано очень подробное описание ситуации от лица, непосредственно столкнувшегося с проблемой и пытавшегося ее исправить.
    Компания эксплуатирует пул серверов, использующих SSD в качестве быстрого раздела дисковой подсистемы.
    Цитаты:
"...за две недели, в течение которых мы выявляли причину неисправности, ... нам удалось автоматизировать процедуры восстановления (серверов) до комфортного уровня."
"... распорядок дня стал рутинным - долгий душ, восстановление серверов, завтрак, восстановление серверов, обед, восстановление серверов, ужин, восстановление серверов,... долгий душ,..."

    Итог: исключая последовательно вероятные причины массового падежа серверов, в компании достоверно выделили первопричину - определенный список SSD, приводящий к катастрофическим результатам:

"Черный список"
SAMSUNG MZ7WD480HCGM-00003
SAMSUNG MZ7GE480HMHP-00003
SAMSUNG MZ7GE240HMGR-00003
Samsung SSD 840 PRO Series
Samsung SSD 850 PRO 512GB

"Белый список", никаких проблем
Intel S3500
Intel S3700
Intel S3710

    Если интересно, некоторые технические подробности.
    Получается, что в SSD Samsung некорректно отрабатывает TRIM, поскольку отключение ее дало некоторый промежуточный положительный результат - частота инцидентов несколько снизилась, но полностью не ушла. Рассматривая под микроскопом последствия, в компании выявили, что возникают странные блоки размером 512 байт заполненные нулями.
   


https://blog.algolia.com/when-solid-state-drives-are-not-that-solid/
опубликовано 15 июня 2015

Гипер-конвергентные решения - новое наше все. v2, критический взгляд.

    Волна еще не спешит спадать. Все новые и новые компании, как умудренные опытом, так и стартапы вовлекаются в игру. Правда, наряду с пресс-релизами начали появляться критические высказывания.

    Прогнозы фантастические - рост объявляется на СОТНИ ПРОЦЕНТОВ в год. На чем основывается и как кем определяется - закрытая информация. Вернее - очень даже открытая, плати - и будет тебе щасте! Хочешь - до 2019 года ((IDC # 255614, $ 4500, 18 страниц), хочешь - IDC MarketScape: Worldwide Hyperconverged Systems 2014 Vendor Assessment (21 pages, $15,000)

   Возьмем несколько цифр из открытых источников/отчетов и сопоставим...

1. http://www.storagenewsletter.com/rubriques/market-reportsresearch/idc-marketscape-worldwide-hyperconverged-systems/ на базе упомянутого IDC MarketScape: Worldwide Hyperconverged Systems 2014.

Ведущих игроков на поляне совсем немного. Хрустальный шар магический квадрат выделяет не более десятка:

- безусловный лидер и законодатель мод в области - Nutanix;
- группа товарищей, догоняющих в первых рядах;
- кто-то еще, еще не проявившийся ярко...

После этого слайда заметим для себя на полях: "основная доля у Nutanix". Тем более, есть даже прямое указание: "The company generated 52% of all global hyperconverged revenue during the first half of 2014" - компания сделала 52% всех продаж гиперконвергентных решений в первой половине 2014. Пишем: "50% - Nutanix"

2. http://www.storagenewsletter.com/rubriques/market-reportsresearch/hyperconverged-systems-market-grew-162-in-2014-idc/
Цитата: "рынок hyperconverged систем в 2014 году вырос на 162,3% к рыночной стоимости $ 373 млн

Сопоставляем п.1 и п.2, получаем 373/2 = $ 186 млн - объем продаж Nutanix в 2014 году.

3. С высот высоких технологий спустимся немного ниже - в область "вообще серверов".
... на базе отчета все того же IDC http://www.cnews.ru/news/top/index.shtml?2014/05/29/573782, основывающегося, в свою очередь, на данных Gartner.

Цитата:

Мировой рынок серверов в денежном выражении

Компания	I кв. 2014, $	Доля в I кв. 2014	I кв. 2013, $	Доля в I кв. 2013	Рост год к году
HP	2 890 992 229	25,5%	2 959 030 197	25,0%	-2,3%
IBM	2244631789	19,8%	3 016 060 031	25,5%	-25,6%
Dell	2 006 639 006	17,7%	2 124 462 397	17,9%	-5,5%
Cisco	616 620 000	5,4%	450 120 000	3,8%	37,0%
Fujitsu	573 761 398	5,1%	583 238 840	4,9%	-1,6%
Прочие	3 023 595 517	26,6%	2 702 999 615	22,8%	11,9%
Всего	11 356 239 939	100,0%	11 835 911 081	100,0%	-4,1%

Так как первые пять компаний не имеют чести быть представленными в области поставщиков гиперконвергентных решений в рассматриваемом (п.1) отчете, считаем, что "Прочие" с общим объемом в 3 023 595 517 * 4 (данные-то за один квартал) = $ 12,1 млрд, содержит  в том числе Nutanix и компанию. Несложные математические манипуляции: 186/12100 = 0,015 дают нам отличный результат! Полтора из ста проданных в мире серверов, если они не HP, IBM, Dell, Cisco, или Fujitsu, являются гиперконвергентными серверами Nutanix. Наверное, это гипероптимистично...

   Теперь попытаемся отбросить маркетингово-рекламную шелуху и взглянуть на предмет трезво.

Следующие ниже рассуждения используют отсылки к Nutanix, но на самом деле, они относятся вообще к предмету разговора - гипер-конвергентным решениям. Конкретно к Nutanix никаких претензий нет!!! Они - лидер и локомотив, протаптывающий свой, уникальный путь.

   Не тем, кому хочется.

   Nutanix позиционирует себя не как компания хранения, а как провайдер решения по упрощению ИТ-инфраструктуры.
   Разберемся - Кому? В первую очередь, упрощенная до предела в управлении структура нужна:
 а) СМБ, поскольку расходы на содержание и управление вычислительными мощностями могут составить значительную долю непроизводственных затрат. Два и более, да каждый с высокой квалификацией (соответственно - заработной платой) администраторов, плюс регулярные затраты на обучение и поддержание квалификации,...   Этот сектор сразу выпадает из рассмотрения в силу недешевизны решения.
б) Крупным провайдерам ИТ решений/услуг, датацентрам - когда масштаб используемого оборудования переваливает какой-то предел управляемости и линейное расширение отдела эксплуатации или управления не приводит к адекватному повышению качества предоставляемых услуг.

   Средний бизнес, как самый массовый потенциальный потребитель - получается, вообще вне игры! С одной стороны - уже есть собственная служба поддержки информационной техники, и она справляется с задачами. С другой - даже если у компании достаточно денег, ломать сложившуюся структуру "до основанья, а затем..." не представляется экономически обоснованным.

   Подтверждение этих рассуждений можно найти в самой же Nutanix, которая с гордостью заявляет, что в числе лучших их клиентов - ряд компаний из Fortune 500. Видел, но ссылку не сохранил.

    Не так просто, как кажется.

    Модуль Nutanix - комплекс оборудования и ПО, сочетающий в себе и ряд виртуальных машин и некий объем виртуального накопителя. Вроде бы "все в одном", удобно... Но каждая реальная компания хоть чуть-чуть, но по-своему решает вроде бы одинаковые для всех задачи. Так как комплекс Nutanix скомпонован и поставляется жестко связанной единицей, можно предположить - что практически в 100% будет перебор/недобор или в части виртуальных машин или в хранилище. Допустим, вычислительной мощности хватает, но быстро тает свободное дисковое пространство - необходимо закупать очередной модуль ради расширения дисковой системы. Вычислители, при этом, еще менее эффективно будут загружены.

    Как бы ни было упрощено управление системой, как бы легко она ни расширялась, полностью исключить собственную ИТ службу может лишь безбашенный владелец бизнеса. Передача облсуживания на аутсорсинг - другой случай, речь идет именно об исключении. А оставшихся администраторов необходимо квалифицированно обучить управлению совершенно новым оборудованием (это деньги). Обученные соответственным образом работники получают больше рычагов для давления на администрацию в силу приобретения большей исключительности и потенциально могут требовать повышения заработной платы...

    Не так дешево, как думается.

    Тут нечего особенно сказать. Рассуждения компании Nutanix об экономической выгоде начинаются с порога, который очень многим просто не по карману. Это не "срубить бабла на разводе", решение затратное на этапе проектирования/реализации коммерческого продукта. Пример - технология erasure code technology, позволяющая обеспечить защиту данных на дисках более эффективно, чем стандартные варианты RAID, разрабатывали выходцы из Facebook и Oracle в течение двух лет (будет реализована в продукции с 4кв. 2015. источник).

   Несмотря на все вышесказанное, идея безумно нравится как таковая. И запала в душу еще с первых упоминаний в сети.
   

Avago ExpressFabric® PEX9700 коммутатор

    12 мая 2015 компания Avago представила третье поколение коммутаторов - серию PEX9700. На этот раз PCIe.

    Не зря приобрели PLX... Коммутаторы строятся на серии чипов с различными возможностями: от  PEX 9712 (12 линий, 5 портов) до PEX 9797 (97 линий, 25 портов). Тут надо пояснить - порты коммутатора настраиваемые (Flexible Port Configuration), каждый порт может объединять до 16 линий. Задержки передачи - 158нс у младших и 150нс у старших моделей. Поддерживается прямой доступ к памяти Ethernet-like DMA (NIC DMA), а также Tunneled Windows Connection (TWC) - для приложений, оперирующих короткими пакетами с ультранизкой задержкой передачи.

    Сферы применения:
В первую очередь, компания нацелена на распространение в датацентрах, на уровне обслуживания стойки и выше.

• системы хранения (Storage Appliances);
• высокопроизводительные вычисления (High-Performance Computing);
• как внутренний коммутатор блейд-сервера (Blade-based Servers) и микросерверной системы (MicroServers).

    Структура, образованная коммутаторами PEX9700 может выглядеть так:

    По утверждению Avago, по стоимости и потребляемой энергии решение на коммутаторах PEX9700 имеет 50% преимущество (расчеты в студию, пожалуйста!!!) по сравнению с решениями на Ethernet и InfiniBand.

SSD. Предупреждение о сроке хранения при отключенном питании

    "Срок хранения читайте на упаковке"...

    О подобных вещах не всегда задумываются даже сведущие люди, а что уж говорить о простом ПОЛЬЗОВАТЕЛЕ?...

    О том, что SSD имеют ограниченный ресурс перезаписей, наверное уже слышали и запомнили все. При этом, часть из слышавших даже обращает внимание на соответствующие характеристики при принятии решения о покупке. Есть еще одна немаловажная характеристика, о которой мало кто из пользователей вообще догадывался, а "неучет" ее может привести к большим неприятностям...

    Речь идет о сроке хранения (удержания) информации при отсутствии питания (powered-off retention period).
    В разъяснениях к спецификации, опубликованных комитетом JDEC, приводится таблица, показывающая ТРЕБОВАНИЯ по сохранности записанных на SSD данных в неделях (слайд 26)

А на слайде 27 приведены данные компании Intel - сохранность записанных данных в неделях  в зависимости от температуры окружающей среды (вертикаль) и рабочей температуры (горизонталь)  при отключенном от SSD питании:

    Картинка удручающая... Если запись на SSD велась в хорошем датацентре с замечательным охлаждением (рабочая температура была, допустим... 25 по Цельсию), а хранить его положили в шкаф у батареи и случайно нагрели до 40... Сохранность записанных данных гарантирована НА ОДНУ НЕДЕЛЮ!!!
    Народная мудрость 2015 - "Пиши в тепле, храни в холоде!" Для клиентских SSD цифры несколько больше, но все же вполне вероятна следующая ситуация: летом выпустили ноутбук с SSD, инсталлировали ОС, ... пока полежал на складе не в холодильнике, загрузили в контейнер, пока плыло под палящим солнцем - контейнеры так же не оснащены холодильными установками... Приехало, продали...
    ...И это еще при условии, что производители как чипов памяти, так и SSD соблюли требования и нормы!

    Резюме.
    SSD никак не годятся для длительного хранения в отключенном состоянии. Планируете простой - дублируйте информацию с SSD на традиционный HDD

https://blog.korelogic.com/blog/2015/03/24#ssds-evidence-storage-issues
http://www.jedec.org/sites/default/files/Alvin_Cox%20%5BCompatibility%20Mode%5D_0.pdf   (слайды 26 - 27)

TLC NAND - не так все просто. Проверка на дорогах Samsung SSD 840 выявила проблему, так и не решенную..

    Не в укор основному движителю TLC NAND,..
    Давно уже не было таких ярких проколов, выявленных по прошествии значительного времени после вывода продукта на рынок. Ситуация показала - насколько тяжело работать на передовой, насколько, подчас, сложно учесть влияние всех воздействующих факторов и предсказать результат.
    С другой стороны - если уж проблема выявлена, причем не самостоятельно, а покупателем/пользователем - отчего же не отчитаться: "так и так, тут лоханулись, и вот тут не учли... Исправимся, больше так не будем!"

    Предмет.
    Компания Samsung первой подготовила к массовому выпуску и начала производить флеш память с трех-уровневыми ячейками.

Расшифровка и напоминание - "уровень" (level) в данном случае неправильно отражает суть и запутывает. Как таковых уровней, в которых может находиться ячейка памяти, на самом деле 2 в степени N, где N- и есть та "уровневость", что присутствует в названии технологии.
Одноуровневая (SLC, Single-level cell) способна хранить 1 бит информации (состояния 0 и 1).
То, что принято называть многоуровневой (MLC, Multi-level cell), на самом деле двух-уровневая ячейка. 4 состояния, 2 бита.
Тип ячейки и памяти, способный хранить 3 бита (TLC, Triple-level cell), может стабильно находиться в 8 различных состояниях. Т.е., "трех-уровневый" на самом деле также многоуровневый...

    Так вот - с такой помпой выпущенные компанией Samsung SSD 840 и SSD 840 EVO, основанные на так же широко разрекламированной флеш TLC NAND, показали наличие проблем. Через довольно значительное время после сообщений от пользователей и обсуждений на форумах, компания нехотя их признала и пообещала все поправить, но до конца исправить ситуацию ей еще не удалось.

    Проблемы.
    Первая - резкое падение скорости чтения ячеек, хранящих информацию какое-то время. Падение в 10 (!!!) раз - до уровня затрапезного HDD. Какое время должно пройти до начала деградации - толком никто не представляет, все выявляется опытным путем. Кроется ли причина в принципе построения ячеек TLC, или это связано с конкретной партией чипов, конкретным техпроцессом фабрики - тоже четко не зафиксировано. Вроде бы вычислилось, что эффект проявляется на устройствах с чипами изготовленными по 19-нм техпроцессу (8 недель до деградации), но для устройств с 21-нм чипами деградация проявляется через 40 недель - это пользовательские данные, а не от компании.
    Samsung выпустил обновление прошивки, якобы исправляющей дефект. Исследователи вычислили, что устройство теперь "втихаря", т.е. фоновым процессом перемещает информацию с "пожилых" блоков на свежие - тем самым отодвигает "день Д". Но при этом уменьшается ресурс SSD, про это нельзя забывать!.. И это не решает проблему принципиально.

    Вторая. Не столь явно проявляющаяся и, может быть, не столь обсуждаемая, но от этого не теряющая своей актуальности - кошмарная зависимость все той же скорости чтения ячеек от температуры. Уж если стали под микроскопом рассматривать предмет - много чего интересного побочно выявляется!..
    Цифры следующие: если при температуре 40 градусов Цельсия основная масса блоков читается со скоростью от 200 до 500 МБ/с, то "замороженный" до 15 градусов накопитель вдруг начинает выдавать от 50 (!) до максимум 350 МБ/с.

    Все бы ничего, но Samsung с явной неохотой делится информацией. Кто виноват, что делать? Это "физику не обманешь" или локальный прокол? Есть ощущение, что это конкретная ошибка Samsung, поскольку Micron также производит TLC флеш, но по отношению к его продукции никто о деградации не заявлял.
    Samsung потратил значительные деньги на продвижение 840 накопителей на рынок - тут и реклама, и победы во всевозможных тестах и сравнениях,... статьи... медали, вымпелы..
   

http://www.3dnews.ru/901747
http://www.techspot.com/article/997-samsung-ssd-read-performance-degradation/