Показаны сообщения с ярлыком RDMA. Показать все сообщения
Показаны сообщения с ярлыком RDMA. Показать все сообщения

пятница, 11 сентября 2015 г.

Таки, каким интерфейсом мы будем соединяться с iSCSI SSD хранилищем? Знамо дело - Infiniband с RDMA!

    7 сентября 2015. Mellanox продолжает затеянную некоторое время назад тему. Оригинал здесь. ВИдением развития рынка СХД делится Майкл Каган - главный технический директор и соучредитель компании Mellanox Technologies.

    По мнению компании, мы являемся свидетелями революции в системах хранения. Речь идет о доступе к быстрым хранилищам по протоколу iSCSI через интерфейс Infiniband с использованием технологии прямого доступа к памяти (RDMA).

    История.
    В то время, пока основным носителем в СХД был жесткий диск с задержкой на выдачу данных в десятки миллисекунд, и соответствующие сетевые и протокольные накладные расходы были в сотни микросекунд, суммарные накладные расходы составляли незначительный процент от общего времени доступа.
    Все кардинально поменялось с началом активного использования SSD в СХД. Время доступа снизилось на два порядка до сотен микросекунд. Если задержки доступа по сети и протокола не снизить пропорционально, они создадут бутылочное горлышко, которое сведет на нет все преимущества, привносимые SSD.
    ... и тут на сцене появляется рыцарь в сверкающих доспехах на белом коне! Мало того, что интерфейс Infiniband изначально проектировался с фокусом на сверхнизкие задержки, так Mellanox, к тому же, является большим специалистом в RDMA! Сочетание одного с другим выводит компанию Mellanox в безусловные лидеры в двух направлениях - а) межсоединения в нагруженных вычислительных кластерах и - как оказалось, б) в быстрых системах хранения. Немаловажным является и тот факт, что решение получается "из одних рук" - Mellanox производит как контроллеры интерфейса, так и соответствующие коммутаторы (.. и даже кабели с недавнего времени!).

    Сейчас.
    iSCSI Extensions for RDMA (iSER) - расширение iSCSI, формализует протокол передачи данных по каналам связи с учетом прямого доступа к памяти.
    Mellanox имеет в портфеле полноценные решения со скоростью передачи как на 40/56Gb/s, так и на 100Gb/s. Кстати - Mellanox первой в мире предложила комплексное решение на скорости 100Gb/s с суб-миллисекундной задержкой в 2015 году.

    Скоро.
    Не за горами выход на широкий рынок Intel 3D-Xpoint. Он ознаменуется очередным 100-кратным скачком производительности, и будет требоваться еще более эффективной сети.
В план-графике Mellanox (дорожной карте - если кто не понял) - "кролик из рукава" - решение на 200Gb/s.
    Помимо прочего, развивается и RDMA, в который заложены перспективные механизмы. На картинке отражен сегодняшний скачок при переходе от 1Gb/s iSCSI и НЖМД к 40/100Gb/s + RDMA и SSD, а также движение к следующей станции - 100/200Gb/s + RDMA+ и 3D-Xpoint в качестве носителя.

    Что такое "-" и "+" в RDMA.
Знак "-", "+", "++" показывает метод разрешения коллизий при передаче пакетов по каналу связи от нескольких источников.
В "RDMA-", только один из конкурирующих кадров обрабатывается (пропускается в канал), в то время как остальные отбрасываются.
В "RDMA+", только один из конкурирующих кадров пропускается в канал, в то время как остальные буферизуются в пределах определенной продожительности.
"RDMA++" - то же, что в "RDMA+". Дополнительно: не переданные кадры сохраняются в случае обрыва связи. Задания на передачу восстанавливаются с восстановлением канала.

http://www.mellanox.com/blog/2015/09/rdma-enabling-storage-technology-revolution/

G. Neufeld,M. Ito   Protocols for High Speed Networks IV



четверг, 2 июля 2015 г.

Mellanox Technologies анонсировал 'Soft-RoCE' - программного обеспечения, реализующего RDMA Over Converged Ethernet (RoCE)

    23.06.2015   В результате от совместных усилий разработки с IBM Corp. и System Fabric Works, Inc. , свободно доступная реализация программного обеспечения позволяет серверам и системам хранения данных, общаться с RDMA, используя любой стандартный адаптер Ethernet. Программное решение обеспечивает полную совместимость между стандартными сетевыми адаптерами и решениями, имеющими аппаратное ускорение.
http://www.mellanox.com/page/press_release_item?id=1557

    Ресурс, посвященный технологии RoCE, объединяющий усилия по продвижению от InfiniBand Trade Association.

    Mellanox уже довольно долгое время пропагандирует преимущества RDMA в системах с высокой нагрузкой.
    В информационных закромах компании можно найти конкретные примеры с цифрами и подробностями. В частности:

 - http://www.mellanox.com/blog/2015/05/storage-spaces-direct-if-not-rdma-then-what-if-not-mellanox-then-who/  с говорящим заголовком "Если не RDMA, то что? Если не Mellanox, то кто?" раскрывает приобретаемое преимущество в связке адаптеров Mellanox и Microsoft Windows Server 2016 Storage Spaces. При прочих равных условиях, нижеприведенная табличка показывает разницу в производительности с- и без- RDMA (2 и 3 строки):

   




   - http://www.mellanox.com/blog/2014/06/how-rdma-increases-virtualization-performance-without-compromising-efficiency/   - отсылка к исследованиям Dell нагрузочной способности системы, состоящей из серверов PowerEdge R720 с ПО Fluid Cache, объединенных между собой адаптерами ConnectX-3 40GE с технологией RoCE. До 5 миллионов IOPS на случайном чтении 4k блоками. В переложении на симулятор Oracle ускоритель Fluid Cache совместно со скоростным интерфейсом с RoCE позволяет увеличить количество одновременно обслуживаемых пользователей с 2 200 до 14 000 - в 6 с лишним раз!

 - https://www.mangstor.com/web/binary/saveas?filename_field=datas_fname&field=datas&model=ir.attachment&id=413    - представление компании Mangstor флэш-хранилища с адаптером внешнего интерфейса Mellanox, показывающего до 10GB/s на случайном чтении 8GB/s на случайной записи 4k блоками. Задержки, которые показывает система, сравнимы с задержками локального PCIe SSD в сервере.