Micron NVDIMM + In-Memory DataBase - рецепт ультраскоростной базы данных

    Эта тема не для внедренцев 1С бухгалтерии!!!   :)

    11/2015. Компания Micron приблизилась к началу продаж энергонезависимых модулей DIMM.
На сайте и в каталоге появился соответствующий раздел, уже присвоены партнамберы изделий. Пока еще в статусе "Sampling", правда.

    Зачем оно надо?

    Все бы ничего, да оперативная память, используемая повсеместно сегодня, теряет всю информацию при пропадании питания. Отсюда - ВЫНУЖДЕННЫЕ совсем не быстрые по нынешним временам процедуры записи с последующим чтением на дисковые накопители (HDD). Работы по внедрению в промышленное производство новых видов памяти активно ведутся, но реально этот день еще не близок.
    Micron предлагает решение, позволяющее резко ускорить вычислительную систему уже сейчас, адаптировавшись под существующую ныне архитектуру вычислительной техники. Позиционирование NVDIMM по производительности и цене - в области, занимаемой DRAM.

    Как это устроено

    На данный момент, относительно активно развиваются 2 конкурирующих решения - с резервной флеш-памятью и модулем питания (в том числе - Micron) и полностью флеш - SanDisk UlltraDIMM (разработка Diablo).
    Каждое из них имеет свои плюсы и минусы. Здесь рассматривается комбинированный подход с резервной флеш.
    Фактически, NVDIMM представляет собой стандартный модуль DRAM DIMM с дополнением - соответствующий по емкости раздел флеш-памяти, систему управления/мультиплексор и систему питания.
    Принцип следующий: в штатной ситуации модуль работает как обычный модуль оперативной памяти. В случае аварии по питанию, его текущее состояние (т.е. - все данные,

Блог Stephen Bates (PMC-Sierra) - выжимаем все соки из SSD хранилища. Статья 1 - Driver/OS/CPU latency.

    Инженер PMC-Sierra Stephen Bates в блоге компании начал серию из 4 статей (по им же описанному числу влияющих факторов), разбирающих работу системы хранения на SSD с точки зрения производительности.

    Если до недавнего времени накопители были НАСТОЛЬКО медленнее всей остальной системы хранения, что однозначно определяли ее общую производительность, то с распространением SSD, а теперь и особенно с появлением сверхбыстрого интерфейса NVMe и соответствующих накопителей, приходится "ловить блох" уже в системе, обслуживающей накопители.
    Автор выделил 4 области, привносящие задержки в работу системы:

1. Media latency   (задержка накопителя)
2. Controller latency   (задержка контроллера)
3. Fabric latency   (задержка фабрики. Технически, фабрика описана стандартами)
4. Driver/OS latency/CPU latency   (задержка, вносимая драйвером)

Stephen Bates начал - как и у нас часто принято начинать - с конца. Первая заметка посвящена работе драйверов.

    Задержка, вносимая драйвером, определяется широким набором и сочетанием факторов - какая OS, какая сборка, какой тип процессора (-ов), сколько ядер, тредов, памяти, ...  - в общем, индивидуальна для КАЖДОГО конкретного сочетания железа/софта. Но

Avago первой в мире создала в силиконе мульти-канал чтения для грядущих поколений HDD

    22 октября 2015 Avago объявила о создании в кремнии мультиканала для накопителей на магнитных дисках со следующими поколениями плотности записи.

    Разработка рассчитана на создание контроллеров накопителей на магнитных дисках с частотой передачи данных до 4.0GHz и использует технику массива считывающих головок Array Reader Magnetic Recording (ARMR), Цель - достижение плотности записи в 1.3Tb/кв.дюйм.

    Зачем все это надо?
    Суть в следующем: дальнейшее уменьшение размеров ячейки (домена) в магнитной записи и магнитного зерна, соответственно приводит к трудностям в достоверном чтении записанной на поверхность информации. Особенно актуально встает задача в случае, когда ширина записанной дорожки МЕНЬШЕ, чем ширина считывающей головки. К тому же, магнитное зерно на поверхности имеет неоднородные размеры, форму и расположение. Постоянно ведутся работы по улучшению этих показателей, но физику трудно обмануть. Дабы увеличить достоверность считывания, предложено использовать многократное чтение или чтение массивом головок с небольшим смещением либо положения, либо в ориентации.
    Многократный проход головки над одной и той же дорожкой замедлит процесс чтения кратно количеству проходов - что приведет к существенной потере скорости - отметается.

    Чтение массивом головок.
    Поиск выдал ссылку на патент Seagate "Reading narrow data tracks with multiple wide readers" от 2014 года. Также присутствует доклад исследователей LSI "Capacity Advantage of Array-Reader-Based Magnetic Recording (ARMR) for Next Generation Hard Disk Drives", полный текст которого доступен в платной подписке.
    Выделение полезного зерна среди кучи мусора, которую выдаст массив считывающих головок - задача нетривиальная, связанная с довольно сложной математикой, насколько я понимаю. Собственно - эту задачу, видимо, и решили инженеры теперь уже Avago (LSI вошел в ее состав) в виде готового полупроводникового чипа  - что-то типа обозначенного как блок 300 на нижеприведенной схеме.

Схема позаимствована с титульной страницы патента Seagate.


http://www.avagotech.com/news/press-releases/first-multi-reader-storage-read-channel-silicon

патент
http://pdfpiw.uspto.gov/.piw?Docid=09105302&homeurl=http%3A%2F%2Fpatft.uspto.gov%2Fnetacgi%2Fnph-Parser%3FSect2%3DPTO1%2526Sect2%3DHITOFF%2526p%3D1%2526u%3D%2Fnetahtml%2FPTO%2Fsearch-bool.html%2526r%3D1%2526f%3DG%2526l%3D50%2526d%3DPALL%2526S1%3D9105302.PN.%2526OS%3DPN%2F9105302%2526RS%3DPN%2F9105302&PageNum=&Rtype=&SectionNum=&idkey=NONE&Input=View+first+page
http://www.google.com/patents/US9105302
доклад
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6774911&newsearch=true&queryText=Capacity%20Advantage%20of%20Array-Reader-Based%20Magnetic%20Recording

Некоторые тенденции в HDD-строении тут
http://viacheslavfonarev.blogspot.com/2014/02/hdd-assisted-magnetic-recording-hamr.html