http://www.opencompute.org/blog/ocp-hackathon-winner-adaptive-storage/
Проект Open Compute Project, OCP проводит инициативные соревнования (Hackathon) в рамках своих слетов (OCP Summit). Победителем последнего мероприятия стала команда из ранее незнакомых людей из разных компаний, которых объединил в течение 24-часового марафона вопрос: "Как предложенные технологии могут быть использованы наилучшим и наиболее эффективным способом?"
Команда:
Andreas Olofsson, компания Adapteva, Inc.,
Peter Mooshammer, выходец из IBM,
Jon Ehlen из Facebook,
Dimitar Boyn из компании I/O Switch Technologies, Inc,
Rob Markovic, независимый консультант,
Ron Herardian, "любитель компьютеров и хакер".
Проект: Adaptive Storage. Вычислительные ресурсы и ресурсы хранения объединяются по слабосвязанной сети и образуют масштабируемое оптимизированное решение для обработки больших массивов данных, таких как Hadoop.
Кирпичики для здания - вычислители Parallella Micro Server на ARM процессорах, коммутаторы ATA over Ethernet (AoE), или AoE Enabler и подключаемые к ним диски. Сразу вспоминается прогноз от Seagate - все накопители в скором времени будут иметь один интерфейс - сетевой! (см. ""). Это все предоставляется лабораторией. Остальное зависит от умений, фантазии участников, а также от способности в краткое время объединить знания и усилия этих бойцов в единую команду.
С самого начала, вся команда была очарована возможностями нового микро-сервера Parallella для облачных сервис-провайдеров и крупных предприятий. Parallella является мощной, гибкой и расширяемой вычислительной платформой, несмотря на кажущуюся "ущербность". Компьютер Parallella рожден по инициативе Adapteva в 2012 году по по схеме краудфандинга (добровольных пожертвований на реализацию творческих, научных и производственных проектов). Девиз проекта - "Supercomputer for everyone", т.е., "Суперкомпьютер каждой домохозяйке!" Плата имеет двухъядерный процессор Zynq Z-7020 ARM A9, работающий на частоте 1 GHz, дополненный 16-ядерным Epiphany Multicore Accelerator и одним гигабайтом оперативной памяти. Он также имеет встроенный Gigabit Ethernet порт, порты USB и HDMI, а также 2 порта расширения GPIO. Все это хозяйство располагается на плате размером 86 × 53 мм.
Структура выстроенной для проекта системы довольно примитивна. Все процессорные модули, а также дисковые накопители (через коммутатор AoE) подключаются к сетевым коммутаторам. Нет обычного массива хранения, каждый диск подключен индивидуально. Любой микро-сервер может обращаться к любому диску. Это означает, что микро-серверы могут объединить усилия, чтобы обработать сложные задания или большие объемы данных.
Рекомбинация микро-серверов происходит динамически. Поскольку дополнительные микро-серверы могут быть набраны автоматически для сложных заданий или обработки больших данных, структура эластична для вычислений. Дополнительные физические микро-серверы могут быть добавлены к сети в любое время, независимо от системы хранения.
Любой микро-сервер может взять на себя нераспределенные диски в сети для обработки задания, "отпустив" их, когда они больше не нужны. Это также делается по требованию, так что структура эластична для ресурсов хранения. Дополнительные физические диски могут быть добавлены к сети в любое время независимо от вычислительных.
Мимоходом устраняются все узкие места и единые точки отказа.
Подход и методы адаптивного хранения не ограничены применением для Hadoop систем. Он может быть применен к практически любой большой системе обработки и передачи данных, таких как Cassandra или MongoDB. В систему адаптивного хранения замечательно вписывается Seagate Kinetic - для него даже коммутатор AoE не требуется.
Проект Open Compute Project, OCP проводит инициативные соревнования (Hackathon) в рамках своих слетов (OCP Summit). Победителем последнего мероприятия стала команда из ранее незнакомых людей из разных компаний, которых объединил в течение 24-часового марафона вопрос: "Как предложенные технологии могут быть использованы наилучшим и наиболее эффективным способом?"
Команда:
Andreas Olofsson, компания Adapteva, Inc.,
Peter Mooshammer, выходец из IBM,
Jon Ehlen из Facebook,
Dimitar Boyn из компании I/O Switch Technologies, Inc,
Rob Markovic, независимый консультант,
Ron Herardian, "любитель компьютеров и хакер".
 |
| Это Parallella Micro Server |
Кирпичики для здания - вычислители Parallella Micro Server на ARM процессорах, коммутаторы ATA over Ethernet (AoE), или AoE Enabler и подключаемые к ним диски. Сразу вспоминается прогноз от Seagate - все накопители в скором времени будут иметь один интерфейс - сетевой! (см. ""). Это все предоставляется лабораторией. Остальное зависит от умений, фантазии участников, а также от способности в краткое время объединить знания и усилия этих бойцов в единую команду.
 |
| Это коммутатор ATA over Ethernet (AoE) |
С самого начала, вся команда была очарована возможностями нового микро-сервера Parallella для облачных сервис-провайдеров и крупных предприятий. Parallella является мощной, гибкой и расширяемой вычислительной платформой, несмотря на кажущуюся "ущербность". Компьютер Parallella рожден по инициативе Adapteva в 2012 году по по схеме краудфандинга (добровольных пожертвований на реализацию творческих, научных и производственных проектов). Девиз проекта - "Supercomputer for everyone", т.е., "Суперкомпьютер каждой домохозяйке!" Плата имеет двухъядерный процессор Zynq Z-7020 ARM A9, работающий на частоте 1 GHz, дополненный 16-ядерным Epiphany Multicore Accelerator и одним гигабайтом оперативной памяти. Он также имеет встроенный Gigabit Ethernet порт, порты USB и HDMI, а также 2 порта расширения GPIO. Все это хозяйство располагается на плате размером 86 × 53 мм.
Структура выстроенной для проекта системы довольно примитивна. Все процессорные модули, а также дисковые накопители (через коммутатор AoE) подключаются к сетевым коммутаторам. Нет обычного массива хранения, каждый диск подключен индивидуально. Любой микро-сервер может обращаться к любому диску. Это означает, что микро-серверы могут объединить усилия, чтобы обработать сложные задания или большие объемы данных.
Рекомбинация микро-серверов происходит динамически. Поскольку дополнительные микро-серверы могут быть набраны автоматически для сложных заданий или обработки больших данных, структура эластична для вычислений. Дополнительные физические микро-серверы могут быть добавлены к сети в любое время, независимо от системы хранения.
Любой микро-сервер может взять на себя нераспределенные диски в сети для обработки задания, "отпустив" их, когда они больше не нужны. Это также делается по требованию, так что структура эластична для ресурсов хранения. Дополнительные физические диски могут быть добавлены к сети в любое время независимо от вычислительных.
Мимоходом устраняются все узкие места и единые точки отказа.
Подход и методы адаптивного хранения не ограничены применением для Hadoop систем. Он может быть применен к практически любой большой системе обработки и передачи данных, таких как Cassandra или MongoDB. В систему адаптивного хранения замечательно вписывается Seagate Kinetic - для него даже коммутатор AoE не требуется.
Комментариев нет:
Отправить комментарий