Конференція Високопродуктивні обчислення, Київ, 13-15 жовтня 2014

Міжз'єднання для масштабованих центрів обробки даних (ЦОД)

Перехід на InfiniBand з Ethernet дозволяє підвищити швидкодію додатків на порядок і скоротити капітальні витрати вдвічі, Гілад Шейнер, Network World, США.

Високопродуктивні обчислення, Web 2.0, аналітичні та пошукові програми залежать від швидкості обробки величезних обсягів даних, що генеруються користувачами в реальному часі. Зі збільшенням кількості користувачів, програм та платформ обсяг даних росте вже не в арифметичній, а в геометричній прогресії. У зв'язку з цим неминуче доводиться нарощувати потужність центрів обробки даних для прискорення доступу до них та їх аналізу.

Масштабовані ЦОД сьогодні складаються з паралельних інфраструктур, як апаратних (кластери обчислювальних систем і зберігання), так і програмних (приклад — Hadoop), і вимагають якнайкраще масштабовану, енергоефективну та високошвидкісну систему міжз'єднань — InfiniBand.

Хоча Ethernet широко застосовується в ЦОД, ця технологія обмежена вимогами зворотної сумісності з обладнанням, створеним десятиліття тому. Це підходить для виділеного ЦОД, але при спробі застосування в швидкозростаючих масштабованих обчислювальних архітектурах виникають складності.

InfiniBand спочатку застосовувався в середовищах високопродуктивних обчислень завдяки своїй високій пропускній здатності та потенціалу масштабування. Але не тільки дуже малий час затримки, найвища пропускна здатність та ефективна передача даних (маловитратна з точки зору ресурсів центрального процесора) зробили цю технологію очевидним вибором для масштабованих ЦОД.

Більш важливими факторами стали: можливість будувати на базі InfiniBand мережі без маршрутизаторів необмежених розмірів на основі ідентичних комутуючих елементів, надійна, безвтратна доставка даних та засоби запобігання перевантаженню мережі.

Основним будівельним блоком мережі InfiniBand є комутатори (що мають від 36 до 648 портів у розрахунку на корпус) та шлюзи InfiniBand-Ethernet (10G або 40G), комутуюча матриця InfiniBand працює з пропускною здатністю 56 Гбіт/с.

InfiniBand — це мережа, що передає дані без втрат і не потребує протоколу STP для захисту від зациклювання пакетів. Масштабування реалізоване дуже просто за рахунок можливості додавання комутуючих елементів. Кожна підмережа може мати до 40 тис. кінцевих точок — серверів і систем зберігання, а мережа в цілому може містити до 2128 кінцевих точок. Адаптери InfiniBand споживають досить малу потужність — менше 0,1 Вт на гігабіт, а комутатори InfiniBand — менше 0,03 Вт на гігабіт.

Оскільки InfiniBand змагається з Ethernet в тому числі і за розцінками, то в першому випадку за більш високу пропускну здатність ви платите найнижчу ціну в розрахунку на кінцеву точку.

Швидкість на порядок вище, витрати на 50% нижче

Завдяки тому, що InfiniBand забезпечує час затримки менше 1 мкс, пропускну здатність 56 Гбіт/с, підтримку віддаленого прямого доступу до пам'яті, маловитратне транспортування, передачу без втрат і заторів тощо, користувачі можуть кардинально підвищити швидкість роботи своїх додатків і знизити капітальні та операційні витрати.

Oracle, наприклад, взяла на озброєння InfiniBand кілька років тому, і з того часу на основі цієї технології створила СУБД-комплекси, а також рішення для хмарних сервісів, обробки даних в оперативній пам'яті та зберігання. Застосування InfiniBand дозволило підвищити швидкодію таких рішень в десять та більше разів.

Перехід на InfiniBand в ЦОД Microsoft, що обслуговує сервіс Bing Maps, забезпечив збільшення продуктивності і 50% зниження капітальних витрат у порівнянні з 10 Gigabit Ethernet. А в EMC/GreenPlum побудували великомасштабну систему Hadoop на основі InfiniBand, щоб максимально задіяти потенціал засобів прискорення обробки, розрахованих спеціально на застосування цієї технології міжз'єднань, що з'явилися в Hadoop.

В галузі високопродуктивних обчислень InfiniBand став фактичним стандартом кращої технології міжз'єднань. У сегменті зберігання InfiniBand застосовується у все більшій кількості рішень для зв'язку між самими масивами і частково — з серверами. IBM, EMC, DataDirect і Xyratex — лише кілька прикладів виробників, що пропонують подібні рішення.

Що попереду?

InfiniBand — одна з технологій, що найбільш швидко розвиваються. Якщо середній розрив між поколіннями Ethernet складає близько 10 років, то нове покоління InfiniBand з'являється кожні два-три роки.

У 2002 році це були системи з пропускною здатністю 10 Гбіт/с, в 2005-му — 20, в 2008-му — 40, в 2011-м — 56 Гбіт/с. У найближчі два-три роки очікується поява 100-гігабітного InfiniBand, готового до великомасштабних впровадженнь.

Кожне покоління відрізняється від попереднього новими та поліпшеними функціями, які дозволяють додаткам працювати швидше, а обчислювальним інфраструктурам — стати ефективнішими з точки зору швидкодії, витрат споживаної потужності і відмовостійкості.

У найближчі кілька років ЦОД (віртуалізовані, хмарні тощо) будуть обробляти і переносити дані в небачених раніше обсягах. Через 10 років в центри обробки буде надходити інформація від сотень мільйонів елементів — датчиків навколишнього середовища, супутникових камер, навігаційних систем наведення і медичних приладів. У InfiniBand є всі шанси стати кращою технологією для таких ЦОД, враховуючи важливість ефективності міжз'єднань для їх роботи.

Теги: Ethernet, Infiniband, високопродуктивні обчислення, інтерконект, технології, ЦОД

Матеріали за темою:

Коментарі