Конференція Високопродуктивні обчислення, Київ, 13-15 жовтня 2014

Розвиток та перспективи НРС в Україні

Сегрій ДудіновПропонуємо вашій увазі інтерв’ю з Сергієм Дудіновим, директором компанії «Термінал-Сервіс», на тему розвитку та перспектив високопродуктивних обчислювальних технологій в Україні.

Компанія «Термінал-Сервіс» (http://www.tslab.com.ua/) була створена на базі команди інженерів компанії ЮСТАР, одного з провідних системних інтеграторів в Україні, постачальника рішень у сфері високопродуктивних обчислень, збереження та обробки даних, інфраструктури для серверних кімнат та центрів обробки даних.

Компанія «Термінал-Сервіс» здійснила ряд проектів модернізації та побудови високопродуктивних обчислювальних комплексів та систем зберігання для Інституту кібернетики ім. В.М.Глушкова НАНУ, НТУУ «КПІ» (Київ), Інституту конденсованих систем (Львів), Радіоастрономічного інституту НАНУ  (Харків), Prime Information and Technology Co. Ltd. (Корея), OSI Group (Німеччина) тощо.

USID: Як Ви оцінюєте сучасний стан HPC в Україні?

С.Д.: Коли у 2004 році було прийнято на державному рівні Національну Ґрід-програму Кабінету Міністрів України UGRID (проект створення національної української мережі Ґрід та інтеграції її у загальноєвропейську) перспективи бачились досить райдужні.

У лабораторії Ґрід-технологій Інституту теоретичної фізики було створено перший Ґрід-сегмент Національної академії наук України (об'єднує кластери Інституту теоретичної фізики ім. М.М. Боголюбова, Інституту клітинної біології та генетичної інженерії, Інституту молекулярної біології та генетики, Головної астрономічної обсерваторії, Київського національного університету ім. Т. Шевченка, Інституту кібернетики ім. В.М. Глушкова, Інституту космічних досліджень). Системним інтегратором з впровадження більшості обчислювальних кластерів Ґрід-сегменту виступила компанія Юстар (зараз Термінал-Сервіс).

Окрім того, було видно, як ріс попит на потужні системи з боку авіаційної та автомобільної промисловості, нафтогазового сектору. Також були великі проекти для метеорологічних центрів та фінансових установ.

На жаль криза 2008 року значно вплинула на розвиток індустрії HPC. Протягом 2008-2009 років розвиток HPC в Україні майже припинився. В даний час в Україні і на державному рівні, і в приватному бізнесі видно поновлення зацікавленості до високопродуктивних обчислень, але відсутня чітка концепція вирішення ресурсомістких задач.

Також є потреби інтеграції вже існуючих українських Ґрід-сегментів і Ґрід-кластерів у загальноєвропейську систему. Ґрід-співпраця вже існує через ЦЕРН (Женева), в рамках AliEn-grid, AstroGrid-D. І це коло розширюється. Так, в минулому році з бюджету були виділені кошти на модернізацію мережевої магістральної інфраструктури вітчизняної Ґрід-мережі.

Разом з розвитком українського Ґрід-сегменту очікується якісний і кількісний стрибок у розвитку українського Інтернету. В академічних інститутах по всій Україні створюються нові Ґрід-кластери та модернізуються існуючі. Все це разом створює непоганий потенціал для відродження ринку НРС в Україні.

USID: Наскільки добре представлені світові бренди в Україні?

С.Д.: Майже всі світові бренди А-рівня в Україні представлені досить широко, але якщо справа не стосується HPC-сегменту. Наприклад, компанія SGI майже не присутня в Україні, хоча в світі це один з лідерів. Те ж саме можна сказати про компанії Appro та Cray, які мають унікальні рішення та досвід побудови суперкомп’ютерів. За дослідженнями фірми Smaby, серед 500 найбільших обчислювальних центрів США 218 використовують техніку SGI або Cray, в той час, як найближчий конкурент - IBM - може "похвастатись" лише 106 інсталяціями.

Так чи інакше, і Dell, і IBM, і НР мають в своїй продуктовій лінійці рішення для HPC, але прайсова вартість таких систем як правило досить значна. Якщо купувати одразу готове та повністю укомплектоване рішення, виробник, як правило, дає спец.ціну з дуже значними знижками.

Але реалії українського фінансування такі, що гроші виділяються під проект зазвичай невеличкими частинами протягом декількох років, через що придбання рішень від А-бренду стає нерентабельним. Тому в більшості вітчизняних НРС-рішень в якості вузлів (нод) використовуються сервери українського виробництва на базі платформ Supermicro, Tyan, Chenbro та стандартних комплектуючих.

Для поєднання вузлів кластера, як і раніше, популярними залишаються 1 ГБіт-Ethernet та Infiniband, що представлені брендами HP, Cisco, Mellanox, Brocade та Qlogic. В меншому обсязі, але також представлена продукція таких брендів, як Emulex та Finisar.

USID: Які високопродуктивні системи користуються попитом в Україні?

С.Д.: Наш досвід показує, що зараз на ринку HPC в Україні найпопулярнішими є продукти від компаній НР та Supermicro. Це зумовлено тим, що вартість систем на основі цих брендів виходить, як правило, нижча, ніж систем від IBM або Oracle.

Хітом продажу в нас зараз є системи HP S6500 (спеціалізоване блейд-рішення для HPC) та різні моделі Supermicro, що поєднують в одному корпусі форм-фактора 1U два двопроцесорні сервери або в 2U – чотири двопроцесорні сервери. Як правило, вони йдуть з інтегрованим Infiniband. Аналогів за ціною від інших брендів просто немає.

А враховуючи те, що для побудови кластера на їх основі можна використовувати звичайні процесори, жорстки диски та інші комплектуючі, собівартість таких рішень є найкращою. Також хотілось би сказати про "вибуховий" ріст попиту на продукцію систем зберігання від Quantum, які досить поширені в світі, але майже не продавались в Україні.

Серед 1 ГБіт-Ethernet комутаторів найбільш популярними в нас є НР. Це зумовлено гарним співвідношенням їхньої ціни та якості. Серед Infiniband найбільш популярними є карти QLogic QDR (40 Гбіт). Майже зник попит на DDR-Infiniband. Це зумовлено тим, що ціни між DDR та QDR-версіями інтерфейсу майже зрівнялись.

USID: Чи є попит на суперкомп’ютери в бізнесі, промисловості?

С.Д.: Так. Як я казав вище, зараз видно хоч і невеликий, але стійкий попит на системи майже в усіх галузях промисловості (медична та фармацевтична галузь, газонафтова, кіно/відео-індустрія та медіа виробництво).

З’явився попит на потужні системи для моделювання та проектування архітектурних об’єктів та інтер’єрів з елементами інтерактивності та рендерінгу у реальному часі. Наприклад, коли замовнику надається можливість «погуляти» по майбутньому віртуальному будинку в режимі 3D, причому всі його зауваження переробляються прямо при ньому без довгого очікування.

Класично є стабільним попит на НРС там, де для виробництва використовується твердотільне моделювання, розрахунки в області гідро- і газодинаміки, а також при аналізі земних надр, в тому числі для пошуку корисних копалин.

Збільшується зацікавленість у НРС і серед банківського та фінансового секторів. Наприклад, для банків це може бути застосування математичних моделей і алгоритмів для визначення надійності клієнта та прийняття рішення про видачу кредиту.

В минулому році нами було продано дві системи для космічної галузі. Обидві системи використовують топові процесори та GPU-обчислювачі. Від класичного кластера в обох випадках клієнт відмовився по причині програмного забезпечення, що погано оптимізоване для паралельних обчислень.

Зараз також є багато старого програмного забезпечення, написаного для НРС, але неоптимізованого для нових систем. Тому я прогнозую збільшення попиту на НРС-системи в тих галузях, де таке програмне забезпечення буде найближчим часом оновлене та оптимізоване для HPC.

USID: Ви продаєте обладнання, чи також системи «під ключ»?

С.Д.: Переважно ми намагаємось продавати готові рішення. Це більш цікаво і в інженерному плані, і в фінансовому. Є багато інших компаній, що якісно роблять box-moving та під замовлення можуть завезти в Україну різні НРС-компоненти.

Але треба розуміти, що замовляючи компоненти самостійно в Європі чи США, ви не отримаєте консультаційної підтримки та сервісу, які можливі при придбанні компонентів в Україні.

Як правило, при придбанні компонентів за кордоном, або у компанії, що не спеціалізується на НРС, ціна для кінцевого споживача буде вище. Це логічно, оскільки для отримання спец. цін необхідно мати партнерські угоди та виконувати плани продажу виробника.

USID: Які переваги купівлі обчислювального кластера української розробки?

С.Д.: Вони є і їх багато. На прикладі нашої компанії можу сказати, що купуючи кластер в нас, замовник отримує безкоштовний консалтинг та консультації стосовно вибору рішення. Перед придбанням кластера ми разом з замовником розглядаємо задачі, для яких він купується, а також різні варіанти реалізації кластера.

Оскільки ми не прив’язані до одного конкретного бренду, то система не підбирається з того, що є в виробника, а з самого початку оптимізується під задачу замовника. Це дозволяє значно зекономити на початку проекту та в подальшому модернізувати кластер за потреб та наявності фінансування.

Ще одна важлива річ – це сервіс, про який зазвичай забувають, але швидкість і можливість відновлення роботи кластера в разі виникнення проблем може стати ключовою.

В кластерах нашої розробки використовуються стандартні комплектуючі, ми маємо свій склад запчастин спеціально під сервіс і завжди поруч із замовником, тому в разі виникнення технічних проблем час відновлення роботи кластера мінімальний.

Важливий фактор, що не враховується при придбанні кластера в закордонної компанії або готового кластеру від А-бренду, – це вартість сервісу. Стандартно сервісна підтримка таких систем може коштувати 15%-35% на рік від вартості самого кластера.

А тепер уявіть ситуацію, що замовник – бюджетна організація. Фінансування обмежене, тому купити сервіс одразу на декілька років для неї неможливо.

А у випадку значної поломки кластера для його ремонту потрібно буде організувати тендер на його ремонт. Отже, робота кластера зупиниться на місяці. Тому для державних організацій взагалі немає варіантів, крім купувати або вітчизняний кластер, або будувати його силами власних спеціалістів, що теж є ризикованим, оскільки кластер – це не домашній РС, і досвід побудови кластерних систем є вкрай важливим.  Це стосується не тільки кластера безпосередньо, а й електроживлення, охолодження та багатьох інших моментів, які врахувати наперед без значного досвіду неможливо.

USID: Чи є інтерес до енергозберігаючих технологій для кластерів, які рішення ви пропонуєте?

С.Д.: Дійсно, сьогодні все актуальнішим стає питання ефективного використання енергії та збереження природних ресурсів і екології.

Тепер замовники все частіше звертають увагу на такі параметри, як продуктивність у ГФлопс на Ватт споживної енергії, розмір приміщення під датацентр, коефіцієнти PUE (коефіцієнт ефективності використання енергії) та його зворотну величину – коефіцієнт ефективності дата-центру (DCE), які дозволяють операторам дата-центрів швидко оцінити енергетичну ефективність своїх підприємств, порівнювати результати своїх вимірювань з результатами інших ЦОД і визначити необхідність підвищення енергетичної ефективності. На жаль, до сих пір важливість енергоефективності датацентру має зазвичай суто теоретичний інтерес.

У США та Європі енергоефективність – це ключовий параметр при виборі НРС-рішення та побудові датацентру. У нас же ніхто не рахує, скільки енергії буде втрачено за 5 чи 10 років експлуатації дата центру, хоча зазвичай додаткові витрати на побудову енергоефективного кластера окупаються за 1-2 роки.

При проектуванні кластера на першому плані завжди є проектування систем з компонентів, що забезпечують максимальний ККД, починаючи з вибору найефективніших у відношенні продуктивність/енергоспоживання процесорів, блоків живлення, систем охолодження, і закінчуючи оптимізацією алгоритмів роботи програмних систем управління кластерними комплексами, що можуть вимикати незадіяні в роботі модулі обчислювальної системи.

Для високопродуктивних кластерних систем розробляються додаткові схеми часткової рекуперації теплової енергії, що дозволяють використання тепла від кластера для інших технологічних процесів. Все це при грамотному проектуванні дозволяє досягнути PUE близько 1,2, що є дуже гарним показником.

У ряді випадків можна досягнути ще кращих показників, наприклад, можна встановити систему рідинного охолодження мінеральним маслом від Green Revolution Cooling. Чисте мінеральне масло є діелектриком і в нього можна занурити сервери для максимально ефективного відведення тепла, прокачуючи його через відкриту градирню / теплообмінник.

Система охолодження подібного типу буде максимально ефективною (матиме мінімальне PUE, нижче, ніж 1,1), оскільки енергетичні витрати на функціонування підсистеми тепловідведення будуть пов'язані лише з насосами, які забезпечують циркуляцію рідини через контур градирня-шафа. Причому підсистема насосів в даному рішенні організована у відмовостійкому режимі.

Завдяки значній масі рідини, яка використовується для тепловідведення, у разі зникнення напруги на насосах і їх повної зупинки, система не отримає тепловий шок. Крім того, при впровадженні рідинної системи охолодження значно зменшиться шум та кількість пилу, звільниться простір у приміщенні, що, разом з економією на системах пожежогасіння та значною економією споживаної електроенергії, дасть економічний ефект від впровадження такої системи менше ніж за рік.

Для великих систем зберігання даних може бути використана дедуплікація даних, що на порядок зменшить потребу в кількості жорстких дисків для одного і того ж об’єму даних. У поєднанні з технологією MAID, коли активні дані кешуються на SSD-дисках, а частина жорстких дисків, що тимчасово не використовується, автоматично вимикаються. Отже споживання енергії для системи зберігання може бути зменшене в 5-10 разів.

В задачах, що добре розпаралелюються і можуть бути оптимізовані для виконання на GPU-обчислювачах, впровадження гібридних вузлів з такими прискорювачами може дати економію енергоспоживання в десятки разів у порівнянні з чистими CPU-нодами.

USID: Які, на Вашу думку, перспективи НРС в Україні?

С.Д.: Хоча час повсюдного використання HPC в Україні ще не настав, однак, з урахуванням економічного і промислового потенціалу нашої країни, попит на ці рішення трансформується зі «стадії усвідомлення потреб» в чітку прагматичну реалізацію, як у сфері науки, так і в бізнесі, і в промисловості.

Цьому також сприяє здешевлення обчислень в цілому та впровадження нових концепцій обчислення. Наприклад, розвиток обчислень за допомогою GPU-прискорювачів та оптимізація під такі обчислення програмного забезпечення. Також видно ріст попиту на такі системи з боку фармацевтичної та медичної промисловості.

Ринок демонструє відносно стійкий попит і на системи, близькі до HPC. Наприклад, серверні ферми для рендеринга 3D-графіки, розробки спецефектів, різних елементів для медіа виробництва і комп'ютерних ігор. За власними продажами можу сказати, що зараз видно тенденцію росту попиту на великі системи зберігання, GPU-обчислювачі, швидкісний інтерконект (10 ГБіт-Ethernet та Infiniband).

З’являється попит на системи з великими об’ємами RAM (256 ГБ-2 ТБ для одного сервера з єдиним образом операційної системи). Також видно збільшення зацікавленості до блейд-систем та відмовостійких рішень. Тому, підводячи підсумки, скажу так – в Україні НРС бути!

Теги: GPU, HPC, грід, інтерконект, суперкомп'ютер, сховище, технології, Україна, ЦЕРН

Матеріали за темою:

Коментарі

Коментарі до "Розвиток та перспективи НРС в Україні":

Інжир09.03.2012

Дуже цікава та пізнавальна стаття.