Конференція Високопродуктивні обчислення, Київ, 13-15 жовтня 2014

European Middleware Initiative

European Middleware Initiative (EMI) — це програмна платформа для високопродуктивних розподілених обчислень.

Саме на основі проміжного грід-ПЗ, яке використовується у наукових спільнотах та розподілених обчислювальних інфраструктурах по всьому світу, включаючи WLCG, світовий обчислювальний грід Великого адронного колайдера (ВАД), який підтримує, наприклад, дослідження бозону Гігса та пошук нових типів матерії у ВАД, разом з іншими великими науковими проблемами у астрономії, біології, обчислювальній хімії тощо.

Будучи у тісній співпраці з основними провайдерами проміжного ПЗ та інших спеціалізованих сервісів, EMI презентує себе у якості провідної платформи для наукових грід-обчислень та шукає способів розширення за межі свого середовища.

Засновники EMI

ARC: Складна перевірка — прості рішення

ARCARC є одним з трьох основних рішень для гріду, які розроблені та використовуються європейськими науковцями. ARC забезпечує інновативний, легкий у користуванні обчислювальний сервіс, оптимізований для застосувань з інтенсивною роботою з даними, дозволяючи більш ефективне використання комп’ютерних ресурсів.

ARC пропонує стандартизоване, легке, не залежне від платформи ПЗ з відкритим кодом. Зібравши свої знання, досвід та ноу-хау для EMI, ARC допоможе просуванню європейського грід-ПЗ, розширюючи його функціональність та покращуючи зручність користування.

ARC розроблено та впроваджено як надійне, ефективне та легке для установки та обслуговування ПЗ. Воно забезпечує оптимальне завантаження CPU для послідовних обчислювальних задач з великими обсягами даних, розглядаючи керування вихідними даними як інтегральну частину обчислювального сервісу.

Основне поняття — це відсутність єдиної точки відмови. У поєднанні зі станом реалізації послуг, це забезпечує високу стабільність системи. ARC чітко відокремлює локальну та грід-черги задач, що дозволяє інтегрувати будь-які черги за допомогою плагінів.

Проміжне ПЗ покладається на розподілені динамічні інформаційні системи з багатьма вузлами, які роблять свій внесок у загальне резервування та масштабованість інфраструктури. Запуск та використання ресурсу покладається на клієнта, уникаючи при цьому типової єдиної точки відмови.

ARC забезпечує легкий, простий в установці автономний клієнтський пакет програм для більшості популярних платформ.

Інший ключовий аспект ARC — невтручання у роботу наданих ресурсів. Система розгортається як тонкий шар над базовим ПЗ. Тому вона може співіснувати з іншими проміжними ПЗ або установками. Для зручності у користуванні та обслуговуванні всі настройки ARC зібрані в єдиному файлі

Зараз багато наукових спільнот використовують ARC. Один з найбільш складних, і в той час успішних проектів — унікальний розподілений Nordic Tier-1 для експериментів ВАД ATLAS та ALICE.

dCache: Успіх продовжується з EMI

dCachedCache — рішення для збереження величезних обсягів даних. У WLCG нараховується 80 кластерів, які використовують dCache, деякі з них мають обсяги сховища розміром у кілька петабайтів. Ці сховища разом мають обсяг близько 60 PB, доступних для експериментів ЦЕРН. Це більше половини загального обсягу сховищ, які використовуються ВАД.

dCache надає кластерам можливості об’єднувати мережі з гібридними серверами даних у зрозумілі та керовані системи сховищ. Цей сервіс є стійким до збоїв та може об’єднуватись з іншими сховищами, наприклад, касетним сховищем кластера або клауда.

dCache підтримує популярні протоколи, такі як HTTP та WebDAV, дозволяючи людям використовувати dCache звичним чином. Однак, ці протоколи можуть стати перешкодою для досягнення оптимальної продуктивності, що є неприйнятним для деяких користувачів. dCache забезпечує власні протоколи, щоб уникнути цих перешкод та задовольнити високі вимоги.

Як проект, що розвивається, dCache зараз знаходиться на передньому краї технологій збереження. Файлові системи NFS v4.1 / pNFS є промисловим стандартом при збереженні даних з високою пропускною здатністю. dCache є першим грід-ПЗ, яке підтримує pNFS, завдяки досвіду у цій сфері та участі у розробці стандарту NFS v4.1.

Враховуючи послужний список dCache у галузі високопродуктивних сховищ та сучасних передових технологій, зрозуміло, що проект є одним з партнерів-засновників EMI. Ми очікуємо, що тісна співпраця з іншими розробниками ПЗ принесе численні вигоди проекту, а також користувачам EMI.

gLite в EMI

gLitegLite є проміжним ПЗ для розподілених обчислень нового покоління.

Народжений у результаті співпраці колективу з 80 осіб з 12 різних академічних та виробничих установ в рамках проекту EGEE, сьогодні gLite забезпечує стійкий фундамент для сервісів, на яких створюються додатки для Розподіленої комп’ютерної інфраструктури (DCI), вливаючись у потужні проекти з розподілених обчислень та збережння даних по всьому світу.

Протягом 6 років існування проектів EGEE, компоненти gLite поступово вдосконалювались та стали надзвичайно надійними, щоб задовольняти вимоги широкого кола наукових спільнот. Найбільші з них — це спільнота фізики високих енергій, обробка та аналіз даних експериментів ВАД у ЦЕРН.

Сьогодні компоненти gLite постійно підтримують наукову діяльність великої кількості спільнот у найбільших світових промислових інфраструктурах та дозволяють прозорий доступ та спільне використання більш ніж трьохсот обчислювальних систем та сховищ у Європі та світі.

ПЗ gLite приховує від користувача більшість складнощів у користуванні таким складним та великим середовищем завдяки своїм стандартним програмним інтерфейсам.

gLite розповсюджується з відкритою ліцензією та об’єднує компоненти від кращих існуючих розробників гріда, таких як Condor та Globus Toolkit, а також компонентів, розроблених спеціально для ВАД.  Цей продукт є найкращим у своєму класі, низькорівневе рішення, сумісне з популярними планувальниками PBS, Condor та LSF та більшістю розповсюджених систем збереження даних та арівації. gLite побудований з урахуванням сумісності та забезпечення великої різноманітності сервісів, які дозволяють створення, експлуатацію та викристання загальної розподіленої мережі для усіх наукових напрямків.

Стек gLite об’єднує низькорівневі засоби ядра з широким колом високорівневих сервісів. Сервіс gLite Grid створені з урахуванням архітектури, орієнтованої на сервіси, та найбільш популярних стандартів Open Grid Forum. Стек gLite розроблений як модульна система, яка дозволяє кластерам та користувачам встановлювати та використовувати різні можливості, відповідно до своїх потреб. Таким чином, кожна наукова спільнота може адаптувати систему до своїх індивідуальних вимог.

gLite постійно додає нові функції в усіх областях програмного стеку, в тому числі, зокрема, постійні покращення в області безпеки, інтерфейсу для керування даними та запуску задач, перероблення інформаційної системи та безліч інших удосконалень, які роблять gLite більш ефективним та простим у користуванні.

Початкові зусилля у рамка EMI полягатимуть у забезпеченні готових дистрибутивів для ширшого кола платформ та операційних систем, більша уніфікація інтерфейсів, раціоналізація API, планування координованої роботи інфраструктури з іншими грід-ПЗ та інші технічні удосконалення, покликані розширити рівень взаємодії та зручність роботи користувачів.

UNICORE: Зручний доступ до обчислювальних ресурсів та сховищ

UNICOREЄвропейська грід-технологія UNICORE має десятирічну історію. Розпочатий у суперкомп’ютерній області, зараз UNICORE став грід-технологією загального призначення. У останній версії UNICORE 6 виконує останні стандарти грід- та веб-сервісів та пропонує користувачам широкий спектр функцій.

UNICORE використовується грід-інфраструктурами різної природи без обмежень на тип цих ресурсів, від одиночних ПК, об’єднаних докупи, до великих кластерів, об’єднаних у інфраструктуру типу EGI, та провідних HPC систем типу тих, з яких утворений PRACE. UNICORE надає EMI власні знання про HPC та досвід ненав’язливої інтеграції у існуючу інфраструктуру.

UNICORE підтримується форумом UNICORE, все ПЗ є доступним на сайті, постачається з відкритим вихідним кодом під ліцензією BSD. Репозиторій ПЗ зберігається на SourceForge.

Основні особливості UNICORE:

  • Портативність. UNICORE 6 працює на Java SE 1.6 або більш пізньої версії.
  • Взаємодія. UNICORE 6 використовує веб-сервіси на базі HTTPS разом з деякими відкритими грід-стандартами.
  • Безпека. Доступ до UNICORE 6 надається шляхом аутентифікації через шлюз HTTPS та авторизації за допомогою правил.
  • Орієнтація на сервіси. Усі сервіси, доступні користувачеві, втілені як веб-сервіси. Серед них, зокрема, є цільова система доступу та керування завданнями.
  • Здатність до розширення. Модульна архітектура та відкритий код забезпечують UNICORE 6 легкість подальшого розширення функціональності.
  • Масштабованість. Кілька установок UNICORE 6 можна об’єднати у розподілену грід-мережу багатьох організацій, яка оброблятиме тисячі задач.

Теги: ARC, dCache, EMI, gLite, Globus, HPC, PRACE, UNICORE, Великий адронний колайдер, високопродуктивні обчислення, грід, ЦЕРН

Матеріали за темою:

Коментарі