Чотири AMD Radeon HD6990 в одному корпусі

Для виконання одного обчислювального проекту нам знадобився надпотужний гібридний вузол. "Гібридний" — це не аналогово-цифровий. Це коли потужність універсального центрального процесора (або кількох CPU) поєднується з потужністю потокових процесорів, наприклад, відеокарти (GPU).

Ідея використання відеокарти у тому, що вона має велику кількість простих потокових процесорів, які уміють виконувати паралельну обробку серйозних обсягів даних. І хоча складно портувати будь-яку програму з CPU на GPU, тим не менш існують певні розробки у цій області: OpenCL та CUDA.

Про досвід створення гібридного вузла на двох NVidia Tesla M2050 ми вже писали. Цього разу ми вирішили поділитись досвідом про вузол на AMD Radeon HD6990 — на кінець 2011 року найпотужнішої відеокарти від AMD, яку можна було придбати в Україні.

На відміну від вузла на Tesla, які дуже красиво вбудовувані у 1-юнітовий корпус Supermicro, для того, щоб розмістити чотири GPU від AMD довелось придбати 4-юнітову платформу Supermicro SYS-7046GT-TRF. До речі, її можна використовувати як вертикально (як desktop), так і ставити у стійку (rack mount). У комплекті є рейки для 19-дюймової стійки.

Гібридний вузол на GPU

Однією з проблем, з якою ми стикнулись ще до початку роботи — споживання електроенергії. Radeon виявився ненажерливим: 375 Вт за специфікацією. Плюс материнська плата, два процесори по 100 Вт, шість вентиляторів. Ми підібрали найпотужніші блоки живлення, два по 1,4 кВт кожен.

Кожна плата графічного прискорювача є насправді здвоєною, вона містить по два графічних процесори та відображається в системі як два пристрої.

Відеокарта Radeon HD6990

Технічні характеристики вузла вражають:

два процесори Xeon X5675 3.07 ГГц, 12 обчислювальних ядер;
24 Гб оперативної пам'яті;
4 відеокарти AMD Radeon HD6990, в кожній по два графічних процесори;
теоретична продуктивність одного прискорювача 5099 Гфлопс;
пікова продуктивність вузла при операціях з одинарною точністю 21 ТФлопс;
12288 потокових процесорів у 4-х прискорювачах, що працюють на частоті 830 МГц;
енергоспоживання 2.8 кВт.

Вартість проекту вийшла досить невисокою: $10 000 за вузол, що у перерахунку на продуктивність складає вражаючі $500 за терафлопс пікової продуктивності.

Однак перші тести виявили проблеми. Прискорювачі виявились нерозрахованими на роботу в такій насиченій комплектації. Плати розраховані на забір повітря збоку і тому не можуть стояти щільно в ряд.

Прямоточний акселератор

Після дослідження питання, було прийнято рішення переобладнання їх у прямоточні, з пасивним охолодженням набігаючим потоком повітря вентиляторів корпуса. Також у вузли було виготовлено спеціальні обтічники.

Оптимізація потоку повітря

Програмна частина складалась із драйверів AMD, компіляторів OpenCL. Великим розчаруванням була необхідність запуску Іксів на кожному з вузлів, без них не працювали навіть базові функції карт. Це зовсім не серверний підхід, і суперечить концепції прискорювача для обчислень. Для порівняння, з NVidia Tesla M2050 нічого подібного робити не потрібно, обчислення стартують з півоберту і не потребуть зайвого ПЗ.

Взагалі кажучи, продукція Supermicro завжди відрізнялись високою якістю та зручністю у користуванні. Але у даній платформі ми виявили недоліки. І хоча вони несуттєві, з іншого боку можна було б їх уникнути.

Платформа є останнім поколінням, в корпусі та рельсах втілені найновіші досягнення. Рельси монтуються на стійку дуже просто, без викрутки. Хоча все так же важко попасти у направляючі канавки рельси, тримаючи 20-кілограмові вузли над головою. Сучасна наука поки не може зробити їх трохи крупнішими і менш тендітними.

Наостанок "порадував" корпус Supermicro. Важко сказати, скільки часу НДІ проектували ці корпуси, що так сталося, що вони ручками затулили місця закріплення вузлів у стійку. Тепер треба або свердлити корпус під нові дірки, або обходитись без ручок: інакше корпус не закріпиш.

Невдала ручка