Форма поиска

 

Вычислительное оборудование

Содержание:

Вычислительный комплекс HP

Вычислительный кластер T-Platform

Вычислительный комплекс Huawei

Вычислительный комплекс ALICE

 

Вычислительный комплекс HP

Вычислительный комплекс Hewlett-Packard представляет собой единый компьютерный комплекс, построенный на базе аппаратно-программных решений, предоставленных компанией HP.

 В задачи вычислительного комплекса HP (далее — ВК HP) входят услуги по предоставлению:

  1. выделенных виртуальных машин для учебно-научных и административно-хозяйственных подразделений Санкт-Петербургского государственного университета (далее СПбГУ);
  2. мощностей кластера высокопроизводительных вычислений для работ в области физики, химии, биологии и др.

Структура ВК НР

Кластер облачных вычислений представляет из себя виртуальные хосты, системы хранения данных, сети хранения и передачи данных и программное обеспечение, позволяющие предоставлять услугу временного пользования виртуальных машин с заданными пользователем характеристиками для учебно-научных и административно-хозяйственных подразделений СПбГУ.

Кластер высокопроизводительных вычислений представляет из себя серверы, системы хранения данных, сети хранения и передачи данных и программное обеспечение, позволяющие проводить исследования в области физики, химии, биологии и других наук, требующие мощных вычислительных ресурсов.

Коммуникационное оборудование представлено коммутаторами, использующими технологии Gigabit Ethernet, 10 Gigabit Ethernet и InfiniBand QDR.

Система хранения данных служит для размещения пользовательских данных, образов виртуальных машин и прочей информации и представляет собой совокупность дисковых массивов, шлюзов и виртуальных библиотек.

На вычислительном комплексе HP развернуты:

  • Кластер VMware (blade-серверы);
  • Вычислительные кластеры;
  • Сетевое оборудование;
  • Система хранения данных;
  • Система резервного копирования.

Внешний вид вычислительного комплекса HP

К содержанию

 

Спецификация комплекса

Кластер облачных вычислений состоит из следующих основных компонентов:

  • 4 шасси HP BladeSystem c7000 для установки блейд-серверов;
  • 32 блейд-сервера BL460c G6;
  • 28 блейд-серверов BL460c G7;
  • программная среда VMWare vSphere 5 под управлением гипервизора VMWare ESXi 5, использующая вышеуказанные серверы как хосты для виртуализации;
  • сервер управления виртуализацией VMWare VCenter Server.

Кластер высокопроизводительных вычислений состоит из двух субкластеров: SMP и гибридного.

Субкластер SMP включает:

  • 3 сервера HP ProLiant DL980 G7.

Гибридный кластер включает:

  • 8 шасси s6500 для установки серверов;
  • 16 серверов HP ProLiant SL390s 2U;
  • 8 серверов HP ProLiant SL390s 4U;

Управление кластером высокопроизводительных вычислений осуществляется с головного узла HP ProLiant DL360 G7.

Кластер облачных вычислений и кластер высокопроизводительных вычислений используют следующие общие сети передачи данных:

  • Gigabit Ethernet;
  • 10 Gigabit Ethernet;
  • InfiniBand QDR 4x.

Сетевое оборудование представлено следующими устройствами:

  • 2 коммутатора HP 6600;
  • 2 коммутатора HP 8206;
  • 4 пары соединительных модулей BladeSystem Virtual Connect Flex-10;
  • 4 коммутатора Voltaire 4036;
  • 4 встроенных коммутатора Mellanox для блейд-шасси.

Система хранения данных:

  • дисковый массив P4500 G2;
  • дисковый массив P4800 G2;
  • массив-шлюз x9300;
  • виртуальная библиотека D2D4106i.

К содержанию

 

Характеристики комплекса

Характеристики кластера облачных вычислений

Наименование Количество CPU RAM Адаптеры и модули Примечания
1 Шасси для блейд-серверов НР BladeSystem c7000 4 - - Коммутационные модули Virtual Connect Flex-10 (10 Gb Ethernet) и InfiniBand  -
2 Блейд-сервер BL460c G6 32 2 х Intel Xeon X5670 3.06 GHz 96 Gb Сетевые интерфейсы 10 Gb Ethernet и InfiniBand -
3 Блейд-сервер BL460c G7 28 2 х Intel Xeon X5675 3.06 GHz 96 Gb Сетевые интерфейсы 10 Gb Ethernet и InfiniBand -

 

Характеристики кластера высокопроизводительных вычислений

Субкластер SMP

Наименование Количество CPU RAM Адаптеры и модули Примечания
1 Сервер НР ProLiant DL980 G7 2 Intel Xeon X7560 2.2 GHz 512 Gb/2 Tb Адаптеры для доступа к сети Gb Ethernet и InfiniBand -
2 Сервер НР ProLiant DL980 G7 1

Intel Xeon X7560 2.2 GHz

2 Tb Адаптеры для доступа к сети Gb Ethernet и InfiniBand -

Гибридный кластер

Наименование Количество CPU RAM Адаптеры и модули Примечания
1 шасси s6500 8 - - - -
2 HP ProLian SL390s 2U 16

2 х Intel Xeon X5650,

3 х nVidia TeslaM 2050

96 Gb Адаптеры для доступа к сети Gb Ethernet и InfiniBand -
3 HP ProLian SL390s 4U 8

2 х Intel Xeon X5650,

8 х nVidia TeslaM 2050

96 Gb Адаптеры для доступа к сети Gb Ethernet и InfiniBand -
4 HP ProLian DL360 G7 1 2 х Intel Xeon X5650 12 Gb - Головной узел кластера высокопроизводительныхвычислений
 

 

Характеристики сетевого оборудования

Наименование Количество Число портов Технология передачи данных Примечания
1 Коммутатор НР 6600 2 48 Gigabit Ethernet  
2 Коммутатор НР 8206 2 20 10 Gigabit Ethernet  
3 Межсоединительные модули BladeSystem Virtaire Conect Flex-10 4 х 2 8 10 Gigabit Ethernet  
4 Коммутатор Voltaire 4036 4 - InfiniBand QDR 4x  
5 Bстроенные коммутаторы Mellanox 4 - InfiniBand QDR 4x

 

К содержанию

 

Производительность (результаты измерений)

Производительность кластера на базе блейд-серверов.

Целью испытаний было определение двух параметров: максимального числа операций с плавающей запятой в секунду (Rmax) и процентного отношения этого числа к теоретической производительности (Rpeak), вычисленной на основе характеристик центральных процессоров, предоставленных производителем.

Получены следующие результаты:

Состав кластера 28 узлов, 56 процессоров, 336 ядер
Операций в секунду (Rmax) 3618 Гигафлопс
Отношение Rmax/Rpeak 87,8%

Технические подробности испытаний

Испытания проводили с помощью теста HPLinpack 2.0, представляющего собой систему линейных алгебраических уравнений, для решения которой применяется метод Гаусса. В ходе вычислений производится большое количество операций с плавающей запятой (floating point operations — FLOP). Количество таких операций в секунду (floating point operations per second — FLOPS, flops, флопс) является оценкой быстродействия процессоров, позволяющей прогнозировать возможности кластера для решения реальных вычислительных задач.

Были проведены следующие измерения:

  • тест HPL на одном, двух, четырёх, восьми, шестнадцати и двадцати восьми узлах.

Полученные результаты приведены в таблице ниже. Один шестиядерный процессор Intel Xeon X5675 3.06 GHz даёт производительность 73,584 гигафлопс. В каждом узле установлено по 2 центральных процессора, следовательно, пиковая теоретическая производительность одного узла равна 73,584 × 2 = 147,168 гигафлопс. Теоретическая пиковая производительность и отношение Rmax/Rpeak приведены в таблице.

Количество Узлов Rmax Rpeak Rmax/Rpeak, %
1 133,3 147,168 90,58%
2 265,6 294,336 90,24%
4 529,3 588,672 89,91%
8 1052 1177,344 89,35%
16 2079 2354,688 88,29%
28 3618 4120,704 87,80%

 

Производительность гибридного кластера высокопроизводительных вычислений

Целью испытаний было определение двух параметров: максимального числа операций с плавающей запятой в секунду (Rmax) для шестнадцати узлового гибридного кластера, и процентного отношения этого числа к пиковой производительности (Rpeak), вычисленной на основе характеристик графических и центральных процессоров, предоставленных производителем.

Получены следующие результаты:

Состав кластера 24 узла, 72 графических процессоров, 48 центральных процессоров (288 ядер)
Операций в секунду (Rmax) 19590 Гигафлопс
Отношение Rmax/Rpeak 48,79%

Технические подробности испытаний

Испытания проводили с помощью теста HPLinpack 2.0, аналогично кластеру на базе блейд-серверов.

Были проведены следующие измерения:

  • тест HPL на одном, двух, четырёх, восьми, шестнадцати узлах с тремя графическими процессорами,
  • тест HPL на одном, двух, четырёх, восьми узлах с восемью графическими процессорами,
  • общий тест HPL на 24 узлах с задействованием трёх графических процессоров.

Полученные результаты приведены в таблице ниже. Один графический процессор Tesla M2050 даёт производительность 515 гигафлопс. Один шестиядерный процессор Intel Xeon X5650 2.66 GHz даёт производительность 63,984 гигафлопс. В каждом узле первого типа (2U) установлено по 3 графических процессора, следовательно, пиковая производительность одного узла первого типа (2U) равна 515 × 3 + 63,984 ×2 = 1672,968 гигафлопс. Аналогично, для узлов второго типа (4U): 515 × 8 + 63,984 × 2 = 44247,968 гигафлопс. Теоретическая пиковая производительность и отношение Rmax/Rpeak приведены в таблице.

Количество Узлов Rmax Rpeak Rmax/Rpeak, %
3 GPU      
1 1017 1672,968 60,79%
2 1932 3345,936 57,74%
4 3647 6691,872 54,50%
8 7259 13383,744 54,24%
16 13060 26767,488 48,79%
24 19590 40151,232 48,79%
8 GPU      
1 2152 4247,968 50,66%
2 4183 8495,936 49,24%
4 8357 16991,872 49,18%
8 16540 33983,744 48,67%
Общий тест      
24 19590 40151,232 48,79%

К содержанию

 

Сетевая инфраструктура

Локальная сеть комплекса реализована на базе двух скоростных режимов: 1-гигабитная сеть Ethernet и 10-гигабитная сеть Ethernet.

В состав 1-гигабитной сети входят коммутаторы 8206, 6600 и подключённые к ним устройства — управляющие интерфейсы оборудования (iLO, Onboard Administrator, Management Interface) и узлы кластеров высокопроизводительных вычислений. В состав 10-гигабитной сети входятмодули Virtual Connect Flex-10 и коммутаторы 8206.

Высокоскоростная сеть InfiniBand построена на базе коммутаторов Voltaire 4036 и встроенных коммутаторов Mellanox для блейд-шасси. Сеть построена по технологии InfiniBand 4x QDR. Пропускная способность — 40 Гбит/с. Применена топология «толстого дерева» (fat tree), при которой устройства подключены к периферийным коммутаторам (edge switches), а периферийные коммутаторы соединяются с парой центральных коммутаторов (core switches). Между любой парой коммутаторов «центр-периферия» подключено по 4 межкоммутаторных соединения.

 

Схема сетевой инфраструктуры ВК НР

К содержанию

 

Вычислительный кластер T-Platform

Внешний вид стойки с кластером T-platform

Вычислительный кластер Т-Platform – мощное вычислительное устройство (производитель – компания Т-Платформы), в состав которого входит:

  • 96 процессоров,
  • 384 ядра,
  • 768 Гб оперативной памяти,
  • 7,68 Тб дискового пространства. 

 

Спецификация кластера

Кластер T-Platform состоит из следующих компонентов:

  • 48 вычислительных узлов Dexus;
  • 6 коммутаторов InfiniBand Flextronix F-X430046;
  • 2 коммутатора Gigabit Ethernet D-Link DGS-3324SR;
  • 1 коммутатор Gigabit Ethernet D-Link DXS-3350SR;
  • управляющий узел;
  • 2 аппаратных шкафа APC, NetShelter SX.

 

Характеристики кластера

Характеристики составляющих кластера Т-Platform представлены в таблице.

№ п.п. Наименование компонента Количество Технические  характеристики
1 Вычислительный узел Dexus 48

- Размер 1U

- CPU: 2 x E5335 2.0ГГц

- RAM: 16 Гб

- HDD: 160 Гб

- 2 x INTEL 82563EB 10/100/1000 Мбит/с

- Mellanox Technologies MT25204 [InfiniHost III Lx HCA] (rev 20)

2

Коммутатор InfiniBand  Flextronix F-X430046

6 - DDR/SDR 24-port 4X - 20Gb/s
3 Коммутатор Gigabit Ethernet D-Link DGS-3324SR 2 - 24порта 10/100/1000 Мбит/с
4 Коммутатор Gigabit Ethernet D-Link DXS-3350SR 1 - 48портов 10/100/1000 Мбит/с
5 Управляющий узел 1

- CPU: 2 x X5640

 - RAM: 8 ГБ

 - HDD: 3 ТБ

- Ethernet 2 x 1000 Гбит/с

6 Аппаратные шкафы (АШ) APC, NetShelter SX 2 19" 42U х 1000

К содержанию

 

Производительность (результаты измерений)

Теоретическая пиковая производительность – 3,07 ТФлопс, практически достигнуто значение 2,5 ТФлопс.

 

Сетевая инфраструктура

Кластер Т-platform построен на основе 48 вычислительных узлов Dexus, объединенных, с одной стороны, сетью InfiniBand 20Gb для обмена информацией между узлами, а с другой – сетью Ethernet 1 Gb для связи с внешним миром. Схематично сетевая инфраструктура представлена на рисунке.

 

Сетевая инфраструктура вычислительного кластера T-Platform

К содержанию

 

Вычислительный комплекс Huawei

В феврале 2015 года введён в эксплуатацию новый кластер высокопроизводительных вычислений, суммарно имеющий более 850 вычислительных ядер и 20 Ускорителей nVidia Tesla K40, а также отдельную высокоскоростную систему хранения данных ёмкостью более 180 Тб.

Состав кластера

Двадцать вычислительных узлов Huawei RH2288H.
  • Узлы построены на основе двух процессоров Intel Xeon E5-2680v3;
  • Объем оперативной памяти каждого узла составляет 128 Гб.
Десять гибридных вычислительных узлов Huawei RH2288H.
  • Узлы построены на основе двух процессоров Intel Xeon E5-2680v3;
  • Объем оперативной памяти каждого узла составляет 128 Гб;
  • Каждый узел оснащен двумя ускорителями nVidia Tesla K40.

Два мультипроцессорных вычислительных узла Huawei RH5885V3.

  • Узлы построены на основе четырех процессоров Intel Xeon E7-4880v2;
  • Объем оперативной памяти каждого узла составляет 1 Тб.
  • Все узлы оснащены дисковой подсистемой из двух жестких дисков объемом 300 Гб со скоростью вращения шпинделя 10 000 об/мин.

Системы хранения данных OceanStore S5600T.

  • Суммарная емкость более 180 Тб, из них 90 Тб построены на основе дисков со скоростью вращения шпинделя 10 000 об/мин и система оснащена 2Тб кэшем на основе SSD дисков. 
  • Система имеет несколько уровней хранения данных, что позволяет обеспечить высокоскоростной доступ к необходимой информации.
  • Все узлы объединены сетью передачи данных на основе infiniband со скоростью передачи 56 Гб/с и имеют отказоустойчивое подключение к системе хранения данных на скорости 20 Гб/c.
 

Вычислительный комплекс ALICE

Кластер "ALICE" является сайтом RU-SPbSU международной GRID сети Большого Адронного Коллайдера - БАК (WLCG Worldwide LHC Computing Grid), LHC - The Large Hadron Collider. Также он в ходит в сеть RDIG - Russian Data Intensive Grid.

На этом кластере хранятся и обрабатываются данные полученные на БАК, а так же хранятся, обрабатываются и генерируются теоретические данные. Кластер используют все 4 эксперимента БАК ALICE, LHCb, CMS, ATLAS. Предпочтение отдается эксперименту ALICE.

 

Спецификация и характеристики комплекса

Кластер ALICE состоит из файловых серверов, вычислительных узлов, управляющих серверов и сетевого оборудования.

В состав кластера ALICE входят:

  1. Файловые сервера: боксы с рабочим объемом 5 ТБ + 17 ТБ + 41 ТБ (общий объем - 63 ТБ);
  2. 6 вычислительных машин TWIN, каждая из которых включает в себя 2 узла, 2х4 CPU, 16 Gb RAM, в сумме 96 ядер 192 Gb RAM;
  3. Управляющие сервера - 4 сервера c 2-х ядерными CPU по 2 ГБ памяти.

Производительность (результаты измерений)

Производительность ядра Intel(R) Xeon(R) CPU E5345 @ 2.33GHz с 2 GB RAM равняется 1403 SI2.

посмотреть данные

Суммарная производительность для распределенных (несвязных) задач равна 1.403 х 96 = 134.688 ~= 135 KSi2k
KSi2k = 1000 SPECint2000.

посмотреть данные

Сетевая инфраструктура

Внутренняя сеть - 1 Гб/с, а внешняя ограничена до 400 Мб/с

К содержанию