Высокопроизводительные вычисления. Лекция 12. Ввод/вывод и хранение данных, параллельные файловые системы

1.

МИЭМ НИУ ВШЭ
Курс
«Высокопроизводительные вычисления»
Лекция 12
Ввод/вывод и хранение данных,
параллельные файловые системы

2.

Иерархия типов памяти

3.

Иерархия типов памяти

4.

Иерархия типов памяти

5.

Иерархия типов памяти

6.

Иерархия типов памяти
The price of NAND flash fell below that of
DRAM in 2004 and suddenly the
Storage/Memory Hierarchy changed.
The price of NAND flash fell below that of DRAM in 2004 and suddenly the Storage/Memory Hierarchy changed.

7.

Иерархия типов памяти
3D XPoint non-volatile memory (Optane) was announced in July 2015

8.

Иерархия типов памяти

9.

Развитие технологии жестких дисков
Kunkel et al. 2014, DOI: 10.14529/jsfi140106

10.

Хранение данных в суперкомпьютерных системах
Оценки для суперкомпьютерного центра DKRZ, Германия
Kunkel et al. 2014, DOI: 10.14529/jsfi140106

11.

Square Kilometre Array Observatory

12.

13.

14.

15.

Большие данные в машинном обучении
21 октября 2021 г.
Китайская языковая модель Yuan 1.0
Компания Inspur AI Research представила языковую модель Yuan 1.0, которая стала
крупнейшей в мире, обойдя GPT-3, – 245,7 млрд параметров и 5 ТБ тренировочных
данных.
Для обеспечения необходимой вычислительной мощности в архитектуру модели,
созданной для китайского языка с нуля, внедрили крупномасштабную
обучающую систему, распределенную на 2128 графических процессоров.
Yuan 1.0 показала впечатляющие результаты в китайских бенчмарках на понимание
языка: в одном из тестов она превзошла предыдущий рекорд на 18,3%.

16.

Типы данных

17.

Типы данных

18.

Типы данных

19.

Типы данных

20.

Типы данных

21.

POSIX-совместимость
распределенных файловых систем (DFS)
POSIX = Portable Operating System Interface, a family of standards specified by the IEEE
Computer Society for maintaining compatibility between operating systems.

22.

Распределенные файловые системы

23.

Распределенные файловые системы

24.

Параллельные файловые системы:
разделение данных и метаданных

25.

Параллельная файловая система LUSTRE

26.

Параллельная файловая система LUSTRE
(пример большой инсталляции)

27.

Параллельная файловая система LUSTRE
(базовая конфигурация в суперкомпьютере Харизма НИУ ВШЭ)

28.

Более новая альтернатива: параллельная
файловая система BeeGFS
(пример из линейки решений Dell)
https://downloads.dell.com/manuals/common/dell-emc-ready-sln-beegfs-hpc-storage.pdf

29.

Параллельные файловые системы:
Lustre vs BeeGFS

30.

Параллельные файловые системы:
Lustre vs BeeGFS

31.

Статистика использования файловой
системы большого суперкомпьютера
Luu, H., Winslett, M., Gropp, W., Ross, R., Carns, P., Harms, K., ... & Yao, Y. (2015, June). A multiplatform study of I/O
behavior on petascale supercomputers. In Proceedings of the 24th International Symposium on High-Performance
Parallel and Distributed Computing (pp. 33-44).

32.

Сравнение файловых систем
N. Mills et al. / Future Generation Computer Systems 79 (2018) 190–198

33.

Суперкомпьютерное программное обеспечение для
параллельного ввода/вывода

34.

Устойчивость к ошибкам

35.

Список IO-500

36.

Список IO-500

37.

Список IO-500

38.

ТЕСТИРОВАНИЕ ПАРАЛЛЕЛЬНЫХ
ФАЙЛОВЫХ СИСТЕМ В ОИВТ РАН
38

39.

Desmos
supercomputer
CPU
E51650v3
GPU
gtx1070
SSD
240 Gb
Angara
NIC
Head node
Gigabit Ethernet switch
…
…
1 GbE link per node
Storage
39
См.: CCIS 910, p. 77, 2018

40.

NFS vs BeeGFS comparison
40
См.: CCIS 965, 2019

41.

Angara-K1
supercomputer
CPU
E5-2630
CPU
E5-2630
Angara
NIC
CPU
E5-2660
Angara
NIC
Head node
Gigabit Ethernet switch
…
…
2 GbE links per node
10Gb/s
…
Gigabit Ethernet switch
Storage
41
См.: CCIS 910, p. 77, 2018

42.

Slowing down of MD calculations with LAMMPS due to massive data output
Single dedicated storage server (Lustre)
Distributed storage on the nodes (BeeGFS)
42
См.: CCIS 910, p. 77, 2018

43.

Сегмент суперкомпьютера Fisher
(ОИВТ РАН)
Hardware
Number of nodes
20
SSD M2 NVMe
Apacer
AS2280P2
Software
OS
OpenSUSE Leap
15.2
Kernel
5.3.18-lp152.87preempt
Ethernet over Angara
2.1
BeeGFS
7.2.3
43

44.

Ethernet over Angara
TCP/IP driver
Ethernet over Angara
Network device driver
(c) А.С.Семенов, АО НИЦЭВТ
44

45.

Базовые характеристики: задержка EoA
iperf3 = 15 Gbit/s
(c) А.С.Семенов, АО НИЦЭВТ
45

46.

IOR easy: 4 client nodes, 16 MPI / node
8
7
6
GB/s
GB/s
5
4
3
ior-easy-read
2
link
1
0
0
5
10
15
Number of storage nodes
20
4,5
4
3,5
3
2,5
2
1,5
1
0,5
0
ior-easy-write
1 node linear
0
2
4
6
8
10
12
14
Number of storage nodes
16
46
18

47.

Описание отдельных тестов IO500
Компонент
Тесты
Описание
IOR ’easy’
ior_easy_write,
ior_easy_read
Пропускная способность для больших
последовательных IO операций
IOR ’hard’
ior_hard_write,
ior_hard_read
Пропускная способность для невыровненных
(47001 байт) операций от каждого клиентского
процесса к одному файлу
mdtest ’easy’
mdtest_easy_delete,
mdtest_easy_stat,
mdtest_easy_write
Операции с метаданными файлов 0 размера при
помощи отдельной директории для каждого MPIпроцесса
mdtest ’hard’
mdtest_hard_delete,
mdtest_hard_stat,
mdtest_hard_write,
mdtest_hard_read
Операции с метаданными файлов небольшого
размера (3901 байт) в разделяемой директории
Find
Find
Поиск файлов при помощи прохода
(c) А.С.Семенов, АО НИЦЭВТ
47

48.

IO500: 16 storage nodes, 4 client nodes, 16
MPI / node
Тест
ior-easy-write
mdtest-easy-write
ior-hard-write
mdtest-hard-write
find
ior-easy-read
mdtest-easy-stat
ior-hard-read
mdtest-hard-stat
mdtest-easy-delete
mdtest-hard-read
mdtest-hard-delete
SCORE
Bandwidth
IOPS
Total
Характеристика
1 Gbit Ethernet
EoA
EoA / 1 Gbit
Ethernet
GiB/s
kIOPS
GiB/s
kIOPS
kIOPS
GiB/s
kIOPS
GiB/s
kIOPS
kIOPS
kIOPS
kIOPS
0,459
15,180
0,171
5,101
175,189
0,448
74,599
0,456
67,311
14,203
14,592
4,187
2,612
17,170
0,419
3,808
124,549
6,498
73,687
2,908
70,303
10,181
15,033
5,952
5,69
1,13
2,44
0,75
0,71
14,50
0,99
6,38
1,04
0,72
1,03
1,42
GiB/s
kIOPS
0,356
22,205
2,812
2,132
21,042
6,698
5,99
0,95
2,38
48