Параллельные ЭВМ и ВС

1. Параллельные ЭВМ и ВС

1. Тихонов В.А. Баранов А.В. Организация ЭВМ и систем.
Учебник. Часть 2. М.: Спецтипография Академии ФСБ России,
2007. 256 с. УК № 623
2. Тихонов В.А., Баранов А.В. Организация ЭВМ и систем.
Учебник. М.: Гелиос АРВ, 2008. 384 с.
3. Лацис А.О. Параллельная обработка данных. М.:
Издательский центр «Академия», 2010. 336 с.
4. Лацис А.О. Как построить и использовать суперкомпьютер.
М.: Бестселлер, 2003. 240 с.
5. Таненбаум Э., ван Стеен М. Распределенные системы:
принципы и парадигмы. М.: Питер, 2003.
6. Корнеев В.В. Вычислительные системы. М.: Гелиос АРВ, 2004.
7. Материалы сайтов http://parallel.ru, http://www.gridclub.ru

2.

Задачи
аэродинамик
Астрофизические
исследования
и
Биологические исс
Энергети
Климатология
Наноэлектроника
Машинное
обучение и

3.

Задачи
аэродинамик
Астрофизические
исследования
и
Биологические исс
Задачи газовой
Энергети
динамики
Пространственные
Климатология
оптимизационные
Наноэлектроника
задачи
аэрокосмической
техники
Самолеты, автомобили,
суда, ракеты,
космические корабли
Распространение
Машинное
взрывных волн
обучение и

4.

Задачи аэродинамики
Астрофизические исследова
Биологические исс
Энергети
Климатология
Многомерные
задачи
Наноэлектроника
гравитационной газовой
динамики, связанные
математическим
моделированием процесса
образования и эволюции
аккреационного диска в
двойныхМашинное
звездных системах
Задачи трехмерной
обучение и
газодинамики для

5.

Задачи аэродинамики
Астрофизические исследования
Биологические
исследования
Энергети
Исследование
пространственной
Климатология
структуры и динамики
Наноэлектроника
белков
Предсказание
пространственной
структуры белков с
использованием теории
самосогласованного
Системное программное
поля
и множественных
Машинное
обеспечение
гомологий
белковых
обучение
и

6.

Наноэлектроника
Астрофизические исследования
Биологические исс
Энергети
Климатология
Исследование
Наноэлектроника
нестационарных
процессов в
электродинамических
системах релятивистской
электроники
Исследования по изучению
свойств
Машинное
полупроводниковых
и
обучение и
6

7.

Задачи аэродинамики
Климатология
Астрофизические исследования
Создание
модели
Биологические исс
атмосферы и
Энергети
океана
Математическ
ое
Наноэлектроника
моделировани
е климата
Машинное
обучение и

8.

Энергетика
Астрофизические исследования
Биологические исс
Задачи горения
Энергети
органических топлив
Разработка
моделей и
Климатология
программ для анализа
Наноэлектроника
процессов на АЭС и их
верификация
Расчеты
термодинамических и
переносных свойств
сильно
вырожденной
Системное
программное
Машинное
неидеальной
обеспечение
обучение
и
водородной
плазмы

9.

Энергетика
Астрофизические исследования
Биологические исс
Энергети
Климатология
Наноэлектроника
Ускорение машинного
обучения моделей
Машинное
обучение и

10.

Konrad Zuse
Z1 (V1 – Versuchsmodell-1)
SISD
MIMD
MIMD/SIMD
механика
100
лампы
103 kilo
транзистор Ge+Si 106 mega
Si 109 giga
СБИС
Si 1012 tera
Si 1015 peta
Si+… 1018 exa
1021 zetta
1938
1950
1960
1980-1990
1996-2000
2007-2010
2022-2023
???
1024 yotta
1027 xona
1030 weka
1033 vunda
1036 uda
1039 treda
1042 sorta
1045 rinta
1048 quexa
1051 pepta
1054 ocha
1057 nena
1060 minga
1063 luma

11.

Требуемая производительность для
решения актуальных задач
Область применения
2011 год
2015 год
2023 год
Атомная энергетика
1 Пфлопс
100 Пфлопс
10-20 Эфлопс
0.3 Пфлопс
0.1 Пфлопс
0.1 Пфлопс
3 Пфлопс
1 Пфлопс
2 Пфлопс
1 Эфлопс
0.5 Эфлопс
1 Эфлопс
Нефтегазовые отрасли
1 Пфлопс
100 Пфлопс
1-10 Эфлопс
Новые материалы на основе нанотехнологий
1 Пфлопс
100 Пфлопс
1-10 Эфлопс
Биотехнологии
1 Пфлопс
10 Пфлопс
1-2 Эфлопс
Высокотехнологичные отрасли
промышленности:
- авиа-, судостроение
- автомобилестроение
- космическая отрасль

12. Топ-10 суперкомпьютеров на июнь 2022

Место
Название
Характеристики
Производ
итель
Страна
Rmax
(Pflops)
Rpeak
Мощность
(Pflops)
(МВт)
1
Frontier
AMD Optimized 3rd Generation EPYC 64C 2GHz, AMD
Instinct MI250X, Slingshot-11
8 730 112 ядер
HPE Cray
США
1 102
1 686,7
21,1
2
Supercomputer
Fugaku
A64FX 48C 2.2GHz, Tofu interconnect D
7 630 848 ядер
Fujitsu
Япония
442
537,2
29,9
3
LUMI
HPE Cray
Финляндия
151,9
214,4
2,9
4
Summit
IBM
США
148,6
200,8
10
5
Sierra
IBM /
NVIDIA /
Mellanox
США
946,4
125,7
7,4
6
Sunway
TaihuLight
Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway
NRCPC
10 649 600 ядер
Китай
93
125,43
15
7
Perlmutter
HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz,
NVIDIA A100 SXM4 40 GB, Slingshot-10
761 856 ядер
HPE
США
70,9
93,8
2,6
8
Selene
NVIDIA DGX A100, AMD EPYC 7742 64C 2.25GHz,
NVIDIA A100, Mellanox HDR Infiniband
555 520 ядер
Nvidia
США
63,5
79,2
2,6
9
Tianhe-2A
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz,
TH Express-2, Matrix-2000
NUDT
4 981 760 ядер
Китай
61,4
100,7
18,5
10
Adastra
AMD Optimized 3rd Generation EPYC 64C 2GHz, AMD
Instinct MI250X, Slingshot-11
319 072 ядра
Франция
46,1
61,6
0,9
AMD Optimized 3rd Generation EPYC 64C 2GHz, AMD
Instinct MI250X, Slingshot-11
1 110 144 ядер
IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR Infiniband
2 414 592 ядер
IBM Power System AC922, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR Infiniband
1 572 480 ядер
HPE Cray

13. Ведущие суперкомпьютеры мира на июнь 2022

Fugaku
Sunway TaihuLight
IBM Summit
Frontier

14. Рост производительности суперкомпьютеров

15. Важные этапы развития параллелизма

1. Конец 1980-х. Выход МП Intel i860. Первая
суперкомпьютерная революция. Все суперЭВМ становятся параллельными ВС.
2. Конец 1990-х. Появление FastEthernet и шины
PCI. Вторая суперкомпьютерная революция.
Супер-ЭВМ стало возможно собирать из
стандартных промышленных комплектующих.
Начало эпохи кластерных ВС.
3. 2008 г. Прекращение выпуска одноядерных МП.
Появление гибридных ВС.
4. Нынешнее время. Наступление экзафлопной
эры.

16. Двумерная краевая задача для уравнения теплопроводности (метод Якоби)

Проц. 1
Проц. 2
Проц. 3
Проц. 4

17. Параллельная обработка информации

Под параллельной обработкой понимается одновременное выполнение
заданий, шагов (пунктов) заданий, программ, подпрограмм, циклов,
операторов и команд.
Повышение производительности ЭВМ и ВС – основная цель применения
параллельной обработки.
Вычисления
над данными
Данные
Обмен
результатами
вычислений
Вычисления
Вычисления
над данными
данными
над
Вычисления
над данными
Вычисления
над данными
Обмен
результатами
Вычисления
вычислений
над данными
Обмен
результатами
вычислений

18. Что есть параллельная …?

Параллельное вычисление – процесс решения задачи на
ВС с одновременным выполнением двух и более
вычислительных операций
Параллельная ВС – ВС реализующая параллельное
вычисление на двух и более вычислительных устройствах
Параллельная архитектура
- это такой
способ
организации вычислительной системы, при котором
допускается,
чтобы
множество
обрабатывающих
устройств (простых или сложных процессоров) могло бы
работать
одновременно,
взаимодействуя
по
мере
надобности друг с другом
1990 г., Р. Дункан

19. Уровни параллелизма

Система
Микропроцессор/
плата
1
Вычислительный
модуль
2
3
Стойка
4

20. Классификация параллельных ЭВМ и ВС

1. Системно-функциональным характеристикам ВС и
характеристикам управления (однородность/неоднородность,
централизация/децентрализация, универсальность/специализированность,
степень и уровень связанности процессоров, степень закрепленности функций)
2. Характеристикам топологии размещения процессоров и машин в
ВС и связей между их элементами (разделимость/неразделимость,
изменяемость/неизменяемость, топология – линейка, кольцо, решетка, куб, тор
и т.п.)
3. Характеристикам собственно способов параллельной обработки
(векторный, ассоциативный, многопроцессорный, магистральный и т.п.)
4. Структурно-функциональным характеристикам степени и типа
параллельной обработки информации

21. Классификация Флинна

М. Дж. Флинн 1966 г.
Вычислительный процесс в ВС можно представить как
воздействие определенной последовательности команд
программы (потока команд) на соответствующую последовательность данных (поток данных), обрабатываемых этой
последовательностью команд.
ВС
Множественный
ПК
Поток команд
Множественный
ПД
Поток
данных

22. Классификация Флинна

Поток команд
Одиночный
Множественный
Поток данных
Одиночный
Множественный
ОКОД – SISD
Single Instruction Stream
– Single Data Stream
МКОД –MISD
Multiple Instruction Stream –
Single Data Stream
ОКМД – SIMD
Single Instruction Stream
– Miltiple Data Stream
МКМД –MIMD
Multiple Instruction Stream –
Multiple Data Stream

23. Класс SISD

Поток команд
Поток данных
ОУ
К классу SISD относят все возможные ЭВМ и ВС
последовательного типа (не учитывая возможность
конвейерной обработки)

24. Класс MISD

Поток команд
ОУ
Поток команд
ОУ
Поток команд
ОУ
Поток команд
ОУ
Поток данных
Предназначение MISD-систем – конвейерная обработка
информации. Однако значительная часть ученых (включая
Флинна) склонна считать этот класс пустым

25. Класс SIMD

Поток команд
ОУ
ОУ
ОУ
ОУ
Поток данных
Поток данных
Поток данных
Поток данных
В класс SIMD входят векторные, ассоциативные и
матричные ВС, в которых одна команда может выполняться
одновременно над несколькими элементами данных

26. Класс MIMD

Поток команд
Поток команд
Поток команд
Поток команд
ОУ
ОУ
ОУ
ОУ
Поток данных
Поток данных
Поток данных
Поток данных
В данный класс попадают практически все
многопроцессорные и многомашинные ВС

27. Дополнения Ванга и Бриггса

В 1984 г. К. Ванг и Ф. Бриггс сделали дополнения к
классификации Флинна
Единственное ФУ
SISD
Несколько ФУ
Пословно-последовательная обработка
SIMD
Разрядно-последовательная обработка
С сильной связью (общая память)
MIMD
Со слабой связью (распределенная память)

28. Современная классификация параллельных ВС

SISD
1 ФУ
MISD
Несколько ФУ
микроконвейерные
арифметикомагистральные
векторноконвейерные
командномагистральные
векторнопараллельные
MPP
MIMD/SIMD
волновые
потоковые
систолические
редукционные
векторные
ассоциативные
разр.-послед.
матричные
послов.-послед.
SIMD
макроконвейерные
идеи MIMD
Гибридные
NUMA
SMP
сильная
связь
MIMD
Кластеры
слабая
связь