parProgr01

1. Параллельное программирование

Лекции:
18 часов
Лабораторные работы: 18 часов (4 работы)
Расчетно-графическая работа
+ самостоятельная работа: 54 часа.
Проект: Освоение параллельных технологий
решения задач, требующих больших затрат
процессорного времени
https://project-study.nstu.ru/
Итоговая аттестация: дифференцированный
зачет.
Сайт: http://vt.cs.nstu.ru/~malyavko/ParProgr
E-mail: a.malyavko@corp.nstu.ru
Малявко Александр Антонович

2. Литература:

Малявко А. А. Параллельное программирование на основе
технологий OpenMP, MPI, CUDA : учеб. пособие / А. А. Малявко .
- 2-е изд., испр. и доп.. - Москва : Юрайт, 2017. - 115 с - (Бакалавр.
Академический курс). - ISBN 978-5-534-02916-1.
Малявко А. А. Параллельное программирование на основе
технологий OpenMP, MPI, CUDA : учебное пособие. Изд-во НГТУ:
Новосибирск, 2015. Режим доступа:
http://elibrary.nstu.ru/source?bib_id=vtls000215088
Биллиг В.А. Параллельные вычисления и многопоточное
программирование. М: Издательство: ИНТУИТ, 2013.
Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. –
СПб.: БХВ-Петербург, 2004.
Баканов В.М. Параллельные вычисления: учеб. пособие, М.: Издво МГУПИ, 2006.
Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений
для многопроцессорных вычислительных систем. – Н.Новгород.:
Изд-во ННГУ 2003.
Малышкин В. Э. Корнеев В.Д. Параллельное программирование
мультикомпьютеров : Новосибирск, 2006.
Корнеев В. Д. Параллельное программирование кластеров : учеб.
пособие, Новосибирск, Изд-во НГТУ, 2008.
Почти все это и еще многое находится в электронном виде на сайте

3. Русскоязычные интернет-ресурсы:

Балльно-рейтинговая
система аттестации
Лабораторные
работы
РГР
Зачет
Номер
Диапазон
баллов
1
8 – 16
2
8 – 16
3
8 – 16
4
8 – 16
Итого: 32 – 64
10 – 20
8 – 16
Всего: 50 – 100

4. Англоязычные интернет-ресурсы:

Параллельные системы
Существует большое количество различных
архитектур вычислительных систем и,
соответственно, способов организации
параллельных вычислений :
• системы с общей памятью:
много потоков команд (но, как правило, одна
программа) / много потоков данных (MIMD-SPMD) –
технология OpenMP, многопоточное
программирование в Java, C++, …;
один поток команд / много потоков данных (SIMD)
– технологии NVIDIA CUDA, OpenCl, NVIDIA OpenACC,
Microsoft С++ AMP, …;
• системы с распределенной памятью
много потоков команд (одна программа) / много
потоков данных (MIMD) – технологии MPI, PGAS, …

5. Балльно-рейтинговая система аттестации

Top 10 из Top500 суперкомпьютеров мира (июнь 2019)
Место расположения , год,
производитель
1 DOE/SC/Oak Ridge National
Laboratory, USA, 2018, IBM
2 DOE/NNSA/LLNL, USA, 2018, IBM
3 National Supercomputing Center in
Wuxi, China, 2016, NRCPC
4 National University of Defense
Technology, China, 2013, NUDT
5 Texas Advanced Computing
Center/Univ. of Texas, 2019, Dell EMC
6 Swiss National Supercomputing Centre
(CSCS), Switzerland, 2012, Cray Inc
7 DOE/NNSA/LANL/SNL, USA, 2015,
IBM
8 National Institute of Advanced Industrial
Science and Technology, Japan, 2018
9 Leibniz Rechenzentrum, Germany,
2018, Lenovo
10 DOE/NNSA/LANL, USA, 2018, IBM
Суперкомпьютер
К-во ядер /
Rmax
акселераторов
(Gflops)
2414592/2211840 148600000
Summit
Power System AC922
Sierra
1572480 / 1382400
IBM Power System
Sunway TaihuLight
10649600 / 0
Sunway MPP
Tianhe-2
4981760 / 4554752
TH-IVB-FEP Cluster
Frontera
448448 / 0
Piz Daint
Cray XC30
Trinity
BlueGene/Q
AI Bridging Cloud
Infrastructure
SuperMUC-NG
Lassen
IBM Power System
94640000
93014594
61444500
23516400
387872 / 319424 21230000
979072 / 0 20158700
391680 / 348160 19880000
305856 / 0 19476600
288288 / 253440 18200000

6. Балльно-рейтинговая система аттестации

Кластер
или МПП
Интернет,
интранет
Память
Система
хранения данных
Управляющий
компьютер
Ядро Ядро
…
СХД
СХД
Сеть управления
Сеть синхронизации
ВУ
ВУ
…
ВУ
ВА
(GPU)
Кэш
ВУ
Основная сеть передачи данных
…
Ядро

7. Параллельные системы

Процессорный узел
суперкомпьютера IBM Blue Gene/Q

8. Top 10 из Top500 суперкомпьютеров мира (июнь 2019)

Вычислительный узел
суперкомпьютера Cray XK7

9.

Структура процессорного чипа
суперкомпьютера Sunway TaihuLight

10. Процессорный узел суперкомпьютера IBM Blue Gene/Q

Параллельные вычисления
Мир по своей природе параллелен,
однако в подавляющем большинстве
случаев параллелизм функционирования
разных объектов, в том числе –
компьютерных систем, не нацелен на
достижение некоей единой цели.
Параллельными вычислениями будем
называть такую организацию
вычислительного процесса, при которой
решением одной задачи одновременно
занимается более, чем одно
последовательное вычислительное
устройство (ядро/процессор), каждое из
которых выполняет свою собственную
часть общей работы.

11. Вычислительный узел суперкомпьютера Cray XK7

Виды параллелизма
Скрытый параллелизм: современные процессоры
реализуют конвейерный, и/или суперскалярный, и/или
векторный принципы исполнения последовательной
программы.
Многозадачность: алгоритм решения задачи
естественным (или искусственным) образом разбивается на
несколько (как правило, сравнительно немного)
практически независимых подзадач. Далее эти подзадачи
исполняются одним или несколькими процессорами.
Явный параллелизм: последовательный алгоритм
(обычно – код программы) вручную (или
автоматизированно, или автоматически) преобразуется так,
чтобы весь необходимый для решения задачи объем
вычислений распределить между многими одновременно
работающими вычислительными устройствами – ядрами
или процессорами. Каждое из этих устройств обычно
исполняет одну и ту же программу, но обрабатывает
собственные данные.