Основы Hadoop v1

1.

2. Содержание

1. Данные в современном мире
2. Что такое Big Data?
3. История создания Hadoop
4. HDFS
5. Zookeeper
6. Map Reduce и Spark
7. Yarn
2

3. Данные в современном мире

4. Данные в современном мире

Ежедневно в мире создается 328.77 млн терабайт данных.
Объем генерируемых данных растет экспоненциально. Это
говорит о том, что мир быстро погружается в эпоху
данных.
Уровень внедрения больших данных остается стабильным –
в 2023 году 60% компаний по всему миру использовали
большие данные для внедрения инноваций.
До 40% компаний управляют данными как бизнес-активом.
Данные - это новая нефть.
4

5. Что это - Big Data ?

6. Что это - Big Data ?

Big Data - это структурированные, полуструктурированные и неструктурированные данные большего объема.
Признаки Big Data:
• Volume – объем. Объем информации измерим.
• Velocity – скорость. Объем информации не статичен –
он постоянно увеличивается и инструменты обработки
должны это учитывать.
• Variety – многообразие. Информация не обязана
иметь один формат. Она может быть
неструктурированной, частично или полностью
структурированной.
6

7. История создания Hadoop

8. История создания Hadoop

Экосистема Hadoop
8

9. HDFS

10. HDFS

Основные компоненты HDFS
Namenode
NameNode - хранит ТОЛЬКО метаданные файловой системы и метаинформацию
о распределении блоков, и DataNode.
Datanode
DataNode - хранят блоки файлов и подчиняется NameNode.
Secondary Namenode
Служит для быстрого подъёма HDFS в случае недоступности.
Secondary
Standby
10

11. HDFS

HDFS – распределённая файловая система
Блоки
обычно 128МБ
Репликация
фактор репликации обычно 3
Снижает накладные расходы
и нагрузку при обработке
больших данных
Позволяет создать отказоустойчивую
конфигурацию и быструю обработку
информации
Масштабируемость
От 3+ узлов
Способность увеличивать объём и
производительность
системы до сотен узлов
Преимущества HDFS
• использование дешевого
железа
• случае отказа узла система
продолжала работать
11

12. HDFS

Высокая доступность (High Availibility )
Для реализации отказоустойчиво конфигурации требуются дополнительные сервисы:
Standby Namenode – Резервный узел
Journal Nodes – Нужны для синхронизации метаданных между Active Namenode и Standby Namenode
Failover Controller – отвечает за переключение Active и Standby NN.
12

13. HDFS

Архитектура HDFS
13

14. HDFS

Чтение данных HDFS
Запись данных HDFS:
Любой файл может изменять только один процесс, читать – многие, что обеспечивает отсутствие
блокировок и консистентность данных.
14

15. HDFS

На примере процесса checkpoint познакомимся с ключевыми файлами NameNode:
Fsimage –образ файловой системы
Edits – журналы изменений
1. Вторичный узел приказывает первичному начать
новый файл изменений.
2. Вторичный узел получает от первичного файлы
fsimage и edits.
3. Вторичный узел загружает fsimage в память,
применяет каждую операцию из edits, после чего
создает новый консолидированный файл fsimage.
4. Вторичный узел отправляет первичному новую
версию fsimage.
5. Первичный узел заменяет старую версию fsimage
новой, полученной от вторичного узла,
а старый файл edits — новой, начатой на шаге 1.
Также он обновляет файл fstime временем создания
контрольной точки.
15

16. Zookeeper

17.

Zookeeper – Система для координирования распределенных приложений и хранения конфигураций
• Делает отказоустойчивой конфигурации сервисов;
• Синхронизация распределенных сервисов;
• Хранение конфигураций;
• Для согласованности данных требуется нечетное кол-во хостов;
17

18.

18

19. Map Reduce и Spark

20. MapReduce

Движки распределенных вычислений и обработки данных.
MapReduce: парадигма распределённых вычислений состоящая из шагов:
MapReduce – полученный набор данных распределяет по узлам.
Shuffling - объединяет key value на узлах.
Reducing – группирует все записи и выводит полученный результат.
20

21.

Движки распределенных вычислений и обработки данных.
Spark: платформа обработки данных.
Благодаря своей архитектуре и вычислениям в памяти, выигрывает в скорости у MapReduce.
Spark Driver - родительский процесс, который планирует и
распределяет работу между множеством executors
Spark Executor – процесс в оперативной памяти который и
производит вычисления, после которых результат будет
возвращен родительскому процессу (Driver)
21

22. YARN

23. Yarn

Основной сервис для управления ресурсами кластера
Управление ресурсами кластера
Координация задач
Планировщик ресурсов
Мониторинг задач
Основные компоненты:
Resource Manager – распределение ресурсов кластера и мониторинг за состоянием NodeManager.
NodeManager – агент на узлах, который мониторит состояние ресурсов и отправляет их RM.
ApplicationMaster – главный процесс распределенного приложения.
Containers – контейнер с набором ресурсов (RAM,ЦПУ) в рамках которого выполняются вычисления (executers).
23

24.

24

25. Ответить на вопросы

1. Если размер файла равен 50 МБ, сколько места будет занимать
этот файл в HDFS? Фактор репликации и размер блока
стандартный.
2. Что произойдет в HA конфигурации HDFS, если одна из сессий
ZKF завершится неуспешно?
3. Практично ли хранить маленькие файлы в HDFS ? Объяснить
развернуто почему.
4. Корректно ли поднимется кластер с 2 серверами Zookeeper ?
5. В случае недоступности трех узлов, что может произойти с
данными?
6. Является ли Secondary NN резервной NN?
7. Напишите минусы HDFS.
8. Как происходит управление ресурсами в YARN?