Apache Hadoop

1.

Hadoop

2.

Apache Hadoop
Фреймворк (каркас) с открытым исходным кодом,
предназначенный для создания и запуска
распределенных приложений, обрабатывающих
большие объемы данных
проект верхнего уровня организации Apache
Software Foundation

3.

Apache Software Foundation
Apache Software Foundation (ASF) — организация-фонд, способствующая
развитию проектов программного обеспечения Apache, к которым
относится среди прочего веб-сервер Apache.
ASF была сформирована в 1999 году из Apache Group в Делавэре, США.
Сообщество ASF состоит из разработчиков-энтузиастов, живущих в разных
странах мира и участвующих в различных Open Source проектах.
Отличительные черты проектов Apache: совместная разработка кода и
открытая, прагматичная лицензия (Apache Software License).

4.

Надежность
Надежность
4 достоинства Hadoop
Доступность
Надежность
Масштабируемость
Простота

5.

Хранение и обработка

6.

Модули
Hadoop Common – набор инфраструктурных программных библиотек и
утилит,
HDFS – распределённая файловая система, Hadoop Distributed File System –
технология хранения файлов на различных серверах данных (узлах,
DataNodes),
Hadoop MapReduce – платформа программирования и выполнения
распределённых MapReduce-вычислений, с использованием большого
количества компьютеров (узлов, nodes), образующих кластер.
YARN – система планирования заданий и управления кластером (Yet
Another Resource Negotiator), которую также называют MapReduce 2.0
(MRv2) – набор системных программ (демонов), обеспечивающих
совместное использование, масштабирование и надежность работы
распределенных приложений

7.

8.

Файловая система HDFS

9.

HDFS (Hadoop Distributed File System).
Hadoop Distributed File System HDFS
Сосредоточенная файловая
система
Распределенная файловая
система HDFS
таблица файловых дескрипторов
сервер имён / NameNode
область данных
серверы данных / DataNode

10.

Структура команд
hadoop fs -cmd <args>
где cmd - имя конкретной команды, a
<args> - переменное число аргументов.
Команда обычно имеет такое же имя, как ее аналог в Unix.
команда вывода списка файлов - hadoop fs –Is
Команда для удаления файлов и пустых каталогов rm:
hadoop fs -rm example.txt

11.

Особенности HDSP

12.

Демоны Hadoop

13.

Secondary NameNode (SNN)

14.

JobTracker
TaskTracker

15.

Типичный кластер Hadoop

16.

Режимы работы

17.

Режимы работы
Одна машина один кластер
Локальный (автономный) режим
Псевдораспределенный режим
Многомашинный кластер
Полностью распределенный
режим
протокол Secure Shell (SSH).

18.

Интерфейсы Hadoop

19.

Веб-интерфейс к системе HDFS

20.

Веб-интерфейс к информации о
MapReduce-программах.