Сбор и хранение больших данных перед обработкой

1. Сбор и хранение больших данных перед обработкой

Санкт-Петербургский государственный университет
аэрокосмического приборостроения
Кафедра информационных технологий предпринимательства
Сбор и хранение больших данных
перед обработкой
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
1

2. Лектор

Блюм Владислав Станиславович
e-mail: vladblum7@gmail.com
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
2

3. Сбор и хранение больших данных

Сбор и хранение больших данных
перед их обработкой являются
необходимыми и важными
этапами в процессе работы с
данными.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
3

4. Рекомендации

Определите цель сбора данных и выберите
источники, которые наиболее соответствуют этой
цели.
Оцените объем данных, которые вам нужно
собрать и обработать, и убедитесь, что вы имеете
достаточное количество места для их хранения.
Используйте специализированные программы и
инструменты для сбора и хранения данных, такие
как Hadoop, Apache Spark, Amazon S3, Platforma
Разработайте стратегию резервного копирования
данных, чтобы защитить их от потерь или
повреждений.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
4

5. Рекомендации

• Определите структуру и формат данных, которые
вы собираетесь хранить, чтобы облегчить их
обработку.
• Обеспечьте безопасность данных, используя
шифрование и управление доступом.
• Оцените производительность вашей системы
хранения данных и убедитесь, что она соответствует
вашим потребностям в обработке данных.
• Поддерживайте чистоту данных, удаляя
неактуальные данные и обновляя информацию при
необходимости.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
5

6. Платформа Hadoop

Apache Hadoop - это открытая платформа
для обработки больших объемов данных,
которая позволяет эффективно хранить и
обрабатывать данные на кластере
компьютеров. Hadoop предоставляет
инструменты для хранения, обработки и
анализа данных, которые не могут быть
обработаны с помощью традиционных
реляционных баз данных.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
6

7. Кластер компьютеров

Кластер компьютеров - это группа компьютеров, которые
работают вместе для решения общей задачи. Каждый
компьютер в кластере называется узлом, а управление
кластером осуществляется с помощью специального
программного обеспечения, которое называется
менеджером кластера.
В кластере компьютеров узлы могут работать как
независимые, так и совместные. Это делается с помощью
распределенной обработки задач, где каждый узел берет
на себя часть задачи, а менеджер кластера контролирует
процесс выполнения задачи в целом.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
7

8. структура распределенной файловой системы Hadoop

1. NameNode: NameNode является главным компонентом HDFS и
отвечает за хранение метаданных о файлах и каталогах,
которые хранятся в HDFS. NameNode поддерживает множество
операций, включая создание, удаление, переименование
файлов и каталогов.
2. DataNode: DataNode - это узел кластера, который хранит
фактические данные файлов. Каждый DataNode отвечает за
хранение данных для определенной части файлов в HDFS.
3. Secondary NameNode: Secondary NameNode - это
дополнительный компонент HDFS, который работает вместе с
NameNode для поддержки метаданных. Secondary NameNode
служит для создания резервной копии метаданных и для их
согласования с NameNode.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
8

9. структура распределенной файловой системы Hadoop

1. HDFS Client: HDFS Client - это компонент, который используется
для доступа к данным, хранящимся в HDFS. Клиентские приложения
могут напрямую обращаться к HDFS, чтобы получить доступ к
файлам, создавать новые файлы и выполнять другие операции.
2. Block: блок - это фрагмент данных, который хранится на узлах
DataNode в HDFS. Каждый блок имеет размер по умолчанию в 128
МБ и используется для оптимизации распределения данных и
уменьшения накладных расходов на обмен метаданными в HDFS.
3. Rack: Rack - это группа узлов, которые физически находятся ближе
друг к другу. HDFS использует информацию о расположении узлов
для оптимизации работы с данными, чтобы уменьшить нагрузку на
сеть и ускорить передачу данных.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
9

10. Схема распределенной файловой системы Hadoop

МОБД. Сбор и хранение. Блюм В.С. 2022 г.
10

11. российская платформа

Platforma («Платформа больших данных»,
ПБД, резидент Skolkovo) создано в 2020 году
как совместное предприятие ВТБ и Ростелекома.
Компания разрабатывает инструменты для
бизнеса на основе big data: сервисы
персонализации, геопространственного анализа
(Geo.Platforma), планирования
продаж, рекламные платформы, а также
развивает ИТ-инфраструктуру.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
11

12. Платформа больших данных

"Платформа больших данных" (ПБД) - это компаниярезидент инновационного центра "Сколково" в России,
которая занимается разработкой инновационных решений
в области анализа и обработки больших данных.
Компания создает инфраструктуру для обработки
больших данных на основе Hadoop-кластеров и
разрабатывает собственные продукты и решения для
анализа данных, такие как система мониторинга сетевой
безопасности "NetHorus" и платформа "Доктор вебаналитика" для анализа данных в области
информационной безопасности.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
12

13. Смешение и интеграция данных

Работа с big data часто связана со сбором
разнородных данных из разных источников.
Разные источники могут выдавать данные в
разных форматах и с разными параметрами.
Смешение и интеграция данных — процесс
приведения разнородной информации к
единому виду.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
13

14. Смешение и интеграция данных

методы:
1. Приводят данные к единому формату: распознают текст с
фотографий, конвертируют документы, переводят текст в
цифры.
2. Дополняют данные. Если есть два источника данных об
одном объекте, информацию от первого источника
дополняют данными от второго, чтобы получить более
полную картину.
3. Отсеивают избыточные данные: если какой-то источник
собирает лишнюю информацию, недоступную для анализа,
ее удаляют.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
14

15. Смешение и интеграция данных

МОБД. Сбор и хранение. Блюм В.С. 2022 г.
15

16. Визуализация аналитических данных

• Результаты аналитики удобно оценивать и
использовать методами визуализации данных.
представлением в виде графиков, диаграмм,
гистограмм, 3D-моделей, карт и пиктограмм.
• Обычно инструменты для анализа умеют и
визуализировать данные, так как без
визуализации результаты работы отобразить
сложно. Множество инструментов, например:
RapidMiner, Tableau, Qlik, Orange.
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
16

17. Выводы

Big data порождают:
1.Новую вычислительную
инфраструктуру
2.Создание и развитие широкого
спектра новых кибернетических
методов анализа
МОБД. Сбор и хранение. Блюм В.С. 2022 г.
17