Трансформация данных в ETL-системах на примере системы для анализа продаж торговой сети

1.

ТРАНСФОРМАЦИЯ ДАННЫХ В
ETL-СИСТЕМАХ НА ПРИМЕРЕ
СИСТЕМЫ ДЛЯ АНАЛИЗА
ПРОДАЖ ТОРГОВОЙ СЕТИ
Подготовил: студент группы
ПРИ-120 Румянцев Г. С.

2.

Определение ETL-систем
Перед погружением в практическое применение ETL-систем стоит разобраться,
что из себя представляют данные системы. Сегодня организации по всему миру
генерируют и хранят огромное количество данных от различных источников.
Применительно к сфере продаж, такими источниками могут выступать поставки
продукции, системы складского учета, реализация товаров, системы учета и
прогнозирования доходов. Однако поступающая и хранимая информация зачастую
неупорядоченная, неполная и иногда ошибочна. Но на счастье бизнесу, все эти
данные могут быть переведены в требуемый, удобный формат для последующего
анализа. Здесь как раз и раскрывается вся польза и практическое применение
ETL-систем. Понятие ETL расшифровывается как E – Extract (доставать,
получать), T – Transform (трансформировать, обрабатывать), L – Load (загружать).

3.

Прибыль бизнесу
Используя ETL (или ELT) для централизации данных из различных источников,
розничный магазин из приведенного выше примера может создать единый источник
достоверных данных о своих продажах, складах и клиентах. Эти данные могут быть
использованы для анализа тенденций и закономерностей в различных магазинах и
регионах, выявления возможностей для роста и оптимизации, а также принятия
решений, основанных на данных, для повышения эффективности бизнеса.

4.

Трансформация данных в ETL-системе
Перейдем к более подробному рассмотрению процесса обработки данных
в ETL-системе. Системы такого типа специализируются на решении
определенного набора классических задач:
1. Удаление дублирующихся записей
2. Вычисление новых данных
3. Объединение или разделение
4. Удаление невалидной информации
5. Сортировка и упорядочивание
6. Фильтрация
7. Форматирование

5.

Разрабатываемая аналитическая система
Работа будет проводиться в «Информационно-аналитической системе по
продажам в торговой сети». Основная специализация: автоматизация
процессов отслеживания продаж, управления персоналом на местах и
мониторинг реализуемой продукции. Конвейер данных используется для
формирования отчетности о продажах в различных филиалах торговой сети.
Итоговый отчет предоставляется руководителю организации.

6.

Концептуальная диаграмма классов

7.

Архитектура

8.

Операции трансформации
1.
2.
1.
2.
3.
4.
1.
2.
3.
Товар
Был ли передан
Продается ли товар с данным названием в текущей организации
Продавец
Было ли передано ФИО
Содержится ли в строке ФИО фамилия и имя
Найден ли пользователь в системе с таким ФИО
Является ли найденный пользователь действующим продавцом в текущей организации
Количество
Если не передано, в качестве количества проданного товара устанавливается значение 1.
Иначе проверяем, является ли переданное значение числом
Соответствует ли переданное значение рамкам [0; 1.000.000.000]

9.

Операции трансформации \2
Время
1. Было ли передано
2. Пробуем распознать строку согласно шаблону «uuuu-MM-ddTHH:mm:ss»
3. Удостоверяемся, что переданное значение из прошлого
Стоимость
1. Если не передано, в качестве значением пробуем рассчитать стоимость товара на основе
имеющихся значений. Если они отсутствуют, ошибка.
2. Иначе проверяем, является ли переданное значение числом
3. Проверяем, переданное значение больше ли нуля.

10.

Спасибо за внимание!