Модель типового проекта создания хранилища данных

1. Модель типового проекта создания хранилища данных

Распределённые базы данных и хранилища данных

2. Создание хранилища данных

Проектировщик хранилища данных должен иметь план проектирования
хранилища данных.
Каждый член команды должен знать, какова цель проекта, какие задачи
решаются в рамках проекта, какие задачи и в какие сроки должен решить
каждый член команды.
Плохо спроектированная структура хранилища данных обычно приводит
к сложности реализации хранилища данных и к увеличению сроков
проекта. Плохо организованный проект создания хранилища данных,
даже при качественном проектировании, часто приводит к провалу
проекта.

3. Жизненный цикл разработки хранилища данных

4. Подготовка данных

Точная идентификация бизнес-информации, которая должна храниться в хранилище данных.
Идентификация предметных областей, которые составят набор предметных областей
хранилища данных.
Управление границами каждой предметной области.
Разработка масштабируемой архитектуры, точное определение и выбор структурных компонент.
Определение процедур извлечения, очистки, агрегации, преобразования и проверки данных.
Определение корректных уровней суммирования числовых показателей для поддержки бизнесрешений.
Определение и разработка процедур своевременного обновления данных.
Разработка дружественных интерфейсов и мощных инструментов аналитической обработки
данных.
Разработка словаря метаданных для обеспечения общения с хранилищем данных пользователей.
Обучение персонала для работы с приложениями хранилища данных.
Определение и регламентирование процесса сопровождения и обслуживания хранилища
данных.

5. Модель жизненного цикла хранилища данных

Жизненный цикл продукта – набор определенным образом расположенных
во времени этапов, которые проходит продукт от момента его создания до
момента его утилизации.
Стадии процесса создания и разработки хранилища данных:
планирование;
формулирование требований к системе складирования данных;
анализ;
проектирование;
конструирование;
внедрение;
поддержка.

6. Планирование

Задачи:
выбор
стратегии
реализации
и
методологии разработки;
анализ задач, для которых создается
хранилище данных;
анализ ресурсов разработки;
выбор архитектуры хранилища данных;
определение бюджета проекта;
разработка сценариев использования
хранилища данных;
сбор метаданных для хранилища данных.

7. Разработка требований

Задачи:
определение требований владельца хранилища данных;
определение требований конечных пользователей;
определение технологических требований;
определение архитектурных требований.

8. Анализ

Задачи:
разработка логической модели данных для хранилища данных и киосков
данных;
определение набора инструментальных средств для работы с хранилищем
данных.

9. Проектирование

Задачи:
проектирование архитектуры
данных
(логическое
и
физическое проектирование);
проектирование архитектуры
приложений
(анализ
запросов
и
фиксация
процессов
взаимодействия
хранилища
данных
с
внешними источниками и
пользователями).

10. Построение

Цель этапа – разработка программ и физической базы данных под
хранилище данных.
Результат этапа – комплекс программ, работающих с хранилищем
данных.

11. Внедрение

Результат этапа – всесторонняя подготовка перехода хранилища данных
в промышленную эксплуатацию.

12. Поддержка

Поддержка работоспособности и масштабируемости программноаппаратного обеспечения хранилища данных.
Сбор, очистка, преобразование, загрузка и актуализация данных в
соответствии с установленными процедурами.
Поддержка автоматизированных мест пользователей.
Техническая поддержка со стороны разработчика хранилища данных.

13. Бизнес-модель типового проекта создания хранилища данных

14. Процесс разработки хранилища данных

Этапы:
формулирование требований;
моделирование данных;
разработка приложений хранилища
данных;
создание вычислительной среды;
проектирование
аналитических
отчетов;
определение процедур извлечения,
преобразования и загрузки данных
(ETL);
проверка качества;
настройка производительности;
передача
системы складирования
данных в эксплуатацию.

15. Формулирование требований

Задача – идентификация требований заказчика хранилища данных и
оформление их в виде документа.
Время выполнения – от двух недель до двух месяцев.
Результат – каталог требований, утвержденный заказчиком, и уточненный
план проекта, который точно определяет используемые ресурсы и даты
контрольных точек проверки хода выполнения проекта.
Потенциальные опасности – конфликт внутрикорпоративных интересов и
необходимость наладить коммуникации для успешного выполнения и
этапа и проекта в целом.

16. Создание вычислительной среды

Задача – создание информационно-вычислительной среды, в которой
будет разрабатываться хранилище данных.
Время выполнения – от двух до четырех недель.
Результат – спецификации на программно-аппаратное обеспечение и
программное обеспечение.
Потенциальные опасности – использование одного сервера базы данных
для моделирования различных вычислительных сред.

17. Моделирование данных

Задача – разработка логической и физической моделей данных для
хранилища данных.
Время выполнения – от двух недель до двух месяцев.
Результат – перечень источников данных и их описание, а также
логическая и физическая модели данных.
Потенциальные
опасности
–
недостаточная
осведомленность
проектировщиков о предметной области хранилища данных и низкое
качество информации, поставляемой аналитиками предметной области.

18. Определение процедур извлечения, преобразования и загрузки данных

Задача – идентификация и определение процедур извлечения, очистки
(фильтрации), преобразования и загрузки данных.
Время выполнения – от одной недели до полутора месяцев.
Результат – схема соответствия данных исходных систем и хранилища
данных, программы или ETL-инструменты.
Потенциальные опасности – недооценка временных параметров,
стремление сделать процесс ETL как можно более всеобъемлющим.

19. Проектирование аналитических отчетов

Задача – проектирование и разработка аналитических отчетов на
спроектированной структуре данных.
Время выполнения – до двух недель.
Результат – спецификация кубов данных (измерения и метрики) и
разработанные отчеты.
Потенциальные опасности – не уделяется достаточного внимания
оптимизации времени получения отчета.

20. Разработка приложений

Задача – формирование программной среды, в которой пользователи
будут извлекать данные из хранилища данных и просматривать
предопределенные отчеты.
Время выполнения – от одной недели до месяца.
Результат – документация, описывающая механизм доставки
пользователям отчетов и спецификации экранных форм.
Потенциальные опасности – ложное представление о достаточной
квалификации пользователей хранилища данных для работы
с ИТ-технологиями.

21. Настройка производительности

Задача – добиться оптимальной производительности ЕТL-процессов,
производства отчетов и их доставки конечному пользователю.
Время выполнения – не более двух недель.
Результат – перечень рекомендаций по настройке производительности.
Потенциальные опасности – использование вычислительной среды
разработки хранилища данных, которая не масштабируется к
вычислительной среде эксплуатации хранилища данных.

22. Проверка качества

Задача – убедиться, что хранилище данных готово к эксплуатации.
Время выполнения – от одной до четырех недель.
Результат – план тестирования хранилища данных и заключение о
готовности хранилища данных к эксплуатации.
Потенциальные опасности – недостаточная квалификация людей,
проверяющих хранилище данных, в области складирования данных.

23. Передача в эксплуатацию

Задача – передача системы складирования данных заказчику и
представление ее конечным пользователям.
Время выполнения – от одного дня до нескольких недель.
Результат – акт приемки-сдачи.
Потенциальные опасности – неготовность потенциальных пользователей
к работе с хранилищем данных.

24. Сопровождение и модификация

Процессы
сопровождения
хранилища
данных
требуют
от ИТ-специалистов иной квалификации, чем процессы его разработки.
Если необходимость в модернизации хранилища данных возникает спустя
несколько месяцев после сдачи его в эксплуатацию, это говорит о том, что
проект не был успешным. Потребность в модернизации реально может
сформироваться спустя шесть месяцев после интенсивной его
эксплуатации.