DWH_Diploma_Presentation

1.

Миграция корпоративного DWH
Snowflake → Greenplum + ClickHouse на Yandex Cloud
От вендорской зависимости к суверенной платформе
Дипломный проект · PM: Мухаммад Шокиров · 2025

2.

Пентабазис: суть проекта
5+1 базовых вопросов до старта (по методике Зверева)
1
ЗАЧЕМ и ДЛЯ КОГО
Snowflake — зарубежный SaaS с высокой стоимостью и регуляторными
рисками. Контракт истекает через 8 месяцев. Миграция — единственный
путь к финансовой и операционной независимости.
3
КАК придём к цели
Гибридный подход: предиктивный для инфраструктуры (Q1),
итеративный для витрин (Q2). MVP — тонкий вертикальный срез на 3–5
витринах до масштабирования.
5
РЕСУРСЫ
8 человек × 2 квартала. Yandex Cloud: dev/staging/prod окружения.
Внешних подрядчиков нет.
2
ЧТО получим
147 витрин перенесены и валидированы в Greenplum + ClickHouse.
Snowflake отключён. Затраты = 0. Bus factor ≥ 2 по всему стеку.
4
КТО
PM: Мухаммад Шокиров. Архитектор: Павел Ковалёв (⚠ bus factor=1). 6
инженеров DE. Куратор: руководитель Data-направления (требует
назначения).
+
1
УСЛОВИЯ
Жёсткий дедлайн — 8 месяцев (контракт Snowflake). Расхождение данных
≤ 0.01%. 147 витрин — фиксированный scope.

3.

Паспорт проекта: цель и границы
Цель проекта
Перенести корпоративное DWH с Snowflake на Yandex Cloud
(Greenplum + ClickHouse), снизив TCO и устранив зависимость от
зарубежного вендора без потери качества данных.
Границы проекта
✓ Входит:
• Развёртывание GP + ClickHouse
кластеров на YC
• Kafka-коннекторы и Spark-пайплайны
• Маппинг и перенос 147 витрин
CYNEFIN: Complicated → классическое проектное управление +
итерации на витринах
• Репликация GP → ClickHouse
• Валидация и переключение prod
• Документация + передача знаний
Критерии приёмки (Definition of Done)
✓ Расхождение данных новое vs старое ≤ 0.01% по каждой витрине
✓ Пайплайны стабильны ≥ 2 недели в prod без ручных вмешательств
✓ SLA реакции на инцидент ≤ 2 рабочих дня
✓ Bus factor по новому стеку ≥ 2 (документация + передача знаний)
✓ Snowflake полностью отключён, затраты на него = 0
✗ Не входит:
• Изменение бизнес-логики витрин
• Подключение новых источников
данных
• Миграция аналитических инструментов
(Tableau и т.п.)
• Обучение бизнес-пользователей

4.

Оценка ресурсов: HeatMap компетенций
Востребованность технологий по задачам проекта (1 = компетенция нужна в задаче)
Greenplum
ClickHouse
Kafka
Spark
SQL
PG/Mongo
Snowflake
важн: 3
важн: 2
важн: 2
важн: 2
важн: 3
важн: 1
важн: 1
Q1
— Инфраструктура
PBI-1
Развёртывание GP-кластера
PBI-2 Настройка схем и таблиц GP
PBI-3 Развёртывание ClickHouse
PBI-4 Настройка Kafka-коннекторов
PBI-5 Настройка Spark-пайплайнов
PBI-6 Подключение PostgreSQL
PBI-7 Подключение MongoDB
PBI-8 Тест загрузки сырых данных
Q2
— Витрины
PBI-9
Анализ и маппинг 147 витрин
PBI-10 Переписывание витрин на GP SQL
PBI-11 Тестирование витрин в GP
PBI-12 Настройка репликации GP → CH
PBI-13 Запуск коннекторов
PBI-14 Валидация данных
Задач с компетенцией
10
3
2
3
8
4
3
% участия
71%
21%
14%
21%
57%
29%
21%

5.

Оценка ресурсов: StarMap и Gap-анализ
GP
CH
Kafka
Spark
SQL
PG/Mongo
Snow
⚠ П. Ковалёв (архитектор)
3
3
3
3
3
3
3
В. Трошко (senior DE)
2
В. Гуля (senior SQL)
1
3
2
В. Кравцов (middle DE)
Н. Цапов (middle DE)
А. Козлов (junior DE)
В. Вареник (junior DE)
2
Носителей ≥2 (bus factor)
1
1
1
2
2
1
⚠ Gap-анализ: ключевые риски компетенций
ClickHouse
Spark
Kafka
Greenplum
КРИТИЧНО · Bus factor = 1. Срочно обучать
резерв.
КРИТИЧНО · Bus factor = 1. Срочно обучать
резерв.
Высокая · Один носитель. Обучить резерв
до Q1.
Средняя · Покрытие тонкое — мониторить.

6.

Дорожная карта: карта вех
Жёсткий дедлайн: контракт Snowflake истекает через 8 месяцев
М1
М2
М3
М4
М5
М6
М7
ЭТАП 0
Подготовка
Q1
Инфраструктура
MVP (пилот)
Q2
Витрины
РЕЛИЗ
Переключение
М1
М2–М3
М3
М4–М6
М7–М8
• Назначение
куратора
• GP-кластер и ClickHouse
• 1 источник
PostgreSQL
• Маппинг 147 витрин
• Переключение prod
• Бюджет YC
утверждён
• Kafka-коннекторы
• 3–5 витрин GP
SQL
• Переписывание на GP SQL
• Отключение Snowflake
• Онбординг
команды
• Spark-пайплайны
• Репликация
GP→CH
• Тест + валидация
• Документация
• План передачи
знаний Ковалёва
• Источники PG/Mongo
• Валидация vs
Snowflake
• Репликация GP→CH prod
• Передача знаний
• Тест загрузки сырых данных
• ✓ Гипотеза
подтверждена
• Параллельная работа ≥2 нед
• Контракт закрыт ✓
М8
⚡ Дедлайн
Сноуфлейк

7.

MVP переезда: тонкий вертикальный срез
✗ Big Bang (антипаттерн)
✓ Инкрементально (MVP)
• Переносим все 147 витрин сразу
• Сквозной срез на 3–5 витринах
• Ошибки всплывают в конце, на проде
• Ошибки видны на первой неделе
• Откат стоит очень дорого
• Дёшево откатиться и скорректировать
• Ценность — только в финале
• Ключевые риски сняты рано
Состав MVP: сквозная цепочка
PostgreSQL
(источник)
→
Kafka
(транспорт)
Кравцов
Кравцов
→
Spark
(пайплайн)
→
Цапов
Критерий успеха MVP:
✓ Расхождение данных пилотных витрин ≤ 0.01%
✓ Скорость аналитических запросов ≥ уровня Snowflake
✓ Пайплайн стабильно работает 1 неделю без ручных вмешательств
Greenplum
(хранилище)
Трошко
→
3–5 витрин
GP SQL
Гуля
→
ClickHouse
(аналитика)
Трошко
→
Валидация
vs Snowflake
Козлов

8.

Реестр рисков проекта
Источник: паспорт проекта + Gap-анализ HeatMap · Стратегии по Звереву (5 стратегий)
#
Риск
R-01
Истечение контракта Snowflake (8 мес.)
R-02
Зона
Стратегия
Владелец
Триггер
КРИТИЧНО
Избегание
PM + Куратор
Проект выходит за план M7
Уход / болезнь Ковалёва (bus factor=1)
КРИТИЧНО
Снижение
PM
Отсутствие >3 рабочих дней
R-03
Куратор формально не назначен
Высокая
Избегание
PM
До старта нет приказа
R-04
Расхождение данных при переписывании
витрин
Высокая
Снижение
Гуля
Delta >0.01% на 1 витрине
R-05
Команды-потребители блокируют маппинг
Высокая
Снижение
PM
Нет ответа >3 рабочих дней
R-06
Низкие компетенции команды по
CH/Kafka/Spark
Высокая
Снижение
PM + Ковалёв
Цапов/Козлов не прошли
онбординг к M2
R-07
Недооценка объёма 147 витрин (Q2)
Средняя
Снижение
Гуля + PM
Скорость <10 витрин/нед в M4
R-08
GP+CH медленнее Snowflake на запросах
Средняя
Снижение
Трошко
Запрос MVP >2x медленнее
Меры
Зафиксировать как
жёсткое ограничение.
Переключение prod —
не позднеезнаний
M7.
Передача
Трошко и Цапову с M1.
Итерационная
документация
архитектуры.
Назначить
до старта.
До этого — решения
через PM с эскалацией
к руководству.
MVP
валидирует 3–5
витрин до
масштабирования.
Параллельная работа
Ранняя
≥2 нед. коммуникация.
Фиксация
ответственных.
Эскалация при
блокировке.
Онбординг в Этапе 0.
Целевое обучение.
Ковалёв — ментор.
Буфер 20% в Q2.
Еженедельный
контроль.
Приоритизация
Замер
скорости
в MVP.
критичных
витрин.
Оптимизация индексов
GP и
партиционирования
CH.

9.

От вендорской зависимости —
к суверенной платформе