Интеграционная шина POSGate G.O.L.D-SET10

1.

Интеграционная шина POSGate
G.O.L.D-SET10

2.

Содержание презентации:
1)
Обзор текущего решения
2)
Предложение по замене текущего решения
2
02.11.2021

3.

Цель проекта:
Повышение отказоустойчивости в процессе доставки данных от GOLD в CENTRUM\Retail
Экономия средств компании связанных с доработкой транспортной шины ESB
Уменьшение времени реагирования на инциденты
Подключение сторонних получателей данных (например, стороннее кассовое ПО)
Прозрачная архитектура
Минимизация сетевого трафика
3
02.11.2021

4.

План проекта:
План проекта:
Октябрь- Ноябрь
2021
Пред проектное обследование
1. Анализ текущей реализации
2. Подготовка архитектуры
3. Согласование работ
4. Оценка
5. Выделение тестовых сред
Ноябрь - Декабрь 2021
Проектное обследование
1. Разработка прототипа
2. Разработка отдельных
интерфейсных таблиц в GOLD
3. Тестирование внутреннее
Ресурсы
Виртуальный сервер для теста на базе WinServer+MSSQL:
• 4 ядра процессора;
• 8 ГБ оперативной памяти;
• 250 ГБ дискового пространства.
Сервер для продуктива на базе SQL кластера:
• 8 ядер процессора;
• 16 ГБ оперативной памяти;
• 750 ГБ дискового пространства.
Январь-Февраль
2022
Пилот
1. Расширенное кросс
тестирование
2. Пилот
3. Принятие решение о тираже
Март – Апрель 2022
Тираж
1. Тиражирование по сети
Апрель
2022г.
• Подведение
итогов
• Закрытие
проекта
Трудозатраты сотрудников
Передний Евгений (Руководитель группы)
– 190 ч:
Разработка – 130 ч, Тестирование – 40 ч, Описание реализации – 20 ч
Трусов Владимир (Старший программист)
– 218 ч:
Разработка – 150 ч, Тестирование – 48 ч, Описание реализации – 20 ч
Соломянюк Андрей (Программист)
– 248 ч:
Разработка – 180 ч, Тестирование – 48 ч, Описание реализации – 20 ч
4
02.11.2021

5.

Плановые показатели нагрузки
Количество данных по ассортименту магазинов:
Максимальное количество данных – 2500 магазинов * 5000 товаров = 12.5 млн записей
Средняя регулярная переоценка
– 2500 магазинов * 600 товаров = 1.5 млн записей
Объем дискового пространства:
Общий объем хранения мастер-данных
Объем хранения истории выгрузки из GOLD за 45 дней
Объем хранения истории выгрузки в SET10 за 45 дней
Объем хранения предполагаемых индексов
Сетевой трафик за сутки:
Получение данных из GOLD
Передача данных в SET10
– 50 ГБ
– 130 ГБ
– 80 ГБ
– 120 ГБ
– 1.5 млн записей * 2200 байт = 3.3 ГБ
– 2500 магазинов * 600 * 5000 байт = 7.5 ГБ
Скорость получения данных из GOLD:
При наличии доступных каналов передачи данных до GOLD 1 Гбит/с и их утилизацией на 50%, а также при отсутствии проблем с выгрузкой
данных со стороны Oracle, передача 3.3 ГБ данных в 10 потоков должна осуществляться не более 2 минут.
Скорость обработки данных:
Подготовка всех данных для последующей выгрузки в SET10 должна осуществляться не более 10 минут.
Скорость выгрузки данных в SET10:
При наличии доступных каналов передачи данных до магазинов 1 Мбит/с и их утилизацией на 50% передача 7.5 ГБ данных в 50 потоков
должна осуществляться не более 40 минут.
5
02.11.2021

6.

Архитектура шины SET ESB, как есть
Недостатки
• Высокая стоимость доработки одно коннектора -84 т.р.
• Долгое время реагирования подрядчика на инциденты
• Паразитирующий трафик, исходя из особенностей SET
ESB
• Отсутствие возможности подключения сторонних
получателей
• Отсутствие инструментариев мониторинга и отладки
внутренних компонентов
Достоинства
• Высокая скорость доставки
• Отказоустойчивость на базе Apache Kafka
• Использование бесплатного ПО
6
02.11.2021

7.

Архитектура шины POSGate, как будет (MVP)
Недостатки
• Параллельное использование двух
интеграционных шин
Достоинства
• Прозрачная архитектура
• Развитие своими силами
• Стандартные решения по диагностике и
обслуживанию
• Контроль доставки данных до получателя
• Возможность передачи данных в сторонние решения
• Высокая скорость доставки данных за счет
распараллеливания процессов
• Минимизация сетевого трафика
• Доступный мониторинг интеграционных блоков
7
02.11.2021

8.

Архитектура шины POSGate, как будет
Недостатки
Достоинства
Прозрачная архитектура
Полный контроль над интеграционным процессом
Развитие своими силами
Стандартные решения по диагностике и
обслуживанию
Контроль доставки данных до получателя
Возможность передачи данных в сторонние решения
Высокая скорость доставки данных за счет
распараллеливания процессов
Минимизация сетевого трафика
Доступный мониторинг интеграционных блоков
8
02.11.2021

9.

Схема компонентов 3 ЦОД SET ESB, как есть
9
02.11.2021

10.

Схема компонентов 2 ЦОД POSGate (MVP), как будет
10
02.11.2021

11.

Схема компонентов 2 ЦОД POSGate, как будет
11
02.11.2021

12.

Необходимые доработки на стороне GOLD
1.
2.
3.
4.
Настроечная таблица для перевода магазинов на транспорт POSGate.
Новая таблица заданий для осуществления интеграции с POSGate.
Изменение процесса переоценки для формирования заданий.
Разделение данных по типам: справочные данные по товарам, ценам,
МРЦ, ограничениям и т.д.
12
02.11.2021

13.

Схема реализации потоков данных
13
02.11.2021

14.

Описание реализации POSGate
1. Разработка структуры баз данных в СУБД MSSQLServer на базе SQL Server
Failover Cluster.
2. Разработка служб и очередей сообщений на базе SQL Service Broker.
3. Разработка хранимых процедур для обработки полученных данных из
GOLD с помощью Linked Server и провайдера OraOLEDB.Oracle
(альтернатива – использование SSIS-пакетов).
4. Разработка хранимых процедур для формирования и обработки очередей
сообщений Service Broker.
5. Разработка функций SQL CLR для работы с API SET Retail 10.
6. Разработка хранимых процедур для отправки данных в формате API SET
Retail 10.
7. Задания SQL Server Agent для периодической инициализации
интеграционных процессов и обслуживания БД.
14
02.11.2021

15.

Экономический эффект от внедрения POSGate
Экономия средств:
• Доработка одного коннектора -84 000 руб., в среднем за год таких
коннекторов 10 = 840 000 руб.
• После полного отказа от SET ESB отказ от ежегодной подписки 231 000 руб.
• Высвобождение серверных мощностей
• Минимизация сетевого трафика
15
02.11.2021

16.

Спасибо!