Clover Platform. Назначение и основные функции платформы

1.

Clover Platform
1
1

2.

Назначение и основные функции платформы
• Сбор и накопление исторических данных о работе оборудования
• Визуализация данных в разных разрезах
• Анализ данных с применением математических методов, в том числе методов
машинного обучения
• Прогноз технического состояния оборудования
• Сбор бизнес-приложений (например, Умный Локомотив)
2

3.

Архитектура платформы
VPN
Модульная (микросервисная) REST архитектура обеспечивает
Браузер
Тонкий
клиент
• Производительность
HTTPS
Оператор
• Масштабируемость
Сеть
VPN
REST API
• Гибкость в конфигурации решения в
зависимости от задачи
Kernel
Services
Business Process
Engine
• Надежность, отказоустойчивость
RDBMS
Math Service
Агенты по
сбору данных
OLAP
DBMS
Report
Service
ETL Service
Rule Service
• Расширяемость за счет подключения
дополнительных модулей
File
Storage
Monitoring
System
Message
Broker
Access Management
Service
Logging
Service
3

4.

Архитектура отдельного модуля
Модуль – реализует одну бизнес-функцию
• Самостоятельно балансирует нагрузку и
масштабируется при необходимости
• Поддерживает асинхронный механизм
взаимодействия и работает через брокер
сообщений (Message Broker)
• Все необходимые данные получает в запросе или
имеет доступ к источникам данных
• Взаимодействует с единым сервисом
логгирования (Logging Service)
• Предоставляет доступ сервису мониторинга
(Monitoring Service)
4

5.

Схема обработки данных
Business Process Engine – Сервис управления бизнес-процессами обработки данных
• Процесс обработки данных строится из кубиков, как конструктор
• Что позволяет настраивать сложные алгоритмы обработки без привлечения
Выборка, преобразование и
разработчиков
Извлечение, преобразование и
Хранение
Витрины данных
загрузка данных (ETL)
доставка данных потребителям
данных
Графический
интерфейс
пользователя
Узкая
таблица
Узкая
таблица
Хранилище
данных
ETL
Широка
я
таблица
Узкая
таблица
Преобразова
ние в
широкую
таблицу
Широкая
таблица
Заполнение
пропусков
Обогащенная
широкая
таблица
Широка
я
таблица
Узкая
таблица
Потребители данных
Сервис
правил
Результаты
работы правил
Data Scientist
Заполнение
пропусков
Обогащенная
узкая таблица
Сервис
математических
моделей
Прогнозы
Виртуальные
сенсоры
5

6.

Сервисы загрузки и хранения данных
Агенты по сбору данных, ETL и хранилища данных
• Информация поступает из различных
источников: базы данных, файлы, агенты.
• И в разных режимах: потоковом или
пакетном
• ETL сервис извлекает, очищает, преобразует
и загружает данные в хранилища
• Инициирует процессы дальнейшей
обработки данных
6

7.

Поиск аномалий
Правила – позволяют эксперту сформулировать и найти отклонения в работе оборудования
• Правило задается на специально разработанном
языке
(Rule Language)
• Этот
язык
понимается специальным
Правил
object Правило. Звонковая работа мотор-вентилятора
Name:
Package:
Version:
Author:
Правило. Звонковая работа мотор-вентилятора
Локотех. Серия 2(3)ТЭ116У
1.0
kaynov.andrey
Сервисом
(Rule Service)
Система
охлаждения
(from
Узлы)
• Который выявит аномалии в прошлом и обнаружит
их в будущем
• Работая в пакетном или же потоковом режимах
Дизель и
дизельное
оборудование
(from Узлы)
Частота
вращения вала
дизеля
(from
Сенсоры)
Моторвентилятор
(from
Узлы)
работа моторвентилятора АМВ
(from
Сенсоры)
Номер
вентилятора
(from
Параметры)
«rule»
Звонковая работа
мотор-вентилятора
(from Правила)
7

8.

Визуализация
Важная информация о работе оборудования представлена на панели мониторинга
8

9.

9
9

10.

10
10

11.

Сервис Математики
Набор математических методов для поиска зависимостей и отклонений рассматриваемых объектов
Модели распространяются как плагины и
подключаются к платформе.
В зависимости от поставленных задач могут
использоваться:
Индекс здоровья
оборудования
1
2
3
4
5
import numpy as np
import pandas as pd
import tensorflow as tf
class odel(object):
• Предиктивные модели
• Статистические модели
• Физические модели
• Модели непрерывного обучения
• Модели валидации
11

12.

Безопасность
Принципы безопасности
• Микросервисная архитектура и дублирование компонентов – отсутствие единой
точки отказа, повышение сложности слома системы
• Несколько уровней информационной безопасности данных:
• VPN – все компоненты системы размещаются в защищенной
инфраструктуре
• Единый сервис аутентификации и авторизации (Access Management
Service) – остальные сервисы получают подтверждение на обработку
запроса от него
• Гибридная модель доступа на основе RBAC (роли) и ABAC (атрибуты)
моделей – возможность гибкой настройки доступных пользователю
действий и ограничений по данным.
• Логирование операций в системе – кто, что, когда сделал
• Мониторинг состояния системы – контроль состояния системы онлайн
• Резервное копирование данных
12

13.

Технологический стек
Микросервисы
СУБД
GUI
Средства
развертывания
• Python 3.6
(celery, django,
sqlAlchemy,
django rest
framework)
• PostgreSQL
• React
• Gitlab (git, CI, CD)
• ClickHouse
• Redux
• Docker
• Redis
• D3
• Scala
• …
13

14.

Технические требования
Минимальные аппаратные требования
Рекомендуемые требования
• Процессор: 8 ядер по 2.4 ГГц
Рассчитываются исходя из
• Оперативная память: 16 Гб оперативной
памяти
• объема данных (например,
одна секция локомотива в
среднем содержит 10-15 Гб
данных в год),
• Жесткий диск: 128 Гб
Требования к системному ПО
• CentOS, Linux Ubuntu, Linux
Debian
• решаемых задач,
• количества одновременных
пользователей
Требования рабочей станции
• 4 Гб оперативной памяти
• Браузер Chrome 66 и выше
14

15.

Ускоряем путь
в цифровое
будущее
Спасибо за внимание
15