ai_чек листы и команды

1.

Новые цифровые технологии и
Искусственный интеллект в бизнесе
Процессы и команды

2.

3.

1
Глобальный обзор ИИ в страховании
2
Кейсы Lemonade и Ping An
3
Три блока готовности
4
Выбор пилотов
5
Формирование команд
6
Рекомендации
2025
Внедрение ИИ в страховых компаниях

4. Глобальная картина внедрения ИИ в страховании

Рейтинг зрелости по регионам
США- Лидеры рынка (75-85 баллов)
Китай- Агрессивные разрушители (70-80 баллов)
Великобритания- Активные последователи (65-75 баллов)
Европа- Осторожные инноваторы (55-65 баллов)
Япония- Традиционные игроки (45-55 баллов)
Развивающиеся рынки- Начальная стадия (25-45 баллов)
Ключевые игроки :
Lemonade
2025
Ping
An
Aviva
Allianz
59% страховщиков с персоналом 100+ человек уже используют
генеративный ИИ
Внедрение ИИ в страховых компаниях

5. США: Лидеры по внедрению ИИ

США: Лидеры по внедрению И И
Основные направления внедрения
Крупнейшие игроки
Автоматизация заявлений
Lemonade
ИИ-нативная компания, революционный подход
Борьба с мошенничеством
Динамическое ценообразование
Чатботы и ассистенты
Обработка заявлений за 3 секунды, 40% без участия человека
Телематика и IoT
State Farm
Крупнейший страховщик США
Продвинутые системы обнаружения мошенничества,
телематика
Allstate
Progressive
Предиктивная аналитика
Динамическое ценообразование
Средний рейтинг зрелости: 75-85 баллов из 100
По данным исследования AiCore, 59% американских страховщиков с
персоналом 100+ человек уже используют генеративный ИИ для
автоматизации процессов и улучшения клиентского опыта.
Ожидаемые результаты внедрения ИИ:
Рост производительности на 10-20%
Увеличение премий на ~2%
Улучшение коэффициентов убыточности на 1.5-3.0 п.п.

6. Кейс Lemonade: Полностью ИИ-нативная компания

Кейс Lemonade: Полностью ИИ - нативная компания
И И нативная модель
-
Компания, изначально построенная для работы с
искусственным интеллектом — полностью цифровая
страховая платформа без традиционных агентов.
Революционный подход:
Мировой рекорд: урегулирование заявления за 2 с е к у н д ы с
помощью ИИ
98% всех заявлений начинаются с ИИ Jim в приложении
40% заявлений не требуют вмешательства человека
30% сокращение затрат на обработку заявлений в 2021 году
Эффективность персонала:
"Традиционное страхование основано на конфликте
Традиционные
страховщики
1:150-450
интересов
— каждый доллар
, выплаченный
клиенту, это
доллар, который не достанется компании. Мы создали
первую страховую компанию, где интересы клиентов и
бизнеса полностью совпадают."
— Daniel Schreiber, CEO Lemonade
Lemon
2 сек
98%
Рекордная скорость урегулирования
Заявлений начинаются с ИИ
взаимодействия
40%
7.6%
Полностью автоматическая обработка
Коэффициент расходов на
урегулирование
-

7. Кейсы ИИ Lemonade: Jim, Maya, Project Watchtower

AI Jim
AI Maya
Project Watchtower
Урегулирование заявлений
Клиентский сервис
Предупреждение катастроф
Система автоматической обработки и
проверки страховых заявлений клиентов.
Виртуальный помощник для обработки
регистрации и обслуживания клиентов.
Система предупреждения катастроф на
основе спутниковых данных.
Ключевые возможности :
Ключевые возможности :
Ключевые возможности :
Оценка заявления за 2 секунды
Полностью цифровой процесс регистрации
Проверка условий полиса
Обслуживание клиентов без агентов
Анализ спутниковых данных
NASA
Раннее обнаружение пожаров и штормов
Интуитивный интерфейс в приложении
Автоматические оповещения клиентов
Запуск десятков алгоритмов против
мошенничества
Впечатляющие результаты:
Впечатляющие результаты:
Впечатляющие результаты:
98% заявлений через ИИ
Защита при пожарах в Калифорнии
30% снижение затрат
71 семья переселена в безопасное место
2-3 сек. обработка
40% без вмешательства человека
3000 к л и е н т о в н а 1 с о т р у д н и к а
>90% у д о в л е т в о р е н н о с т ь
Ключевой вывод: Lemonade создает экосистему взаимосвязанных ИИ-решений, покрывающую весь страховой цикл — от продажи

8. Финансовая эффективность Lemonade

Ключевые финансовые показатели
7.6%
Сравнение коэффициентов расходов
На 2.4% ниже
Коэффициент расходов на урегулирование
убытков
$1.46 м л р д
рынка
Стартап-оценка
Рыночная капитализация
50%
Лидер рынка
Улучшение коэффициента убыточности за 2 года
Результат И И трансформации
-
Автоматизация заявлений снизила операционные расходы
ИИ-детекция мошенничества уменьшила убытки
Один сотрудник обслуживает ~3,000 клиентов (vs 150-450 у
конкурентов)
Динамика улучшения показателей

9. Китай: Ping An — технологический гигант

Китай : Ping An — технологический гигант
★
Масштаб трансформации
Стратегические технологические направления
Автострахование с компьютерным зрением
Позиция на рынке
Автоматическая оценка ущерба по фотографии с точностью более
90%. Время урегулирования сократилось с дней до минут.
2-й
по величине страховщик в мире после Berkshire Hathaway
Медицинское страхование и телемедицина
ИИ-анализ медицинских изображений за 1 секунду вместо 30 минут.
Прогнозирование вспышек заболеваний.
Инвестиции в технологии
$22 млрд
Биометрическая аутентификация
Верификация личности с точностью выше человеческого глаза для
безопасности транзакций.
на развитие ИИ, блокчейн и других технологий
Трансформация агентской сети
91% обучения агентов онлайн, сокращение времени андеррайтинга
с 5 дней до 15 минут.
Ключевая философия компании :
Трансформация из традиционного страховщика в
технологическую компанию с финансовыми лицензиями
"
"
— Пэтер Ма, председатель Ping An
2025
Внедрение ИИ в страховых компаниях

10. Кейсы Ping An: авто, медицина, биометрия

★
Кейсы Ping An: авто, медицина , биометрия
Автострахование с компьютерным
зрением
Автоматическая оценка ущерба автомобилей
с помощью ИИ и компьютерного зрения.
Медицинское страхование и
здравоохранение
Использование ИИ для анализа медицинских
изображений и прогнозирования
заболеваний.
Процесс:
Клиент фотографирует поврежденный
автомобиль
ИИ анализирует ущерб и рассчитывает
стоимость
Алгоритмы распознают попытки
мошенничества
Ключевые возможности:
Анализ рентгеновских снимков за 1
секунду вместо 30 минут
Прогнозирование вспышек
инфекционных заболеваний
Предупреждения клиентам о вспышках
заболеваний
Обучение системы:
1M+
Фотографий поврежденных автомобилей
90%+
Точность оценки ущерба
Результат:
Сокращение времени урегулирования с 5-7 дней
до нескольких минут
Биометрическая аутентификация
Безопасная верификация личности клиентов
и агентов с помощью биометрии.
Технологии:
Распознавание лица с точностью выше
человеческого глаза
Голосовая биометрия для верификации
Многоуровневая защита от подделок
Применение:
99.8%
Точность верификации личности
Преимущества:
30x
Ускорение диагностики заболеваний
Результат:
Более раннее выявление заболеваний и снижение
расходов на лечение
Результат:
Повышение безопасности аккаунтов и
сокращение мошенничества на 350+ млн юаней в
год

11. Результаты Ping An и других лидеров Китая

Финансовые и операционные достижения
Другие китайские технологические лидеры
Ping An
Ant Financial
Финтех-гигант группы Alibaba
Полностью автоматизированное микрострахование через
приложение Alipay
Более 500 млн пользователей страховых продуктов
Мгновенное оформление полисов и урегулирование претензий
Tencent WeSure
2.8 м л р д
2.0 м л р д
Увеличение доходов от продаж
(юаней)
Сокращение потерь от
просроченных премий (юаней)
350 м л н
32%
Сокращение мошенничества в
год (юаней)
Рост производительности
агентской сети
Ключевое достижение: Сокращение времени андеррайтинга с 5 дней
до 15 минут благодаря ИИ-автоматизации и цифровизации 91%
Страховая платформа в экосистеме WeChat
Команда из 60 ИИ-специалистов
Совместное проектирование страховых услуг на базе WeChat
Управление рисками андеррайтинга через данные WeChat
Общая тенденция: Китайские страховщики активно
трансформируются в технологические компании, инвестируя
значительные средства в ИИ и аналитику данных с акцентом на
мобильный опыт

12. Европа, Великобритания, Япония, развивающиеся рынки

Европа Великобритания Япония развивающиеся рынки
,
Великобритания
A
AXA
Ad
,
,
Европа
Активные последователи (65-75 баллов)
Aviva
Комплексная трансформация обработки страховых случаев
AXA UK
ИИ - чатботы и автоматизация обработки документов
Admiral
ИИ для оценки рисков и динамического ценообразования
Al
AXA
Zu
59% британских страховщиков с персоналом 100+ человек уже
используют генеративный ИИ
Япония
TM
S
Консервативный подход , выборочные пилотные проекты
Sompo
Партнерство с технологическими компаниями
Акцент на роботизацию процессов, меньше на продвинутый ИИ
Allianz
Пилотные проекты , строгое управление рисками
AXA Group
Централизованная ИИ - стратегия на глобальном уровне
Zurich
Фокус на соответствии регуляторным требованиям ЕС
Баланс между инновациями и соответствием EU AI Act
Развивающиеся рынки
Традиционные игроки (45-55 баллов)
Tokio Marine
Осторожные инноваторы (55-65 баллов)
IN
L
A
A
F
Начальная фаза (25-45 баллов)
Индия
Ранние пилотные проекты , фокус на мобильных решениях
Латинская Америка
Начальная фаза внедрения , партнерства с финтех
Африка
Преимущественно на стадии планирования

13. Ключевые выводы мирового опыта внедрения ИИ

Ключевые выводы мирового опыта внедрения И И
Рост производительности
Рост премий
10-20%
~2%
Пример: Трансформация
Улучшение коэффициентов
убыточности
1.5-3.0 п . п .
Лучшие практики внедрения
Aviva
Данные — это фундамент
85% неуспехов ИИ связаны с плохими данными и интеграциями.
Инвестируйте в качество данных до начала ИИ-проектов.
Aviva: комплексная трансформация
-23
-65%
×2
дня на оценку
ответственности
снижение жалоб клиентов
рост вовлеченности
сотрудников
ИИ как коллега, не замена — ключевой фактор успеха Aviva
Культура внедрения ИИ
Создайте центр передового опыта ИИ, совмещающий бизнес и
технологии. Обучайте и сопровождайте команды.
Начинайте с малого, но масштабируйте быстро
Выбирайте пилоты с высокой ценностью и низкой сложностью. После
успеха быстро масштабируйте решения.
По данным AiCore: 59% британских страховщиков с персоналом 100+
Управление И И - рисками

14. Блок 1. Технологическая готовность: почему это важно

Блок 1. Технологическая готовность : почему это важно
Пять ключевых аспектов технологической готовности:
85%
ИИ - проектов терпят неудачу
из-за плохих данных и интеграций , а не изза алгоритмов
Ключевой принцип :
Данные и
инфраструктура
Единая архитектура данных с
централизованным доступом
Качество данных
Очищенные , структурированные
и валидированные данные
Облачная
инфраструктура
Масштабируемые мощности для
ML-моделей
ИИ-модели — это "пожиратели данных". Без
качественных, интегрированных источников
информации даже лучшие алгоритмы будут
бесполезны.
Типичные проблемы:
Изолированные системы без интеграции
API и интеграции
Безопасность данных
Real-time взаимодействие между
Защита от специфических ИИрисков
системами
Неочищенные данные с ошибками
Отсутствие единой архитектуры данных
Практический факт:
Даже продвинутые страховщики тратят 60-80% времени ИИ-проектов на подготовку данных и
интеграции. Инвестиции в технологический фундамент — критическое условие успеха.
2025
Внедрение ИИ в страховых компаниях

15. Технологическая готовность: чек-листы

Технологическая готовность : чек - листы
Оценка по 5-балльной шкале для каждого аспекта готовности
Компонент
1. Данные и
инфраструктура
2. Качество данных
3. Облачная
инфраструктура
Уровень
5
5
5
4
4
4
5
Передовой
4
Продвинутый
3
Средний
2
Базовый
Описание и требования
3
3
3
2
2
2
1
1
1
✓
Централизованное хранилище с API-доступом (Озеро данных)
✓
Частичная централизация, основные системы интегрированы
✓
Данные в разных системах, но доступны через ETL
✓
Устаревшие системы, требуется интеграционная работа
✓
Данные в Excel/бумажном виде, ручные процессы
✓
>90% данных структурированы и очищены
✓
70-90% хорошего качества, регулярная очистка
✓
50-70% пригодны для анализа, некоторые проблемы
✓
30-50% требуют серьезных усилий по очистке
✓
<30% пригодны для ИИ, критические проблемы качества
✓
Полностью облачная с автомасштабированием
✓
Гибридная инфраструктура, облачное ML
✓
Частичное принятие облака
✓
Планы миграции в облако существуют
✓
Только локальная инфраструктура
1
Начальный

16. Технологическая готовность: чек-листы

Технологическая готовность : чек - листы
Оценка по 5-балльной шкале для каждого аспекта готовности
Компонент
4. API и интеграции
5. Безопасность
данных
Уровень
5
5
4
4
3
3
Передовой
4
Продвинутый
3
Средний
2
Базовый
1
Начальный
Описание и требования
2
2
1
1
Итоговая оценка технологической готовности:
___/25 баллов
2025
5
✓
RESTful API для всех ключевых
✓
систем
API для большинства систем, есть документация
✓
Некоторые API доступны, интеграция возможна
✓
Ограниченные варианты интеграции
✓
Никаких API, только интеграция через файлы
✓
Сквозное шифрование , специальный контроль ИИ
✓
Строгие практики безопасности , регулярный аудит
✓
Стандартные меры безопасности
✓
Базовая защита, некоторые уязвимости
✓
Значительные проблемы безопасности
85% ИИ-проектов терпят неудачу из-за плохих данных и интеграций
Внедрение ИИ в страховых компаниях

17. Блок 2. Организационная готовность: ключ к успеху

Блок 2. Организационная готовность : ключ к успеху
5 ключевых компонентов организационной готовности:
70%
ИИ-проектов провалены
из-за организационных факторов, а не
технологий
Поддержка руководства
И И стратегия
Спонсорство проектов на уровне C-suite, ресурсы,
приоритет
Четкая интеграция с бизнес -целями, дорожная карта
внедрения на 2-3 года
Бюджет и ресурсы
Готовность к изменениям
Выделенное финансирование на технологии , данные,
таланты, обучение
Культура принятия нового , управление
трансформацией ролей и процессов
-
Исследования IBM и McKinsey:
Технология — это только 30% успеха
ИИ- проектов. Остальные 70% — это
люди, процессы и культура.
Ключевой урок
Aviva:
Успех объясняется не только технологиями,
но и личным участием топ-менеджмента,
инвестициями в обучение и управлением
изменениями.
Управление рисками ИИ
Контроль алгоритмической предвзятости, этики, дрейфа моделей, объяснимости решений, регуляторного
соответствия

18. Организационная готовность: чек-листы

Организационная готовность : чек - листы
70% ИИ-проектов терпят неудачу из-за организационных факторов
Компонент
Уровень
5
Передовой
4
Продвинутый
3
Средний
2
Базовый
Описание и требования
✓ CEO лично продвигает ИИ-повестку компании
1. Поддержка
руководства
✓ Активная поддержка и участие топ-менеджмента
5
4
3
2
1
✓ Умеренная поддержка со стороны руководства
✓ Нейтральное отношение ("Попробуйте, посмотрим")
✓ Скептицизм руководства по отношению к ИИ
✓ Детальная ИИ-стратегия с бюджетом и 3-летней дорожной картой
✓ ИИ интегрирован в стратегию цифровой трансформации
2. ИИ-стратегия
5
4
3
2
1
✓ Общее понимание роли ИИ в бизнесе
✓ Фрагментарные ИИ-планы в отдельных департаментах
✓ Отсутствие систематической ИИ-стратегии
✓ >2% от оборота выделено на ИИ-инициативы
✓ 1-2% от оборота для ИИ-проектов
3. Бюджет и ресурсы
5
4
3
2
1
✓ 0.5-1% от оборота на ИИ
✓ <0.5% от оборота на ИИ
✓ Отсутствие выделенного бюджета на ИИ
1
Начальный

19. Организационная готовность: чек-листы

Организационная готовность : чек - листы
70% ИИ-проектов терпят неудачу из-за организационных факторов
Компонент
Уровень
5
Передовой
4
Продвинутый
3
Средний
2
Базовый
1
Начальный
Описание и требования
✓ Опыт успешных цифровых трансформаций
4. Готовность к
изменениям
✓ Хорошая организационная адаптивность
5
4
3
2
1
✓ Умеренная готовность к изменениям
✓ Некоторое сопротивление изменениям
✓ Консервативная культура, избегание изменений
✓ Формальный фреймворк управления ИИ-рисками
✓ Хорошее понимание ИИ-рисков и способов их снижения
5. Управление рисками
5
4
3
2
1
✓ Базовая осведомленность о специфических ИИ-рисках
✓ Поверхностное понимание рисков
✓ Отсутствие осведомленности о специфических ИИ-рисках
Итоговая оценка организационной готовности:
___/25 баллов
2025
Технология составляет только 30% успеха ИИ-проектов. Остальные 70% — люди и
процессы.
Внедрение ИИ в страховых компаниях

20. Блок 3. Кадровая готовность: компетенции для ИИ

Блок 3. Кадровая готовность : компетенции для И И
Ключ к успеху:
Не замещение людей , а их развитие и повышение продуктивности через ИИ - инструменты
Принципы кадровой готовности
Гибридная рабочая сила
ИИ берет рутинные задачи, сотрудники фокусируются на сложных
случаях, требующих эмпатии и критического мышления
Постоянное обучение
Программы переквалификации для андеррайтеров , аджастеров и
агентов по работе с ИИ-инструментами
Новые роли и должности
Ключевые роли для ИИ команд
-
Data Scientists
• Разработка
ML
Engineers
• Статистический
• Внедрение моделей
• Масштабирование
• Performance-
анализ
оптимизация
алгоритмов
• Создание моделей ML
Создание позиций обучающих инженеров , кураторов качества данных,
этических консультантов для ИИ-моделей
Пример
Aviva:
• Удвоение вовлеченности сотрудников благодаря подходу "ИИ как
коллега, не замена"
• Программа переобучения для 900 сотрудников при внедрении ИИпомощника заявлений
• Снижение текучести на 35% за счет новых карьерных путей с ИИ
Эксперты
UX/Продукт
• Доменные знания
• Валидация
результатов
• Интерфейсы для ИИ
• Диалоговый дизайн
• Пользовательские
• Интерпретация
тесты
моделей

21. Кадровая готовность: чек-лист по ИИ-компетенциям

Кадровая готовность : чек - лист по И И - компетенциям
Оценка наличия и развития ключевых ролей для ИИ
Техническая команда
Роль
Доменные эксперты
Уровень
Полная команда
3
Частичное покрытие
Дизайн и интерфейсы
1
Требуется развитие
Этика и безопасность
Ответственность и компетенции
Data Scientists
5
3
1
ML Engineers
5
3
1
Страховые эксперты
5
3
1
UX/UI дизайнеры
5
3
1
Специалисты по этике
ИИ
5
3
1
ИИ-менеджеры
продуктов
5
3
1
Итоговая оценка кадровой готовности:
5
Статистика, ML, анализ страховых данных
Разработка моделей для андеррайтинга , мошенничества, оттока
DevOps для ML, CI/CD, мониторинг моделей
Внедрение моделей в производственные системы компании
Андеррайтинг, оценка рисков, обработка заявлений
Валидация решений ИИ, предметная экспертиза
Дизайн интерфейсов с ИИ, разработка чатботов
Создание интуитивных взаимодействий клиентов и агентов с ИИ
Аудит предвзятостей, соответствие регулированию
Обеспечение справедливости и прозрачности решений ИИ
Бизнес-требования, ROI, приоритизация
Связь между ИИ-командой и бизнесом, определение roadmap
Успешная стратегия найма:
Управление

22. Выбор пилотных проектов и формирование команд

Критерии выбора пилотных проектов
Формирование проектной команды
Бизнес-спонсор
Проектный менеджер
C-level, обеспечивает ресурсы
Координация и процессы
Data Scientist
ML Engineer
Разработка ИИ-моделей
Внедрение в production
3 месяца до первых результатов
Эксперт по предметной
области
Compliance эксперт
2 основных KPI для измерения успеха
Бизнес-логика проекта
Ценность
Сложность
Скорость
Высокий потенциал ROI
Низкая техническая
сложность
Быстрая реализация (3-6
мес)
Правило "3-2-1" для пилотных проектов:
Регуляторное соответствие
1 конкретный бизнес-процесс для улучшения
Чатбот
Принципы эффективной ИИ-команды:
Высокий приоритет
Ценность : Снижение обращений
на 30%
Сложность : Низкая
Срок: 2-3 месяца
Автообработка
заявлений
Средний
приоритет
Кросс-функциональность (ИТ +
бизнес)
Agile-методология (2-недельные
спринты)
Ежедневный статус-мониторинг
Расположение команды в
едином пространстве
Регулярная демонстрация
прогресса
Вовлечение конечных
пользователей
Ценность : +15% скорости
обработки
Сложность : Средняя
Срок: 4-6 месяцев
2025
Внедрение ИИ в страховых компаниях

23. Итоговые рекомендации и дальнейшие шаги

Ключевые рекомендации
1. Технологическая готовность
План внедрения (6-12 месяцев)
1
Оценка готовности (1 месяц)
2
Выбор пилотных проектов (1 месяц)
3
Сбор команды (1-2 месяца)
4
Реализация MVP (2-3 месяца)
5
Измерение и корректировка (1-2 месяца)
Начните с аудита качества данных и создания единой архитектуры. Без
фундамента данных ИИ-модели не смогут функционировать эффективно.
2. Организационная готовность
Обеспечьте поддержку руководства на самом высоком уровне и создайте
формальную ИИ-стратегию с конкретными KPI и сроками.
3. Кадровая готовность
Инвестируйте в обучение и найм ключевых специалистов. Продвигайте ИИ
как инструмент усиления человека, а не замену.
Критические факторы успеха:
Качество данных
6
Вовлечение сотрудников , коммуникация , обучение
Измеримые результаты
Заранее определенные KPI и отслеживание ROI
Фокус на высокой бизнес-ценности при минимальной сложности.
Например, чатбот или автоматизация заявлений.
Сформируйте кросс-функциональную команду: ИТ, бизнес, аналитика,
соответствие требованиям.
Разработайте минимально жизнеспособный продукт и тестируйте на
ограниченной группе пользователей.
Отслеживайте KPI, собирайте обратную связь, вносите улучшения.
Регулярный аудит, единая система именования, валидация
Управление изменениями
Проведите аудит по трем блокам готовности. Определите сильные
стороны и пробелы.
Масштабирование (3+ месяца)
Разверните успешные пилоты на всю компанию , начните новые
инициативы .
Помните:
Лучшие компании как Lemonade и Ping An начинали с малого, но с
четким видением и последовательным исполнением. Терпение и

24. Железо для AI-решений: RAG и ASR

Техническая презентация
Конфигурация для протоколирования звонков и поиска по базе знаний

25. Задачи проекта

Протоколирование и оценка работы операторов (ASR)
Транскрибирование звонков , автоматический анализ качества и оценка работы
Поиск по базе знаний и генерация документации (RAG)
Быстрый поиск информации и автоматическое создание внутренних документов
Основные требования к решению
• Высокая производительность при пиковых нагрузках
Отказоустойчивость критически
• Разумная экономика владения vs облако (TCO)
Масштабируемость под будущие
важных узлов
задачи

26. Детальная конфигурация железа

Узел
GPU-сервер LLM
(RAG)
Конфигурация
Обоснование расчёта
Прайс
3 × RTX 4090 24 GB + AMD Threadripper 7980X, 256
GB
DDR5, 2 × NVMe 4 ТБ
• Qwen-1.5-14B INT4 весит ≈ 8 GB, на карте
остаётся
≈ 1,34 М ₽
~15 GB под кэш
• Одна 4090 отдаёт ~1 RPS при 600 ток./запрос
• Пик RAG = 90 запросов/мин → 1.5 RPS ⇒ 2
GPU
хватает
• Третья GPU как «горячий резерв» + для тестов
GPU-сервер
ASR
2 × RTX 4090 24 GB + EPYC 9354, 128 GB
RAM
≈ 0,80 М ₽
• Whisper Large v3 на 4090 даёт ~68× real-
time
• ≈ 70 потоков/карту
• Пик = 120 одноврем. звонков ⇒ 2 GPU c
20%
Storage-node
Сеть / ИБП
100 TB NVMe (8 × 14 TB U.2, RAIDZ2)
2 × 100 GbE TOR + IB
200 Gb + UPS 10 кВт
Стойка + энергия
запасом
1,0 М ₽
3 года расшифровок + логов + векторов
0,8 М ₽
Нужен < 1 мс hop между
узлами
42U, 7 кВт, PUE 1.4
0,6 М ₽
Tier III DC, резерв. охлаждение
CAPEX
итого
По сравнению с прошлой версией мы сократили LLM-GPU с 4 → 3 шт (код-ассистент убран) и оставили 2 GPU для ASR. Получилось на ~0,2 М ₽ дешевле и хватает на оба кейса с запасом 20–
30%.
≈ 4,6 М ₽

27. Обоснование расчёта конфигурации

Расчёт GPU для LLM
Обоснование выбора
(RAG)
CPU
• Qwen-1.5-14B INT4 весит ≈ 8 GB, на карте остаётся ~15 GB под
кэш
• Одна RTX 4090 отдаёт ~1 RPS при 600 ток./запрос (внутренний бенч)
• 64-ядерный Threadripper 7980X ускоряет предобработку данных
• Для LLM-сервера: эффективная векторизация текстов для RAG
• Пик RAG = 90 запросов/мин → 1.5 RPS ⇒ 2 GPU хватает для
рабочей
• Для ASR-сервера: EPYC 9354 обеспечивает параллельную обработку
аудио
• TinyBERT и другие CPU-модели выполняются параллельно с
нагрузки
• Берём третью GPU как «горячий резерв» + для тестов новых
моделей
GPU-
Расчёт GPU для
операциями
Требования к памяти и хранению
ASR
• Whisper Large v3 на RTX 4090 даёт ~68× real-
• LLM-сервер: 256 GB DDR5 для кэширования векторных
индексов
time
• Одна карта обслуживает ≈ 70 потоков одновременно
• ASR-сервер: 128 GB RAM для буферизации потоковых данных
• Пиковая нагрузка = 120 звонков ⇒ 2 GPU с 20%
запасом
• Хранилище: 100 TB NVMe рассчитано на 3 года работы
GPU
2
GPU
3
GPU
4
Расширение
Основной
Резерв + тесты
RAG
ASR 70 потоков
Whisper v3
ASR 70 потоков
Whisper v3
Место для
RAG Qwen14B INT4
GPU
1
доп. карт

28. Быстрая проверка нагрузки

Протоколирование звонков
RAGпоиск
120
90
параллельных звонков в пике
запросов в минуту
Подъём на 1 × 4090: ~70 потоков
Подъём на 1 × 4090: ~45 запросов/мин
Метрика
Протоколирование
RAG-поиск
Пиковая параллель
120 звонков
90 запросов/мин
Обеспечение
Два сценария безопасно работают одновременно
Требуемые GPU
2 × RTX 4090
2 × RTX 4090 (1 рабочая + 1 резерв)
Вывод
Конфигурация с 3 × RTX 4090 для LLM-сервера и 2 × RTX 4090 для ASR обеспечивает покрытие обоих сценариев использования с запасом 20-30%,
что гарантирует стабильность работы в периоды пиковой нагрузки и наличие горячего резерва для непрерывности сервиса.

29. Архитектура и стеки решений

ASR-стек
Whisper-cpp + Vosk для потокового распознавания речи в текст
CPU-скрипт для VAD, разметки тишины, подсчёта
перебиваний
ML-модель (TinyBERT) на CPU для классификации
качества обслуживания
GPU-серверы (3+2
RTX
4090)
ASR-процессинг
RAG-система
RAG-стек
Qwen-14B INT4 + Qdrant для векторного
Whisper +
TinyBERT
Qwen-14B +
Qdrant
поиска
• Запрос → embedding (RuMiniLM), топ-N документов
Storage 100TB
• Формирование prompt-шаблона c документами для LLM
• Вывод: готовое ТЗ/ответ с цитатами из базы знаний
Docker Compose + gRPC
Оркестрация
Сеть 100 GbE + IB
200
Docker Compose для управления контейнерами
• Сеть 100 GbE + gRPC для высокоскоростной связи между
узлами
Gb

30. Экономика решения

Статья расходов
Стоимость
GPU-серверы (5 × RTX 4090)
1,1 млн ₽
CPU (Threadripper 7980X, EPYC 9354)
0,8 млн ₽
Хранилище (100TB NVMe)
1,0 млн ₽
Сеть/ИБП, стойка , энергия (год)
1,7 млн ₽
CAPEX итого
4,6 млн ₽
Окупаемость vs облако
~7 месяцев
при круглосуточной нагрузке
Сравнение с облачным решением
Облако (A100-
≈ 745 ₽/час
80GB)
Собственная инфраструктура
* При амортизации за 24 месяца и учете эксплуатационных расходов
≈ 106 ₽/час*
Запас по мощности
150k RAG-ответов + 120 звонков/сутки
с возможностью масштабирования
Открытое ПО
Apache 2.0 /
MIT
без роялти и vendor-lock-in

31. Возможности масштабирования и выводы

Покрытие требований
• Решение полностью закрывает оба кейса с запасом мощности 20–
30%
• Обеспечивает одновременно до 120 звонков real-time и быстрые
RAG- ответы
120
Текущая конфигурация:
3 × RTX 4090 (RAG) + 2 × RTX
4090 (ASR)
Масштабируемость
одновременно
Простое добавление
Масштабирование:
+1 GPU для новых
1 GPU в тот же сервер
задач
Высокая
производительность
Ключевые преимущества
Преимущества решения
• Всё ПО — OSS (Apache 2.0/MIT), без
роялти
• Отсутствие vendor-lock-in, полный контроль над данными
• Высокая окупаемость по сравнению с облачными решениями (~7
мес.)
в сутки
GPU
• Для новых задач (например, код-ассистент) достаточно добавить
• Запас по питанию и месту уже заложен в текущей конфигурации
150k+
RAG-ответов
звонков
Оптимальная
экономика владения
Отказоустойчивость