Система поддержки принятия решений на основе искусственного интеллекта в задачах медицины

1.

Разработка системы поддержки принятия решений на основе
технологии объяснительного искусственного интеллекта
в задачах персонализированной медицины
Руководитель проекта: доц. Аверкин Алексей Николаевич,
асс. Волков Егор Николаевич

2.

Цель – повышение доверия клиницистов к системе поддержки принятия решений на основе ИИ за
счёт использования методов объяснения результатов работы ML и DL моделей. Применение методов
объяснительного ИИ позволяет получить интерпретацию (визуальную, текстовую) для полученной
непрозрачной моделью результата.
Интерпретируемость (англ. Interpretability)– пассивная интерпретируемость устройства модели
или предсказания на объекте.
Объяснимость
(англ.
Explainability)
–
активная
генерация
дополнительных выходных данных для объекта или модели в целом.
выходных
объяснений
как

3.

Задача 1. Разработка ансамбля моделей глубокого обучения для задач
анализа медицинских изображений с применением методов
объяснительного ИИ
• Основа ансамбля - свёрточные нейросети.
Варианты: своя архитектура, своя архитектура +
готовые модели (библ. Keras Applications),
готовые модели.
• В случае использования готовых моделей
необходимо использовать трансферное обучение.
• Для подачи на сеть необходимо подобрать метод
подготовки изображения (для разных видов мед.
изображений они разные).
Архитектура VGG-19
DenseNet для классиф. цифр
Операция свёртки на
примере изображения

4.

Задача 1. Разработка ансамбля моделей глубокого обучения для задач
анализа медицинских изображений с применением методов
объяснительного ИИ
Техники ансамблирования моделей
Визуальное объяснение задачи
классификации с использ. Grad-CAM

5.

Задача 2. Исследование возможностей моделей визуальных
трансформеров в задачах анализа медицинских изображений
Исследовать возможности существующих моделей
визуальных трансформеров для задачи классификации
или сегментации медицинских изображений, либо
попробовать разработать свою архитектуру на основе
готовых моделей.
Архитектура визуального трансформера
Принцип работы визуального трансформера

6.

Исследование возможностей моделей глубокого обучения в задаче
генерации автоматического описания медицинских изображений
Сравнительное исследование различных типов ИНС для задачи
автоматической генерации описания медицинского изображения.
Цель – выявить или создать решение с высокой точностью генерации
описания.
Пример решения

7.

NLP – задачи в медицине
Использование модели BERT и её вариаций для задач обработки естественного языка в сфере медицинских текстов.
Предлагается попробовать решить одну из двух задач с платформы MedBench:
1. RuMedDaNet – задача на оценку способности модели "понимать" медицинский текст и правильно отвечать на
уточняющие вопросы.
2. RuMedTest – задача на проверку "знаний" модели в рамках специальности "Общая врачебная практика". Модель
должна выбрать один из четырех предложенных ответов на вопрос.