presentation_VKR

1.

Ербанов
ВКР, 2026 г.
НЕЙРОСЕТЕВАЯ
ЛОКАЛИЗАЦИЯ ОСОБЫХ
ТОЧЕК
НА ИЗОБРАЖЕНИЯХ
НИЗКОГО РАЗРЕШЕНИЯ
Python / PyTorch
НГТУ НЭТИ
nstu.ru
,
www.nstu.ru

2.

АКТУАЛЬНОСТЬ
Задача поиска особых точек (keypoints) — одна из базовых в компьютерном зрении.
Применения: видеонаблюдение, навигация роботов, биометрия, медицина.
Проблема: на изображениях низкого разрешения (96×96 пикс.) классические методы
(Harris, FAST, SIFT, ORB) теряют точность — детали исчезают, граней почти нет.
Решение: нейросетевой подход на основе глубокого обучения (CNN).
www.nstu.ru

3.

ЦЕЛЬ И ЗАДАЧИ РАБОТЫ
Цель: разработать нейронную сеть для нахождения 15 ключевых точек лица
на изображениях низкого разрешения (96x96 пикселей).
Задачи:
1. Изучить существующие классические и нейросетевые методы
2. Выбрать датасет и провести предобработку данных
3. Разработать архитектуру сверточной нейронной сети (CNN)
4. Обучить модель с контролем на валидационной выборке
5. Оценить качество по метрикам MSE, MAE и евклидовой ошибке
6. Сравнить с базовой моделью (baseline)
www.nstu.ru

4.

ДАННЫЕ И ПОСТАНОВКА ЗАДАЧИ
Датасет: Kaggle Facial Keypoints Detection.
Изображения: 96×96 пикселей, оттенки серого (1 канал).
Разметка: 15 ключевых точек лица (углы глаз, брови, нос, губы).
Каждая точка — пара координат (x, y). Выход модели — вектор из 30 значений.
После удаления неполных строк: 2140 изображений.
Разбивка: 1712 — обучение, 428 — валидация (80/20).
www.nstu.ru

5.

АРХИТЕКТУРА НЕЙРОННОЙ СЕТИ
Тип: сверточная нейронная сеть (CNN) для регрессии координат.
Структура:
Вход: тензор 1 x 96 x 96 (серое изображение)
Блок 1: Conv2d(1, 32, 3x3) + ReLU + MaxPool2d(2x2)
Блок 2: Conv2d(32, 64, 3x3) + ReLU + MaxPool2d(2x2)
Блок 3: Conv2d(64, 128, 3x3) + ReLU + MaxPool2d(2x2)
Flatten -> Linear(512) -> ReLU -> Dropout(0.3)
Выход: Linear(30) — 15 пар координат (x1,y1,...,x15,y15)
Параметров: ~9.5 млн. Нормализация координат и пикселей: [0, 1].
www.nstu.ru

6.

ПРОЦЕСС ОБУЧЕНИЯ
Функция потерь: MSE (среднеквадратичная ошибка по координатам).
Оптимизатор: Adam, скорость обучения = 0.001.
Батч: 32 изображения. Ранняя остановка (patience = 10 эпох).
Координаты нормализованы в диапазон [0; 1] перед обучением.
Лучшая модель сохраняется автоматически (best checkpoint).
www.nstu.ru

7.

РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТА
Средняя евклидова ошибка локализации на валидационной выборке:
Нейросеть CNN: 1.98 пикселя (~2.1% от размера изображения)
Baseline (среднее по train): 3.61 пикселя
Улучшение относительно baseline: ~45%
Визуальная проверка показала: предсказанные точки расположены
близко к истинной разметке в большинстве изображений.
Вывод: CNN успешно извлекает признаки из низкокачественных изображений.
www.nstu.ru

8.

ЗАКЛЮЧЕНИЕ И ПЕРСПЕКТИВЫ
Разработана CNN для локализации 15 ключевых точек лица на изображениях 96×96.
Средняя ошибка: 1.98 пикселя ≈ 2.1% от размера изображения.
Baseline (без обучения): 3.61 пикселя — модель лучше на ~45%.
Перспективы: применение heatmap-подхода, аугментация данных,
использование всех 7049 изображений (маскирование функции потерь).
Прикладное значение: базовый модуль для систем компьютерного зрения.
www.nstu.ru