presentation

1. Разработка системы поиска товара по изображению

Выполнил: обучающийся 141-МКо, Сельков Матвей Николаевич
Научный руководитель: доцент, кандидат физико-математических наук
Котелина Надежда Олеговна

2.

Актуальность
Актуальность данной работы
обусловлена стремительным
ростом электронной
коммерции и изменением
потребительских привычек.

3.

Цель и задачи
Цель: разработать мобильное приложение для поиска обуви в
маркетплейсе по имеющимся фотографиям.
Задачи:
1) Изучить модели машинного обучения и выбрать наиболее подходящую для
поставленной цели.
2) Найти и упорядочить набор данных с маркетплейса связанных с обувью.
3) Реализовать модуль извлечения векторных признаков изображений на
основе предобученной нейронной сети ResNet50.
4) Разработать серверную часть на Python для индексации изображений и
поиска ближайших векторов с помощью FAISS
5) Написать мобильное приложение на языке Kotlin для эксплуатации
обученной модели.
6) Провести экспериментальную оценку точности работы приложения.

4.

Постановка задачи
Необходимо разработать приложение для нахождения
визуально похожих товаров обуви по фотографии пользователя.
Приложение должно иметь клиентскую и серверную части.

5.

Преимущества визуального поиска
Стоит начать с того, а зачем нам вообще нужны методы компьютерного зрения
для поиска того или иного товара, если в маркетплейсах прекрасно работает
текстовый поиск. В какой-то степени это действительно правда, но стоит
присмотреться к деталям. Представим себе ситуацию, что есть конкретный
товар в интернет магазине. Пусть это будут кроссовки "Nike Air Max 90 White
Black Leather". Название товара довольно длинное и написано на английском,
что добавляет сложности к составлению корректного запроса. Скорее всего,
пользователь отправит запрос по типу: “черные кроссовки найк” или “кеды
Nike” и так далее. Пользователь должен хорошо разбираться в моделях той или
иной вещи, что является нетривиальной задачей для того, кто хочет просто
купить понравившуюся вещь или что-то похожее на нее. Именно в таких
ситуациях к нам приходят на помощь алгоритмы компьютерного зрения.

6.

Компьютерное зрение

7.

Нейронные сети

8.

Сверточные нейронные сети

9.

Архитектура ResNet
ResNet (Residual Network) была предложена командой Microsoft Research в 2015 году
и стала революционной в области глубокого обучения. Главное новшество —
введение остаточных (skip-connection) связей, которые позволяют обучать очень
глубокие сети (до 152 слоёв) без проблемы затухания градиента. Остаточный блок
можно записать как: