Лотки. Задача по предсказанию лотка, в который положили документы

1.

Максим
Специалист по Machine Learning
Задача по предсказанию
лотка, в который
положили документы

2.

2

3.

Заранее неизвестно количество
• Вручную выделить Bounding Box каждого лотка
Написать интерфейс на Qt, либо на другом фрэймворке.
Заранее выделить на камере координаты мест, где могут
находится лотки
• Использовать CV, чтобы детектировать каждый лоток
Обучить нейросеть, которая будет детектировать (сегментировать)
лотки на изображении.
3

4.

Лотки могут переместить
• Закрепить их на столе при помощи различных средств
Клей, скотч
• Создать уникальный элемент, который относится только к
определенному лотку и использовать детекцию
Цвет
Знак
4

5.

Необходимо заранее
проидентифицировать каждый лоток
• Заранее в приложении выделить место, где находится
определенный лоток
Используя Bounding Box
• Идентификация по цвету или знаку.
5

6.

Могут положить в один лоток, потом
в другой
• Заранее попросить сотрудников класть документы в
правильный лоток
• Создать трекер, и отслеживать пересечения Bounding Box-ов
лотков и документов.
Когда документ лежал в одном лотке, а после он пересекся с
другим лотком, значит его переложили
6

7.

Могут положить в лоток, потом
убрать
• Заранее попросить сотрудников подумать, прежде чем класть
документы
Детектировать Bounding Box-ы документа и лотка и следить за
перемещением документа
Если документ лежал в лотке, и после его Bounding Box вышел из
лотка, значит его убрали.
7

8.

Момент, когда документы будут
забирать из лотка
• Рассмотреть как предыдущую проблему
• Выключить камеру
8

9.

Могут случайно передвинуть
• Грамотно закрепить камеру
• Детектировать объекты
Тогда, возможно, мы не сильно будет зависеть от перемещения
объектов и камеры
9

10.

Может быть отключена и включена
• Грамотно обработать
Если цвет пикселей резко стал черным, значит воспринимать это
как случайное отключение
10

11.

Уведомление пришло одному
человеку, а документ положили в
другой лоток
• Заранее попросить сотрудников класть документы в
определенный лоток
• Сделать задержку на отправление уведомлений
11

12.

Уведомление пришло одному
человеку, а документ из лотка
убрали
• Заранее попросить сотрудников, чтобы думали, прежде чем
положить документ в лоток
• Сделать еще одно уведомление, что документ убрали
• Сделать задержку на отправление уведомления
12

13.

Возможные решения
Первый вариант
• При помощи графического интерфейса или стороннего приложения выделить области (Bounding Boxы), где будут находится определенные лотки.
• Написать интерфейс на Qt, либо других фреймворках
• Выделить координаты вручную, точно зная где будут находится лотки
• Грамотно закрепить камеру и лотки на месте.
• Привязать эти области к определенному лотку (человеку).
Обучить нейросеть детектировать документы на изображении.
• Отслеживать пересечения лотков и документов. (учитывая краевые случаи)
• Создать телеграмм бота (либо что-то еще), при помощи которого будут отправляться уведомления
нужному человеку при появлении документа (либо если документ присутствует). Учитывая краевые
случаи.
13

14.

Возможные решения
Второй вариант
• Сделать уникальные лотки, либо добавить к ним опознавательные знаки (рисунки).
• Обучить модель детектировать каждый отдельный лоток, в зависимости от его «уникальности».
• Обучить модель детектировать документы.
• Отслеживать пересечения документов и лотков, учитывая краевые случаи.
• Создать телеграмм бота (либо что-то еще), при помощи которого будут отправляться уведомления
нужному человеку при появлении документа (либо если документ присутствует). Учитывая
краевые случаи.
14