Мониторинг сельскохозяйственных объектов с использованием технологий IoT (3)

1. Мониторинг сельскохозяйственных объектов с использованием технологий IoT

Докладчик: Макаровских Татьяна Анатольевна,
доктор физико-математических наук, доцент
профессор центра «ВиртУм»

2. Цель проекта

• Разработка новых моделей, методов, алгоритмов и программных
инструментов для проведения интеллектуального мониторинга
сельскохозяйственных угодий
• Создание интеллектуальной системы для высокоточного
внесения удобрений и анализа состояния сельскохозяйственных
угодий в режиме реального времени
• Прогнозирование урожайности и выявление проблемных
участков землепользования
2

3. Задачи проекта

• Создание алгоритмов анализа изображений, заснятых на камеру
в процессе проведения мониторинга
• Передача результатов анализа на устройство управления
• Разработка программного модуля для анализа проблемных
земель сельскохозяйственного назначения с использованием
данных дистанционного зондирования
3

4. Требования

• Полученные алгоритмы должны
• предполагать обработку в т.ч. данных большого объема за сравнительно
короткие сроки (в реальном времени)
• предлагать приемлемое для заказчика решение
• Разработка программного обеспечения на основе технологии
Интернета вещей, позволяющего
• получать и обрабатывать изображения сельскохозяйственных объектов
• анализировать динамические процессы
4

5. Задача 1. Детекция сорной растительности

• Разработка и обучение масштабируемых нейросетевых моделей
для детекции и анализа объектов с/х назначения
• Создание и разметка собственного тестового набора данных
• Разработка алгоритма для классификации объектов
• объекты, представляющие собой препятствие для движения робота,
проводящего мониторинг
• объекты интереса, которые анализируются по полученным снимкам
5

6. Схема функционирования

6

7. Задача 2.

• Разработка метода мониторинга с/х угодий с помощью компьютерного
зрения и алгоритмов метаэвристической оптимизации
• Разработка гибких алгоритмов, которые можно было бы легко адаптировать
для использования с данными различных устройств, оснащенных в том
числе и спектральными камерами
• На начальном этапе распознавания предполагается использовать CNN,
переобучаемую для имеющихся баз данных и эталонных снимков
• Для выявления изменений на изображениях дистанционного зондирования
будет использоваться двухсекционная модель нейронной сети
• В первой секции работает CNN, выполняющая фиксации границ объектов и
определение переднего плана и фона входных изображений
• Во второй секции CNN извлекает объекты из предложений-кандидатов, классифицирует
эти объекты и генерирует ограничивающие рамки и ярлыки с названиями объектов
• Для пространственно-временного прогнозирования состояния угодий будет
использоваться LSTM сеть, которая включает сверточные структуры как при переходе от
ввода к состоянию, так и при переходе от состояния к состоянию
7

8. Разметка датасета «Пшеница vs сорняки»

• Разметить изображения пшеницы (состояние – середина июня –
примерно 4-6 листьев)
• Определить, какие из сорных растений наиболее опасны для
пшеницы, какие уничтожаются
• Определить, на какой стадии развития эти сорняки находятся в
середине июня в Уральском регионе
• Разметить изображения сорняков
8