Нейросетевая сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА серии Электро Л

1.

Нейросетевая сегментация и прогнозирование карт снега и
облачности по данным с метеорологических КА серии Электро Л
Выполнил: Беляков Никита Викторович,
5й курс 501 группа специалитета ФКИ МГУ
им. М.В. Ломоносова
Научный руководитель: доктор физ.-мат. наук А.М. Савчук
2023

2.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Цели и задачи работы:
Сегментация зон облачности и снежных покровов,
попиксельная привязка к географическим координатам и
карте высот изображений, а также прогнозирование
карты облачности и снега по времени со снимков,
получаемых аппаратурой МСУ-ГС с геостационарных
метеорологических спутников серии Электро Л.
КА Электро Л3 и его полезная нагрузка
Зона съемки КА Электро серии Л
Изображение Земли с EЛECTRO Л1 в первых
3-х каналах МСУ-ГС (разрешение 1 км)

3.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Формат и описание данных аппаратуры МСУ-ГС:
Изображение Земли по каждому из каналов с КА Электро Л:
0.5-0.65, 0.65-0.8, 0.8-0.9, 3.5-4.0, 5.7-7.0, 7.5-8.5, 8.2-9.2,
9.2-10.2, 10.2-11.2, 11.2-12.5 мкм соответственно.

4.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Формат данных
после обработки:
• Данные с каналов
МСУ-ГС из формата
.L15 переводятся в
формат HDF5 с
преобразованием в
значения radiance для
видимого спектра и
Brightness Temperature
(BT) для ИК каналов.
• Дополнительно
осуществляется
привязка пикселей к
географическим
координатам
• На данный момент
съемки вычисляется
матрица углов
коррекции по углу
Зенита Солнца.
HDF5
формат
хранения

5.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Формат выходных данных и постановка задачи:
После обработки мультиспектральных снимков нужно получать маски облачности и снега в каждый момент выдачи
новых снимков:

6.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Другие методы, подходы, алгоритмы:
Пороговое разделение пикселей облачности и снега по
нормированному индексу снега NDSI
Для выделения
масок облачности и
снега используются
статистические
методы и пороговые
классификаторы.
Все они имеют ряд ограничений,
сильно зависят от конкретного
участка съемки, сезона и времени
суток, настраиваются вручную и
показывают неточные результаты
при отсутствии необходимых узких
каналов в спектре SWIR (1300 нм).
Получение масок
облачности за счет
Вейвлет (WaveЛet)
преобразования
Пороговое вычленение масок облачности
из 6 и 9 ИК каналов ЭЛЕКТРО Л1

7.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Датасеты снимков с других спутников и анализ имеющихся работ:
Маски облачности
Датасеты с КА LANDSAT 8:
• 38-Cloud
• 95-Cloud
SPARCS
Маски 8 классов местности в
т.ч. снега, облачности и их
теней для снимков в высоком
разрешении (30*30 м)
Прогноз карты облачности по времени для разных типов облаков
CloudCast Dataset

8.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Датасеты снимков с других спутников и анализ имеющихся работ:
Электро Л Textures
Levir_CS
Маски снега и облачности с той же аппаратуры (МСУ-ГС) и в том же
разрешении (4*4 км), класс присваивается целиком всей текстуре 11*11
пикселей
Маски снега и облачности с китайского КА
ДЗЗ Gaofen-1 в разрешении 160*160 м в
видимом и ближнем ИК диапазонах +
привязка к географическим координатам и
карте высот
The Shuttle Radar Topography Mission (SRTM)
Фрагмент карты высот SRTM для снимка с
КА ДЗЗ Gaofen-1

9.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Проблемы датасетов снимков ДЗЗ с других спутников:
38-Cloud
95-Cloud
SPARCS
CloudCast
Электро Л
Textures
Levir CS
Неточная разметка облачности
Нет разметки для снега
Черные скосы изображений из-за смены проекции снимков
Другое разрешение съемочной аппаратуры КА (30 м)
Спектры каналов отличаются от аппаратуры Электро Л
Мало экземпляров в выборке (всего 80 изображений)
Другое разрешение съемочной аппаратуры КА (30 м)
Спектры каналов отличаются от Электро Л
Нет самих изображений, только маски облаков
Другое разрешение съемочной аппаратуры КА (250 м)
Частота выдачи снимков отличается от Электро Л
• Слишком мелкие текстуры размера 11*11 пикселей
• Класс снег\облако присваивается всей текстуре 44 км
• Данные в значениях radiance и brightness temperature
Датасет не покрывает всего Земного шара
Другое разрешение съемочной аппаратуры КА (160 м)
Спектры каналов отличаются от Электро Л

10.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Проблемы датасетов снимков с других спутников и примеры:
38-Cloud
95-Cloud
Неточная разметка в датасете
CloudCast
Маски 11 типов облачности
Эволюция карты облачности

11.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Проблемы датасетов снимков с других спутников и примеры:
predict
Manually labeled mask
Электро Л Textures: неполные текстуры с
разметкой surface, snow, clouds
Levir CS:
Сильный
дисбаланс
классов
Самый
подходящий
датасет
Некоторые
экземпляры классов
очень схожи

12.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Вход для нейросети: мультиспектральные данные и дополнительные каналы геоинформации:
+
+
Карты высоты, долготы и широты для спутникового снимка
Зависимости
распределения
облачности и снега от
широты, долготы и
высоты поверхности
Земли

13.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Метрики и оценки качества, результаты изученных работ :
Результаты классификатора для
текстур 11*11 с Электро Л2:
Архитектура CNN классификатора для текстур Электро Л2:
Jaccard Index
(Intersection over union):
Разбиение изображения с
Электро Л1 на патчи
224*224 пикселя
False Alarm Ratio:
Ранее были лишь исследования с применением сверточных классификаторов к
данным с Электро Л2 (классификация структур 11*11 пикселей на 3 класса), где
основной метрикой качества был F1-score. Для работ по сегментации облачности и
снега на датасетах Levir_CS, SPARCS и др. также была использованы метрики mean
IoU, IoU_snow, IoU_cloud, FAR (False Alarm Ratio), для датасетов 38-Cloud, 95-Cloud –
pixel Accuracy, Kappa-score.

14.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Метрики и результаты изученных работ:
Архитектура автоэнкодера GeoInfoNet
Результаты GeoInfoNet на датасете L8_Biome с КА Landsat-8 :
Сравнение модели GeoInfoNet с другими моделями на датасете
Levir CS по метрикам IoU, F1-score, FAR (False Alarm Ratio)
Сравнение результатов модели
CloudNet+ с другими моделями на
датасете Cloud-38

15.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Используемые модели и алгоритмы:
Применяемые 2 архитектуры модели – сверточные автоэнкодеры, являющиеся разновидностями моделей U-Net++
и DeepLabV3+ (segmentation-models-pytorch). Для улучшения сходимости обучения используются аугментации, не
меняющие спектр в каналах: вращения, отражения (группа D4), ряд геометрических аугментаций (дисторсия,
афинные преобразования, растяжения). Также используется fancy PCA для R, G, B каналов. Выбор наилучшей
модели в процессе обучения происходит на основе IoU на валидации. Используемые optimizers: AdamW, Ranger21.
DeepLabV3 architecture
+
U-Net architecture

16.

Сегментация и прогнозирование карт снега и облачности по данным с
метеорологических КА серии Электро Л
Промежуточные результаты моделей
(baseline):
Предобработка данных с Электро Л под формат,
схожий с изображениями с LANDSAT-8:
изображения Земли 11 136*11 136 пикселей
разделены на патчи размера 384*384 пикселей
создана базовая модель (baseline) U-Net для
разметки облачности и снега для каждого патча
с объединением в единую маску для всего
снимка Земли 11 136 на 11 136 пикселей
Обучение на 2 класса (cloud, bg) на датасете 38Cloud и на 3 класса (+snow) на SPARCS и transfer
learning на снимках Электро Л
График BCELoss при
обучении U-Net на 38-Cloud
Предикт на снимке с
Электро Л1 после 70 эпох
обучения U-Net на 38-Cloud
Выявленные проблемы:
• Мало данных в SPARCS (80 изображений)
• Разрешение 30 м и исходный размер сэмплов 1000*1000
пикселей не позволяет понижать разрешение до нужного 1км
Без обучения на класс снега (38-Cloud) модель всегда ложно
размечает снег как облачность
Другие диапазоны спектральных каналов на LANDSAT-8
Артефакты в теневых зонах
Валидация на снимках с
Landsat-8 после обучения
U-Net на SPARCS

17.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Промежуточные результаты (Электро Л2 classifier):
Предикт на снимке с Электро
Л3 после 115 эпох обучения
CNN-clf на Электро Л2
Textures
Архитектура CNN классификатора для Электро Л
Textures
График CrossEntropyLoss и метрики F1score при обучении CNN-clf на Электро Л2
textures (первые 100 эпох обучения):
Результаты метрики F1score CNN-clf на Электро Л
Textures на 1097-й эпохе:

18.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Промежуточные результаты (LevirCS segmentation, U-Net++):
Графики метрик
F1-score и IoU при
обучении U-Net++ на
Levir_CS на первых
30 эпохах и 57-97
эпохах
соответственно:
Валидация U-Net++ на снимках с Levir_CS после 78 эпох обучения
Предикт на снимке с
Электро Л3 после 78
эпох обучения U-Net++
на датасете Levir_CS
Используемая
функция потерь
при обучении
(комбинация
DiceLoss и
FocalLoss):
Результаты F1-score, IoU модели U-Net++ на тестовой
выборке с Levir_CS после 78 эпох обучения

19.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Промежуточные результаты (Levir CS segmentation, DeepLabV3+):
Валидация DeepLabV3+ на снимках с
Levir_CS после 47 эпох обучения
Zoom-in предикта в индийском
океане на снимке Электро Л3
Предикт DeepLabV3+ на
патчах снимка с Электро Л3
после 47 эпох обучения
Эмпирический подбор коэффициентов разъединения 3-х каналов видимого и
ближнего ИК спектров Электро Л в 4 канала B, G, R, NIR, как на съемочной
аппаратуре Gaofen-1.
Результаты F1-score, IoU модели DeepLabV3+ на
тестовой выборке с Levir_CS после 78 эпох обучения
График изменения learing rate (lr) в процессе обучения
DeepLabV3+ с Ranger21 optimizer на Levir_CS

20.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Промежуточные результаты (ансамблирование моделей и улучшение качества):
Предикт на снимке Электро Л3 U-Net++ после усреднения весов
Предикт на снимке Электро Л3 классификатора после усреднения
весов
+
Усреднение весов моделей одной архитектуры, сохраненной в
разных локальных минимумах функции потерь в процессе обучения
позволяет повысить качество сегментации и классификации на
валидации и тесте.
Дальнейшее объединение и перемножение масок обоих моделей
позволяет несколько учесть ошибки каждой и получить лучший
результат сегментации
Результаты F1-score, IoU
моделей классификатора и UNet++ на тестовых выборках
после усреднения весов:

21.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
PostProcessing полученных масок после сегментации:
+
=
Наложение маски диска Земли для Электро Л3 для коррекции предикта
+
=
Карта снега для зоны съемки Электро Л3 с MODIS
Для улучшения
предсказаний
моделей возможно
использовать
статистическое
распределение снега
по широте, долготе,
высоте, накладывать
маску диска Земли и
контуров материков.
Наложение карты
снега для зоны
съемки Электро
Л3 с MODIS для
коррекции
ложных предиктов
снежных участков
(уменьшение FAR).

22.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Заключение
• Актуальность: На текущий момент нет открытых датасетов с разметкой карт облачности и снега для российских метеорологических КА,
КА ДЗЗ, КА с таким типом съемочной аппаратуры (МСУ-ГС)
• Прогнозирование карт облачности является важной задачей для прогноза погоды и изменения климата и осуществления съемки
участков Земли в нужные моменты времени
• Создана модель, способная разделять классы снега и облачности
• Доп. информация о соотнесении пикселей изображений снимков с географическими широтой и долготой, а также картой высот
позволяет лучше делать прогноз покрова
• Дальнейшее уточнение масок облачности и снега за счет карты снега с MODIS позволяет улучшить предсказания
Future Work
• Возможно увеличение числа классов облачности с 2-3 (ice clouds, cirrus)
• Использование преобразований каналов в градации Hue, Saturation, Intensity как доп. признаки для модели
• Дальнейшее уточнение масок облачности и снега по данным с Электро Л3 из ФГБУ НИЦ Планета, дооубучение и валидация качества
моделей на них
• Дальнейшее использование масок датасета CloudCast для прогнозирования карты облачности по времени
• Создание ансамбля нескольких моделей с разной архитектурой (U-Net++, DeepLabV3+, CCN classifier Электро Л2) для достижения
лучшего качества сегментации
• Создание модели для получения масок снега и облачности в ночное время суток из ИК каналов МСУ-ГС

23.

Сегментация и прогнозирование карт снега и облачности по данным с метеорологических КА
серии Электро Л
Работа проводится при поддержке Некоммерческого Фонда развития
науки и образования «Интеллект»