6-7 лаб

1. Лабораторная работа №6-7

"РАБОТА С СЕРВИСОМ TEACHABLE MACHINE"
Дисциплина: Системы искусственного интеллекта
Преподаватель: Жумашев М.С.

2. Введение

Teachable Machine – это веб-версия инструмента, которая позволяет
всем желающим легко создать модель машинного обучения.
Чтобы научить компьютер распознавать изображения, звуки и позы с
помощью Teachable Machine не нужно писать код. Вы можете
использовать модель в своих проектах, на сайтах, в приложениях и не
только.
Язык пользовательского интерфейса - русский.

3. Перед началом работы

Перед обучением модели рекомендуем внимательно изучить дополнительную
информацию, расположенную на главной странице сервиса:
Что такое Teachable Machine?
Как пользоваться инструментом?
С помощью чего можно обучить модель?
Руководства
Сервис Teachable Machine доступен по ссылке
https://teachablemachine.withgoogle.com

4. Задание 1

https://drive.google.com/drive/folders/1I6WHQaOp
mIQ0FAQCrhw3HO3D4C6keGIs?usp=sharing
Перед тем, как приступить к выполнению первого задания, войдите в свой Google Диск и
перейдите по ссылке:
https://drive.google.com/drive/folders/1I6WHQaOpmIQ0FAQCrhw3HO3D4C6keGIs?usp=sharing ,
чтобы добавить на свой Диск общую папку с изображениями. Затем с помощью контекстного
меню скачайте папку на локальный диск вашего компьютера.
Задание 1. Создать проект с изображениями.
Перейдем по ссылке teachablemachine.withgoogle.com и нажмем "Начать".
Выберем "Проект с изображениями", далее "Стандартная модель изображения".
Мы будем обучать модель различать две группы изображений: хот-доги и не хот-доги с
помощью готового (размеченного) набора изображений.
Переименуем "Class 1" в "хот-доги", а "Class 2" в "не хот-доги".
В классе "хот-доги" нажмем на кнопку "Загрузить", затем выберем пункт "Выберите
изображения из файлов".
Выберем папку "hot_dog_train". Выберем все изображения в папке с помощью клавиш
Ctrl+A и нажмем "Открыть".
Аналогично добавим изображения из папки "not_hot_dog_train" в класс "не хот-доги".

5.

Запустим обучение модели, нажав на кнопку "Обучить модель". Обучение происходит на текущей
вкладке браузера некоторое время, поэтому не следует переключаться между вкладками во время
процесса обучения.
В разделе "Обучение" раскроем список "Дополнительно" и выберем "Дополнительные сведения". Они
откроются справа. Изучите данный раздел. Обратите внимание на раздел "Точность на каждый класс".

6.

Справа от раздела "Обучение" находится раздел "Посмотреть", в котором мы можем проверить, как
работает обученная нами модель. Для этого вместо "webcam" нужно выбрать "файл" и выбрать один файл
из папки "hot_dog_validation".
Посмотрите результат (прогноз) в разделе "Выходные данные" и сделайте вывод, насколько правильно
модель определила наличие хот-дога на изображении. Загрузите поочередно еще 10 изображений и
проверьте правильность определения "хот-догов". Напишите вывод в разделе "Итоги лабораторной работы".
Аналогичным образом загрузите поочередно 10 изображений из
папки "not_hot_dog_validation". Сделайте вывод о правильности
определения "не хот-догов". Напишите вывод в разделе "Итоги
лабораторной работы".
Сохраните модель на Диске (не экспорт модели, а сохранение
в формате tm). В названии файла укажите номер группы и
фамилию (например, БК-11 Иванов.tm).
Откройте доступ к файлу модели по ссылке и разместите
ссылку ниже в разделе "Итоги лабораторной работы".

7. Задание 2

Соберите коллекцию изображений как минимум трех классов (можно сделать больше
классов). В каждом классе должно быть минимум 10 изображений. Можно использовать
изображения из интернета или создать собственные изображения с помощью камеры.
Обучите модель в сервисе Teachable Machine.
В разделе "Итоги лабораторной работы" укажите названия классов и точность на каждый
класс.
Сделайте вывод, как точно модель определяет неизвестные ей изображения.
Сохраните модель на Диске (не экспорт модели, а сохранение в формате tm), откройте
общий доступ по ссылке и разместите ссылку ниже в разделе "Итоги лабораторной
работы".

8. Задание 3

Pocket AutoML — это Android-приложение, которое позволяет тренировать модели глубокого
обучения (deep learning) для классификации изображений без написания кода. Есть
возможность экспортировать модель в формате TensorFlow Lite и создать на основе этой
модели собственное Android-приложение, для чего прилагается пошаговое руководство.
Тренировка работает прямо на устройстве, за счёт этого для неё не требуется подключение к
интернету, нет проблем с конфиденциальностью, т.к. изображения не покидают устройства
пользователя. Теми же преимуществами будут обладать и приложения, созданные на основе
экспортированных из Pocket AutoML моделей. Единственная функция, требующая подключения
к интернету, это экспорт в TensorFlow Lite.

9.

Установите приложение Pocket AutoML на свой смартфон.
Создайте новую задачу. В составе названия задачи должна быть ваша фамилия.
Создайте минимум 3 класса объектов, которые будут использоваться в модели распознавания образов.
На вкладке "Данные" в каждый класс добавьте минимум по 5 изображений (можно использовать камеру или
загрузить готовые изображения).
На вкладке "Модель" выполните тренировку модели.
На вкладке "Распознать" проверьте качество распознавания изображений, показывая модели поочередно
несколько объектов (можно использовать камеру или загрузить готовые изображения). При распознавании
помогите модели работать лучше, подтвердив или исправив результат распознавания. После каждого нового
распознавания и подтверждения изображение добавляется в соответствующий класс. Распознайте как
минимум 10 изображений.
Снова выполните тренировку модели. После этого снова проверьте качество распознавания, предлагая
модели новые изображения.
Сделайте скриншоты вкладок "Данные" и "Модель". Разместите эти скриншоты в разделе "Итоги
лабораторной работы".
В разделе "Итоги лабораторной работы" напишите вывод о качестве распознавания изображений вашей
модели. Попытайтесь объяснить причины, почему модель в некоторых случаях ошибается.

10. Итоги лабораторной работы

Работу выполнил (ФИО студента, номер группы):
...
Задание 2
Укажите названия классов и точность на каждый класс:
Задание 1
...
Напишите вывод о правильности определения "хот-догов":
Напишите вывод о работе модели:
...
...
Напишите вывод о правильности определения "не хот-догов":
Ссылка на вторую модель:
...
...
Ссылка на первую модель:
...
Ниже разместите скриншот вкладки "Данные":
Задание 3
...
Ниже разместите скриншот вкладки "Модель":
...
Напишите вывод о качестве распознавания изображений. Попытайтесь объяснить
причины, почему модель в некоторых случаях ошибается.
...

11. 5 индивидуальных заданий по теме "Создание проекта с изображениями на платформе Teachable Machine":

5 индивидуальных заданий по теме "Создание проекта с
изображениями на платформе Teachable Machine":
Задание 1: Классификация рукописных цифр
Создайте модель для распознавания рукописных цифр (от 0 до 9) с
использованием Teachable Machine. Для этого:
- Найдите набор изображений с рукописными цифрами (или нарисуйте
свои).
- Создайте 10 классов (по одному для каждой цифры).
- Обучите модель и проверьте ее работу, загружая новые изображения цифр.
**Отчет**: Опишите процесс работы, количество изображений для каждого
класса, результаты тестирования и точность модели.
Задание 2: Классификация продуктов питания
Создайте модель для классификации различных категорий продуктов
питания (например, яблоко, банан, апельсин и т.д.).
- Найдите или сделайте фотографии различных продуктов (по 3-4 класса).
- Загрузите их в Teachable Machine.
- Обучите модель, протестируйте ее и проверьте, насколько точно она
распознает продукты.
**Отчет**: Опишите количество классов, количество изображений, результаты
тестирования и возможные улучшения модели.
Задание 3: Распознавание эмоций по лицу
Создайте модель для распознавания эмоций (например, счастье, грусть,
удивление).
- Используйте собственные фотографии или изображения из интернета с
разными выражениями лица.
- Создайте как минимум 3 класса эмоций.
- Обучите модель и протестируйте ее с разными изображениями лиц.
**Отчет**: Опишите, как вы подбирали изображения, количество классов,
результаты тестирования и выводы.
Задание 4: Распознавание домашних животных
Создайте модель для классификации домашних животных (например,
кошки, собаки, птицы).
- Соберите изображения разных животных и создайте классы.
- Обучите модель на Teachable Machine.
- Протестируйте модель, загружая фотографии новых животных.
**Отчет**: Опишите процесс сбора изображений, количество классов,
качество работы модели и рекомендации по улучшению.
Задание 5: Классификация предметов на рабочем столе
Создайте модель для классификации предметов, которые обычно находятся
на рабочем столе (например, ручка, книга, клавиатура, кружка).
- Соберите изображения предметов и загрузите их в систему.
- Создайте классы и обучите модель.
- Проверьте ее работу, используя реальные фотографии своего рабочего
стола.
**Отчет**: Опишите процесс создания классов, количество изображений,
результаты тестирования и оценку модели.