Нейросети для работы с табличными данными

1. Нейросети для работы с табличными данными

• Работаем в Keras, Google Colab (или другая среда)
• В результате необходимо получить ноутбук (в Google
Colab), где будут в ячейках отражены все пройденные шаги,
необходимые элементы коды и комментарии к ним о том,
что и как работает в этих элементах кода
• Табличные данные
• Задача регрессии
• С помощью LLM сделать сеть с Dense слоями для задачи
регрессии, использовать OpenML.org как источник данных
или иные данные, которые нужно загрузить в код с
помощью !wget или подобной утилиты (подскажет LLM)
• Разделить код на смысловые блоки, сделать комментарии
Работать с
помощью LLM
(You.com
DeepSeek.ai
qwenim.ai
GigaChat
и др.)
Работать с
помощью LLM
(You.com
DeepSeek.ai
qwenim.ai
GigaChat
и др.)
1

2. Задание 1. Задача регрессии

На этом занятии будут задачи:
• Искать и загружать данные самостоятельно.
• Проводить разведочный анализ данных с визуализацией.
• Создавать и обучать нейронную сеть для регрессии.
• Использовать языковую модель для уточнения деталей
выполнения задания.
2

3.

Шаг 1: Найти и загрузить датасет
• Найдите подходящий датасет для задачи регрессии на
платформе, например OpenML, Kaggle или UCI Machine Learning
Repository. Датасет должен содержать числовые признаки и
целевую переменную для предсказания.
• Загрузите датасет в Google Colab. Если датасет требует загрузки
вручную, используйте методы, которые подскажет языковая
модель, например, загрузка через Google Drive или прямую
ссылку.
• Совет: Если не знаете, какой датасет выбрать, спросите у
языковой модели: "Какие есть популярные датасеты для
регрессии?"
3

4.

Шаг 2: Провести исследование данных
• Изучите структуру данных: количество строк, столбцов, типы данных.
• Проверьте наличие пропусков и выбросов в данных. При
необходимости обработайте их.
• Постройте несколько визуализаций (например, гистограммы,
диаграммы рассеяния), чтобы понять распределение данных и
взаимосвязи между признаками.
• Совет: Задайте языковой модели вопрос, например:
• "Как проверить пропуски в данных в Pandas?"
• "Как построить диаграмму рассеяния между двумя признаками?"
4

5.

Шаг 3: Подготовка данных
• Выделите признаки (X) и целевую переменную (y).
• Разделите данные на обучающую и тестовую выборки.
• Нормализуйте числовые признаки, чтобы значения находились в
одном масштабе.
• Совет: Если вы не уверены, как нормализовать данные, спросите
у языковой модели: "Как нормализовать данные для нейронной
сети?"
5

6.

Шаг 4: Создание и обучение нейронной сети
• Постройте нейронную сеть с использованием Keras для решения задачи
регрессии. Используйте один или несколько Dense слоев.
• Укажите функцию потерь подходящую для регрессии (например,
среднеквадратичную ошибку) и подходящий оптимизатор.
• Обучите модель, используя обучающие данные, и настройте количество
эпох.
• Отобразите графики обучения модели (например, изменение потерь и
ошибки во времени).
• Совет: Если возникают трудности, задайте языковой модели вопросы,
например:
• "Какая функция потерь используется для регрессии в Keras?"
• "Как построить график функции потерь в процессе обучения?"
6

7.

Шаг 5: Оценка модели и предсказания
• Оцените модель на тестовых данных, измерив метрики качества
(например, среднеквадратичную ошибку или среднюю абсолютную
ошибку).
• Сделайте предсказания с помощью модели для новых данных.
• Постройте график: сравните реальные значения с предсказанными
(например, с помощью линейного графика или scatter plot).
Совет: В случае затруднений, задайте вопрос, например:
• "Как оценить среднеквадратичную ошибку модели?"
• "Как визуализировать предсказания модели?"
7

8.

Шаг 6: Эксперименты и выводы
• Попробуйте изменить архитектуру нейронной сети (например,
добавить больше слоев или изменить количество нейронов) и
посмотрите, как это влияет на качество модели (метрики
качества).
• Запустите обучение модели с разным количеством эпох. Изучите,
как это влияет на переобучение (overfitting) или недообучение
(underfitting).
• Напишите в ноутбуке выводы о том, что удалось узнать о данных
и модели. Какие изменения архитектуры или параметров
улучшили результат?
8

9. Ожидаемый результат

• Полностью подготовленный ноутбук в Google Colab с кодом и
комментариями по фрагментам кода (поясняют фрагменты кода
и выполняемые действия).
• Загрузка, исследование и визуализация дата сета.
• Преобразование категориальных данных в количественные
• Созданная и обученная нейронная сеть для регрессии.
• Оценка модели и визуализация предсказаний.
• Проведённые эксперименты и записанные выводы о влиянии
изменений на качество модели.
9

10. Задание 2. Задача классификации

• Шаг 1: Найти и загрузить датасет
• Перейдите на платформу OpenML и выберите датасет для задачи
классификации. Датасет должен содержать табличные данные с
числовыми или категориальными признаками и целевой
переменной для классификации.
• Загрузите датасет в Google Colab. Используйте API OpenML или
загрузите данные вручную, если это необходимо.
Совет: Если не знаете, как загрузить данные с OpenML, спросите у
языковой модели: "Как загрузить датасет с OpenML в Google
Colab?"
10

11.

Шаг 2: Подготовка данных
• Разделите данные на признаки (X) и целевую переменную (y).
• Преобразуйте категориальные данные (если они есть) в числовой формат,
используя методы кодирования (например, one-hot encoding или label
encoding).
• Разделите данные на обучающую и тестовую выборки.
• Нормализуйте числовые признаки, чтобы значения находились в одном
масштабе.
• Совет: Если возникают вопросы, задайте языковой модели, например:
• "Как закодировать категориальные данные для нейронной сети?"
• "Как разделить данные на обучающую и тестовую выборки?«
• «Как нормализовать данные в нейросети на Keras»?
11

12.

Шаг 3: Создание модели нейронной сети
• Постройте нейронную сеть с использованием Keras для задачи
классификации. Убедитесь, что последний слой имеет правильное
количество нейронов и функцию активации.
• Скомпилируйте модель, указав функцию потерь, подходящую для
классификации, оптимизатор и метрику (accuracy).
Совет: Если не уверены, как выбрать функцию активации или потерь,
спросите у языковой модели:
• "Какая функция активации используется для бинарной
классификации?"
• "Какую функцию потерь выбрать для множественной классификации?"
12

13.

Шаг 4: Обучение модели
• Обучите модель на обучающих данных, указав количество эпох и
размер батча.
• Используйте часть данных для валидации (тестирования) модели во
время обучения.
• Сохраняйте историю обучения для последующего анализа и
визуализации.
Совет: Если не знаете, как настроить параметры обучения, задайте
вопрос, например:
• "Что такое размер батча и как его выбрать?"
• "Как использовать валидационные данные в Keras?"
13

14.

Шаг 5: Оценка модели
• Оцените модель на тестовых данных, измерив точность (accuracy)
и другие метрики (например, F1-score, precision, recall).
• Постройте матрицу ошибок (confusion matrix) для анализа
качества классификации.
Совет: Если не знаете, как построить матрицу ошибок, спросите у
языковой модели: "Как построить confusion matrix в Keras?"
14

15.

Шаг 6: Эксперименты с моделью
• Измените архитектуру нейронной сети (например, добавьте больше
слоев или измените количество нейронов) и проверьте, как это влияет
на качество модели.
• Попробуйте изменить гиперпараметры (например, количество эпох,
размер батча, функцию активации) и оцените их влияние на
результаты.
• Сравните результаты разных экспериментов и сделайте выводы.
Совет: Если возникают вопросы, задайте их языковой модели,
например:
• "Как добавить больше слоев в нейронную сеть?"
• "Как выбрать оптимальное количество эпох для обучения?"
15

16. Ожидаемые результаты

• Полностью подготовленный ноутбук в Google Colab.
• Загруженный и подготовленный датасет для задачи
классификации.
• Реализованная и обученная нейронная сеть для бинарной или
множественной классификации.
• Оценка модели с использованием метрик и матрицы ошибок.
• Выводы по работе – о проведенных экспериментах, полученной
архитектуре
16

17.

17