Основные понятия анализа данных

1.

Введение в ИИ

2.

Основные понятия анализа
данных
Датасет – набор данных, для анализа и обучения
Модель – это переведенная в математическую
формулу изучаемая система

3.

Для чего нужно работать с
данными?
• Обнаружить неочевидные закономерности
• Рекомендовать содержимое по интересам
• Выполнять работу экспертов по оценке чего-либо
• Помогают принять решение

4.

Data Mining
Методы обнаружения в данных знаниях:
• Ранее неизвестных
• Практически полезных
• Доступных для интерпретации
• Необходимых для принятия решений
в различных сферах

5.

Data Scientist
Специалист по данным (Data Scientist) – занимается
интеллектуальным анализом структурированных и
неструктурированных данных

6.

Проблемы в
данных
Данные могут быть:
Неточными
Неполными (содержать пропуски)
Противоречивыми
Разнородными
Иметь гигантские объемы

7.

Выбросы и аномалии
Редкие данные, которые вызывают
подозрения ввиду существенного
отличия от большей части данных

8.

Датасет может собираться
Вручную
Автоматизировано (с участием человека)
Автоматизировано (без участия человека)

9.

Электронные таблицы

10.

Язык программирования +
среда разработки

11.

Machine learning – класс методов
искусственного интеллекта, суть которых не
прямое решение задачи, а обучение за счет
применения решений множества сходных задач
Машинное обучение

12.

• Создаются алгоритмы, которые находят закономерности
в данных и делают выводы
• Модель сама разбирается, как работает система
• Чем больше данных, тем лучше алгоритм изучит
закономерности в них и научится принимать более
точные решения
Машинное обучение

13.

Модель машинного обучения
• Алгоритм/формула,
которые обучены
распознаванию
определенных типов
закономерностей
• Обучаете модель на
основе набора данных

14.

«Учитель» - разметка в данных,
правильные ответы
Обучение с учителем

15.

Оценка модели
Точность/ошибка – насколько хорошо наша
модель «угадывает» правильный ответ

16.

Результат машинного обучения

17.

Обучение без
учителя:
кластеризация
Разделить элементы на
подмножества (кластеры)
Объекты одной группы
похожи больше из любой
другой

18.

Генетический метод обучения
Случайный подбор параметров с использованием
«естественного отбора»

19.

Схема простой нейронной сети

20.

Глубокое обучение
• Вид машинного обучения с использованием многослойных
нейронных сетей, которые обучаются на большом наборе
данных

21.

Машина Тьюринга
машина Тьюринга (МТ) — это абстракция из мира Computer Science, которой не
существует в физическом мире.
Обычная машина Тьюринга состоит из трех частей, из которых первые две
технические, а в третьей, происходит магия. Они называются:
• головка чтения и записи (далее «указатель»);
• бесконечная лента с ячейками;
• программа машины.