Лекция 13

1. Лекция 13

Практическое значение SVD и PCA.
Метод главных компонент (PCA)

2.

Основные применения SVD в искусственном интеллекте
Область применения
Описание
Уменьшение
размерности
SVD позволяет сократить количество признаков, сохраняя
наиболее важную информацию. Это используется, например, в
Principal Component Analysis (PCA) для анализа данных и
визуализации.
Рекомендательные
системы
В коллаборативной фильтрации SVD помогает находить скрытые
(латентные) факторы, определяющие предпочтения
пользователей и характеристики объектов, что повышает
точность рекомендаций.
Обработка изображений
и сжатие данных
SVD применяется для уменьшения шума, сжатия изображений и
выделения главных компонентов, что позволяет хранить и
передавать данные более эффективно.

3.

Фильтрация сигналов
Используется для выделения значимых частот и подавления шума
различных задачах обработки сигналов.
Текстовая обработка
SVD помогает извлекать ключевые слова и темы из больших
массивов текстов, что важно для задач тематического
моделирования и поиска.
Оптимизация и
регуляризация
моделей
В нейронных сетях SVD используется для факторизации весовых
матриц, что позволяет уменьшить количество параметров, ускорит
обучение и снизить риск переобучения.
Инструменты для реализации
В практике для вычисления SVD часто используют библиотеки Python: NumPy, SciPy,
Scikit-learn, а также платформы глубокого обучения TensorFlow и PyTorch.

4. Пример

5.

6. Метод главных компонент (PCA)

Метод главных компонент (Principal Component Analysis, PCA) — это один из самых
популярных методов анализа данных и снижения размерности. Он широко
применяется в статистике, машинном обучении, биологии, экономике и других
областях, когда необходимо работать с большим количеством признаков.
Суть PCA — найти такие новые оси (главные компоненты), вдоль которых данные
имеют наибольший разброс. Это позволяет:
уменьшить размерность данных, сохранив максимум информации;
визуализировать многомерные данные;
избавиться от шума и избыточности

7.

Principal Component Analysis — мощный инструмент линейной алгебры для анализа и
сжатия данных. Он основан на поиске собственных векторов ковариационной
матрицы и позволяет перейти к новому базису, в котором данные максимально
информативны и некоррелированы.

8.

9.

Математическая постановка
Пусть у нас есть набор данных X размера n×m, где n — число объектов, m — число
признаков. Каждый столбец — это признак, каждая строка — объект.
1. Центрирование данных
Сначала вычтем из каждого признака его среднее значение, чтобы центрировать
данные относительно нуля:
Xцентр=X−μ,
где μ — вектор средних по каждому признаку.
2. Ковариационная матрица
Вычислим ковариационную матрицу C:
C=1/(n−1)(Xцентр)TXцентр
C — симметричная матрица размера m×m, элементы которой показывают, как
признаки изменяются совместно.

10.

3. Собственные значения и собственные векторы
Найдём собственные значения λi и собственные векторы vi матрицы C:
Cvi=λivi
Собственные векторы — это направления новых осей (главных компонент), а
собственные значения — дисперсии данных вдоль этих осей.
4. Выбор числа компонент
Упорядочим собственные значения по убыванию: λ1≥λ2≥⋯≥λm.
Суммарная дисперсия, объясняемая первыми k компонентами:
Доля=D.
D= (
k
i=1