3.83M

Презентация_Итоговая_аттестация_вариант_1_финал_v6

1.

ИТОГОВАЯ АТТЕСТАЦИОННАЯ РАБОТА
по дополнительной профессиональной программе
профессиональной переподготовке
Специалист по аналитике и базам данных в информационных системах
Выполнила: Царёва Анна Дмитриевна
Номер потока: САБДИС-806/807
Преподаватель: Астапов Павел
Евгеньевич

2.

Вариант 1. Бинарная классификация целевой аудитории: профилирование клиентов
Исходные данные: датасет 1v_credit.csv
Цель проекта: провести анализ данных о клиентах банка и выделить характерные
признаки клиентов, открывших и не открывших счёт.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 2

3.

Решение задания: 1. Загрузка данных и первичный осмотр
1. Импортированы библиотеки: pandas, numpy, matplotlib, seaborn, scipy, sklearn.
2. Загружен датасет 1v_credit.csv (разделитель — «;», десятичный разделитель — «,»).
3. Выведены первые 5 строк (df.head()).
4. Определены размеры датасета (df.shape).
5. Просмотрены названия столбцов и типы данных (df.info()).
Датасет содержит 170 746 строк и 17 столбцов. Каждая строка — один клиент банка. В датасете представлены:
• числовые переменные: age (возраст), credit_sum (сумма кредита), monthly_income (ежемесячный доход),
score_shk (скоринговая оценка), credit_count (количество кредитов), overdue_credit_count (просроченные кредиты);
• категориальные переменные: gender (пол), marital_status (семейное положение), education (образование),
job_position (должность), living_region (регион), okrug (федеральный округ), tariff_id (тариф);
• целевая переменная: open_account_flg — факт открытия клиентом счёта (0 — нет, 1 — да).
Признак
Тип данных
Признак
Тип данных
client_id
int64
okrug
float64
gender
int64
avregzarplata
float64
age
float64
monthly_income
float64
marital_status
float64
credit_count
float64
job_position
int64
overdue_credit_count
float64
credit_sum
float64
open_account_flg
int64
credit_month
int64
score_shk
float64
education
float64
tariff_id
int64
living_region
float64
Вывод: все 17 столбцов числовые (int64 / float64), текстовых нет; в некоторых столбцах видны пропуски
(Non-Null Count меньше 170 746). Данные подходят для исследовательского анализа и сравнения
профилей клиентов.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 3

4.

Решение задания: 2. Проверка качества и предварительная обработка
данных
1. Проверено наличие пропущенных значений (df.isna().sum()).
2. Определено количество дубликатов строк и повторов идентификаторов клиентов.
3. Столбец client_id удалён — это номер записи, не несущий информации о клиенте.
4. Определён подход к обработке пропусков.
Результаты проверки качества данных:
• Полных дубликатов строк: 0; повторяющихся client_id: 0 (идентификатор уникален).
• В целевой переменной open_account_flg два класса: 0 и 1.
Признак
Пропусков
Как обработан
credit_count, overdue_credit_count
по 9 230 (~5%)
заполнены медианой — удалять 5% строк нецелесообразно
living_region, okrug, avregzarplata
по 192
удалены (одни и те же строки: нет региона — нет округа и зарплаты)
age, marital_status, credit_sum,
score_shk, education, monthly_income
от 1 до 5
удалены
• После обработки пропусков удалено 207 строк (0,1% данных), размер таблицы: (170 539, 16). Пропусков не
осталось.
• Категориальные коды и счётчики приведены к целому типу (astype(int)).
• Проверены необычные значения: monthly_income до 950 000 при медиане 35 000 — высокий, но возможный доход
(сохранён); у трёх клиентов score_shk > 1 — расшифровки шкалы нет (сохранены).
Вывод: дубликатов в данных нет, столбец-идентификатор удалён; пропуски в двух столбцах кредитной
истории заполнены медианой, редкие пропуски (207 строк) удалены; типы данных приведены к
корректному виду; выбросы по доходу и скорингу сохранены как возможные значения. Размер после
обработки: (170 539, 16).
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 4

5.

Решение задания: 3. Разведочный анализ данных (EDA)
1. Получена описательная статистика по количественным показателям.
2. Определено число клиентов, открывших и не открывших счёт, рассчитаны доли групп.
3. Построены диаграммы распределения признаков.
В выборке две группы: 140 485 клиентов (82,4%) — не открыли счёт; 30 054 клиента (17,6%) — открыли счёт.
Основные характеристики (после обработки): средний возраст — 36,5 года, медианный — 34; средний доход — 40
062, медианный — 35 000; средняя сумма кредита — 26 092, медианная — 21 229; медианное количество кредитов —
2.
Вывод: в выборке значительно преобладают клиенты, не открывшие счёт (82,4% против 17,6%). Группы
сильно неравные, поэтому далее группы сравниваются по долям и медианам. По распределениям: возраст
концентрируется в диапазоне 25–45 лет; сумма кредита и доход скошены вправо (длинный хвост крупных
значений); скоринговая оценка лежит в основном от 0,2 до 0,6; просрочки — редкое событие (почти у всех
нулевые).
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 5

6.

Решение задания: 4. Составление портретов клиентов
1. Клиенты разделены на две группы по факту открытия счёта.
2. Рассчитаны медианные характеристики каждой группы.
3. Рассчитано распределение клиентов по кодам пола, семейного положения и образования в каждой группе.
4. Построены диаграммы сравнения.
Признак
Не открыл счёт (0)
Открыл счёт (1)
age (возраст), лет
35,0
33,0
credit_sum (сумма кредита)
21 600
19 790
score_shk (скоринговая оценка)
0,459
0,473
monthly_income (доход)
35 000
35 000
credit_count (кредитов)
2
2
overdue_credit_count (просрочек)
0
0
avregzarplata (ср. зарплата в регионе) 27 390
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
27 720
стр. 6

7.

Доля открывших счёт по категориальным признакам, % (красная линия — средняя доля 17,6%):
• Пол: пол 2 — 19,4%, пол 1 — 16,0%.
• Семейное положение: минимум у категории 3 (15,3%), максимум у категорий 4 и 5 (по 21,2%).
• Образование: категория 1 — 23,4%, категория 2 — 14,0%.
Вывод: клиенты, открывшие счёт, моложе (медиана 33 против 35 лет), берут меньшую сумму кредита (19
790 против 21 600) и имеют более высокую скоринговую оценку (0,473 против 0,459). Доход, срок
кредита, число кредитов и просрочек в группах практически не различаются. Заметнее всего группы
отличаются по тарифу и должности (например, у тарифа 19 доля открывших 38% против средних 17,6%).
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 7

8.

Решение задания: 5. Анализ взаимосвязей
1. Выбраны количественные признаки для анализа.
2. Рассчитана матрица корреляций.
3. Построена тепловая карта взаимосвязей.
4. Определены признаки, сильнее всего связанные с фактом открытия счёта.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 8

9.

Результаты корреляционного анализа:
• Самые сильные связи между признаками: credit_sum и monthly_income (r = 0,35 — чем выше доход, тем больше
одобренная сумма), credit_count и overdue_credit_count (r = 0,18), score_shk и age (r = −0,17).
• Наиболее выраженные связи с фактом открытия счёта: credit_sum (−0,072), score_shk (0,049), credit_count (0,032),
age (−0,031).
Вывод: все корреляции с целевым признаком слабые — по модулю меньше 0,08. Решение открыть счёт
зависит от многих факторов сразу, и ни один числовой признак не определяет его в одиночку. Признаки,
сильнее всего различающие группы: credit_sum, age, score_shk, tariff_id, job_position, marital_status,
education, gender. Признаки, по которым группы почти не различаются: credit_month, monthly_income,
credit_count, overdue_credit_count, avregzarplata.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 9

10.

Решение задания: 6. Уменьшение размерности массива данных
1. Проверено дублирование признаков: в каждом регионе ровно один округ и одна средняя зарплата (nunique = 1),
т. е. okrug и avregzarplata полностью определяются living_region.
2. Взяты 8 числовых признаков, выполнена стандартизация (StandardScaler).
3. Применён метод главных компонент (PCA).
4. Построена кумулятивная кривая дисперсии и двумерная диаграмма клиентов.
• Доля первой компоненты — 20,7%, второй — 16,2%.
• Для сохранения 90% информации требуется 7 компонент из 8 признаков.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 10

11.

Нагрузки первых двух компонент (вклад признаков):
Признак
PC1
PC2
age
−0,05
−0,58
credit_sum
0,55
0,27
credit_month
0,21
0,20
score_shk
−0,08
0,59
monthly_income
0,61
−0,12
credit_count
0,19
−0,42
overdue_credit_count
0,07
0,00
avregzarplata
0,49
−0,04
Вывод: числовые признаки почти не дублируют друг друга, поэтому сильно сократить их без потерь не
получится (7 компонент сохраняют 90% информации). Первая компонента собрана в основном из дохода,
суммы кредита и средней зарплаты по региону (финансовый «размер» клиента), вторая — из возраста и
скоринговой оценки. На диаграмме точки двух групп перемешаны: по числовым признакам группы чётко
не разделяются — это свойство данных, а не ошибка.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 11

12.

Решение задания: 7. Формулирование и проверка гипотезы
1. Сформулирована гипотеза о различии скоринговой оценки у клиентов двух групп.
2. Проверена гипотеза критерием Манна–Уитни (не требует нормальности распределения).
3. Дополнительно проверена связь пола с фактом открытия счёта критерием хи-квадрат.
Статистическая гипотеза:
• H0 (нулевая): скоринговая оценка у клиентов, открывших и не открывших счёт, одинакова.
• H1 (альтернативная): скоринговая оценка в группах различается.
• Уровень значимости: 0,05.
Манна–Уитни (score_shk)
Хи-квадрат (gender)
Медиана группы 0: 0,459
Медиана группы 1: 0,473
p-value = 4,5 × 10⁻⁷⁹
Таблица сопряжённости:
пол 1: 74 434 / 14 173
пол 2: 66 051 / 15 881
χ² = 336,3; p-value = 4,0 × 10⁻⁷⁵
Вывод: p-value = 4,5 × 10⁻⁷⁹ — практически ноль, значительно меньше 0,05. H0 отвергается: скоринговая
оценка у клиентов, открывших счёт, статистически значимо выше (медианы 0,473 против 0,459).
Хи-квадрат также показывает значимую связь пола с фактом открытия счёта (p-value ≈ 4 × 10⁻⁷⁵): у пола 2
счёт открывают чаще (19,4% против 16,0%). При этом величина различий невелика — разница медиан
0,015 балла, а долей 3,4 п. п.: при 170 тысячах клиентов даже мелкие отличия статистически заметны.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 12

13.

Общий итоговый вывод по проекту
В ходе проекта проведён исследовательский анализ датасета 1v_credit.csv, содержащего сведения о клиентах
банка.
Основные результаты:
1. Проверено качество данных: дубликатов не обнаружено, столбец client_id удалён, пропуски обработаны
(медиана + удаление 207 строк), типы исправлены. Размер после обработки: 170 539 строк, 16 столбцов.
2. Определено соотношение групп: счёт открыли 30 054 клиента (17,6%), не открыли — 140 485 (82,4%). Группы
сильно неравные.
3. Составлены профили клиентов. Открывшие счёт: моложе (33 против 35 лет), берут меньшую сумму кредита (19
790 против 21 600), с более высокой скоринговой оценкой (0,473 против 0,459). Не открывшие: старше,
запрашивают более крупный кредит, чаще образование категории 2 и семейный статус 3.
4. Проанализированы взаимосвязи: все корреляции с целевым признаком слабые (по модулю < 0,08); сильнее всего
группы различаются по сумме кредита, возрасту, скоринговой оценке, тарифу и должности.
5. Выполнено уменьшение размерности: признаки почти не дублируются — 7 компонент сохраняют лишь 90%
информации; первая компонента отражает финансовый «размер» клиента, вторая — возраст и скоринг. Группы на
плоскости компонент перемешаны.
6. Проверена гипотеза: p-value = 4,5 × 10⁻⁷⁹ < 0,05 — скоринговая оценка у открывших счёт статистически
значимо выше; связь пола с фактом открытия счёта также значима (p ≈ 4 × 10⁻⁷⁵), но по величине различия
невелики.
7. Выделены особенности групп: различия есть по возрасту, сумме кредита и скорингу, однако ни один признак в
одиночку не определяет решение клиента открыть счёт.
Итог: проведён анализ клиентской базы банка и составлены сравнительные профили клиентов, открывших и не
открывших счёт. Выявленные различия могут использоваться для дальнейшего изучения поведения клиентов и
подготовки аналитических решений банка.
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 13

14.

Благодарю за внимание!
Итоговая аттестационная работа. Вариант 1. Профилирование клиентов банка
стр. 14
English     Русский Rules