преза с дополнением(2)

1. Кредитный скоринг: LightGBM, XGBoost и CatBoost

2. Цель и гипотезы исследования

1
Построить и сравнить
модели кредитного
скоринга для
прогнозирования
серьёзной просрочки
клиента в течение 2 лет.
2
H1: бустинг хорошо
работает на задаче
скоринга
3
H2: accuracy
недостаточна при
дисбалансе
4
H3: методы балансировки
классов повышают
полноту (Recall) и
снижают пропуски
целевых объектов
5
Метрики оценки моделей:
ROC-AUC, PR-AUC,
Precision, Recall, F1

3. Описание данных / объекта исследования

Источник:
Датасет Give Me Some Credit
целевая переменная:
SeriousDlqin2yrs
Источник: Kaggle
Данные содержат информацию о клиентах и их кредитном
поведении: доход, возраст, долговая нагрузка, количество
открытых кредитных линий и историю просрочек
Задача:
бинарная классификация.
0 — просрочки не было
1 — была просрочка
Особенности:
Объём:
В данных есть сильный дисбаланс классов:
класс 0 — 93.3%
класс 1 — 6.7%
Пропуски в переменных MonthlyIncome и
NumberOfDependents были заполнены медианой.
Также удалена одна строка с age = 0.
После предобработки:
149 999 строк
10 признаков
1 целевая переменная

4. Методы

Критерий
LightGBM
XGBoost
CatBoost
Тип данных
Табличные, большие
объёмы
Разреженные и
плотные
Категориальные +
смешанные
Скорость обучения
Очень высокая
Средняя
Высокая
Обработка категорий Требует кодирования
Требует кодирования
Встроенная, без
one-hot
Регуляризация
Умеренная
Сильная (L1/L2)
Умеренная
Большие датасеты
Разреженные данные,
строгий контроль
переобучения
Много категориальных
признаков
Лучшие случаи
применения

5. H1: модели градиентного бустинга подходят для кредитного скоринга

Гипотеза:
LightGBM, XGBoost и CatBoost покажут
хорошее качество на задаче кредитного
скоринга.
Что сделали
Обучили три baseline-модели:
• LightGBM
• XGBoost
• CatBoost
Затем провели 5-fold cross-validation и Grid
Search для подбора гиперпараметров.
После подбора параметров LightGBM
показал один из лучших результатов:
ROC-AUC = 0.868

6. H2: Accuracy недостаточна при дисбалансе классов

Гипотеза
Из-за сильного дисбаланса классов
accuracy не отражает реальное качество
модели.Ожидание: accuracy будет высокой,
но recall класса 1 — низким.
Обучили baseline-модели и оценили не
только accuracy, но и precision, recall, F1
для класса 1.
Результат
Гипотеза подтвердилась.
Модель уверенно классифицирует
клиентов класса 0, но при этом пропускает
значительную часть рискованных
заявителей (класс 1).
Метрика
LightGBM
CatBoost
XGBoost
ROC-AUC
0.868
0.867
0.866
PR-AUC
0.403
0.400
0.398
Accuracy
0.938
0.937
0.938
Precision
0.600
0.591
0.601
Recall
0.201
0.206
0.198
F1
0.301
0.306
0.298
Threshold
0.5
0.5
0.5

7. H2: Accuracy недостаточна при дисбалансе классов

Гипотеза
Из-за сильного дисбаланса классов
accuracy не отражает реальное качество
модели.Ожидание: accuracy будет высокой,
но recall класса 1 — низким.
Обучили baseline-модели и оценили не
только accuracy, но и precision, recall, F1
для класса 1.
Результат
Гипотеза подтвердилась.
Модель уверенно классифицирует
клиентов класса 0, но при этом пропускает
значительную часть рискованных
заявителей (класс 1).

8. H3: Методы работы с дисбалансом повышают recall класса 1

Гипотеза
SMOTE, undersampling, class weights и
подбор threshold помогут находить больше
клиентов с серьёзной просрочкой.
Ожидание: recall класса 1 вырастет, но
precision может снизиться.
Что сделали
Проверили несколько подходов:
• подбор threshold
• SMOTE
• undersampling
• class weights
Сравнили precision, recall и F1-score для
класса 1.
Результат
Гипотеза подтвердилась.
Лучший баланс дал CatBoost: F1 ≈ 0.44
CatBoost
tuned,
thr=0.25
CatBoost
tuned,
thr=0.22
Precision₁ 0.595
0.424
0.405
Recall₁
0.207
0.446
0.485
F1₁
0.308
0.435
0.441
CatBoost
+ SMOTE
CatBoost
CatBoost
+
SqrtBalan
undersam
ced
pling
XGBoost
spw=5
0.291
0.218
0.401
0.368
0.555
0.779
0.491
0.546
0.381
0.341
0.441
0.440
Метрика
CatBoost
tuned,
thr=0.5

9. H3: Методы работы с дисбалансом повышают recall класса 1

Важность признаков

10. H2: Accuracy недостаточна при дисбалансе классов

Итоговые результаты
1.Baseline-модели
Лучший baseline:
LightGBM
ROC-AUC = 0.868
PR-AUC = 0.403
2. Подтвержден сильный дисбаланс
классов в данных исследования.
3. Показано, что accuracy не может
быть основной метрикой.
4. Подбор threshold улучшает
значение метрики Recall.
5. При работа с дисбалансом классов
из всех методов наиболее эффетивно
показал себя SqrtBalanced.
6. Лучший итоговый баланс
CatBoost SqrtBalanced
ROC-AUC = 0.870
PR-AUC = 0.405
Precision₁ = 0.401
Recall₁ = 0.491
F1₁ = 0.441 ★
Лучший результат по балансу.

11. H3: Методы работы с дисбалансом повышают recall класса 1

Выводы
1
Что можно улучшить
Дополнить данные и
добавить больше
признаков:
• кредитная история из
БКИ
• параметры заявки
• данные о занятости
• временной признак
2
Главный результат
Лучший баланс показал
CatBoost SqrtBalanced:
ROC-AUC ≈ 0.870
PR-AUC ≈ 0.405
F1₁ ≈ 0.441
Модель хорошо
ранжирует клиентов по
уровню риска.
3
4
Подтверждённые гипотезы
Ограничения
H1: бустинг подходит для
скоринга.
В датасете только 10
признаков.
H2: accuracy недостаточна
при дисбалансе.
Нет временного признака,
поэтому нельзя сделать
честную out-of-time проверку.
H3: threshold и class
weights повышают recall
класса 1.
Есть сильный дисбаланс
классов:
класс 1 ≈ 6.7%.

12. Итоговые результаты

Спасибо
за внимание!