Хурал Yandex Crowd

1.

Хурал
Yandex Crowd
22 августа 2024
Ведущая хурала
Ксюша Скачкова

2.

Автоматизация оценки
резюме
с помощью GPT
Алина Трифанова
Менеджер проектов

3.

Оценка видеоинтервью
Оценка резюме
3506 ВИ
X ВИ
оценила модель
оценила модель
Июль
Август на 21.08
3

4.

Оценка резюме
Базовые
требования
Требования по наличию
определенного опыта работы
Возраст
Опыт в продажах
Локация
Опыт в веб-дизайне
В большинстве вакансий — РФ
Гражданство
Опыт в тестировании
ЗП ожидания
Наличие опыта работы в целом
4

5.

Почему важно
отсеивать
кандидатов
на уровне
оценки резюме?
Наличие четких требования
к портрету кандидата
01
Дорогой процессинг
нерелевантных кандидатов
02
5

6.

Как было?
25
до 24
80%
Асессоров
Часов на оценку
резюме
Времени занимаются
оценкой резюме
PTE
10 000–15 000 шт. 55 р.
Количество резюме
в зависимости от нагрузки
Оценка одного
резюме с налогами
6

7.

Какие задачи решали?
Экономия
ресурсов
Сокращение SLA
первого касания
с кандидатом
Быстрое
масштабирование
Сохранение
и улучшение
качества оценки
резюме
7

8.

Процесс оценки резюме GPT моделью
1 этап
2 этап
3 этап
4 этап
5 этап
Отклик
Парсинг
резюме
Формирование
промпта
в зависимости
от вакансии
Запрос к YaGpt70b
Добавление комментария
и тега в тикет кандидата
получаем тег
и суммаризацию
для комментария
Подходит
Не подходит
Следующий этап найма —
видеоинтервью, тест и т.д.
90%
10%
Отказ
кандидату
Валидация вердикта
асессорами

9.

Парсинг резюме
Лендинги/агентства
Я Форма
01
Создается
тикет с тегом
resume_forms
02
Текст в форме
PDF с hh
Не прямой
Прямой
Отклик на HH, но резюме нет
Резюме на HH
Ссылка на hh
PDF с hh
Текст в форме
Word
03
Процесс отбирает
тикеты с тегом,
определяет тип
Ссылка на hh
HH
Word
• ссылка
АПИ hh
• текст
регулярные выражения
• PDF
перевод в XML
и парсинг из него
04
Проверка
успешности
парсинга
успех
модель
failed
асессор

10.

Как выбирали модель?
Модели классификации
Генеративная модель
CatBoost
PHEAD на базе
YaGPT
0.75
0.8
75% – 80%
0.57
+ комментарий
с обоснованием
на обучении
F1-score
на пилоте
0.46
YaGPT без дообучения
совпадения с рекрутерами
в спорных кейсах чаще модель оказывалась
права (по сравнению с асессором)
Не сработало:
• Историческая разметка субъективная / шумная
• Ответ модели НЕ интерпретируемый
12

11.

Примеры
комментариев
YaGPT
13

12.

Автоматизация разметки резюме
Охват
кол-во тикетов в месяц
% тикетов
с ML разметкой
% направлений
от всего потока
(куммулятивно)
1-13 августа 2024
85%
90%
89%
87%
5894
60%
79%
88%
Общий процент
покрытия ML
тегами
3044
2681
на 13 августа 2024
22%
76%
66%
275
219
Телемаркетинг
Дизайн
Прод
Входящий КЦ
19%
77%
Асессор-тестировщик
Модерация и генерация
контента
Тест
Документирование

13.

Динамика роста покрытия тегами
80%
Добавили 3 новых
направления
+ новые вакансии
по имеющимся
направлениям
Целевая
метрика
Добавили парсинг
с Яндекс форм
~70-75%
Стабильно,
начиная
с конца июля
0

14.

Поиск точек роста
Телемаркетинг
Дизайн
Легенда
Потенциал
для роста
Подходит
550
Не подходит
5%
1 053
Потенциал для роста
10%
1 164
11%
Модель не уверена
Ошибка парсинга
empty
Тикеты, которые не подключены
к процессу сбора резюме
Отправляются
на ручную разметку асессорам
Входящий КЦ

15.

Как было?
25
1 час
Асессоров
Модель оценивает
резюме
PTE
20%
Времени занимаются
оценкой резюме
10% — контроль модели по отказам
+ ручной разбор тикетов с ошибкой парсинга
80%
Другие задачи
10 000–15 000 шт. 2 р.
Количество резюме
оценивает модель
Оценка одного
резюме моделью
18

16.

Наши планы
Все новые заказы
с оценкой резюме
подключать к модели
80%
>85%
всех резюме оценивать
с помощью нейросети
сохранять качество модели
по отказам на этом уровне
19

17.

Будем рады обсудить
интересующие
вопросы
Алина Трифанова
@alinatrif
Алёна Акимочева
@aijedi

18.

Merhaba, Türkiye