LLM в действии: успехи, возможности и ограничения с использованием языковых моделей

1.

LLM в действии:
успехи, возможности и
ограничения с
использованием языковых
моделей

2. СТАС ЖБАННИКОВ Руководитель направления машинного обучения пользовательского контента в Samokat.tech

— Team Lead DS-команды
пользовательского контента МегаМаркета
— Окончил МГУ им. Ломоносова
— Занимался квантовым машинным
обучением
tg @staszhba

3. О ЧЁМ ПОГОВОРИМ?

КТО МЫ И ЧЕМ ЗАНИМАЕМСЯ
ЧТО ТАКОЕ LLM
ВОЗМОЖНОСТИ И ОГРАНИЧЕНИЯ LLM
ВАРИАНТЫ ИСПОЛЬЗОВАНИЯ LLM
КАК МЫ ИСПОЛЬЗУЕМ LLM В КОМАНДЕ
КАЧЕСТВА КОНТЕНТА. ПРОЕКТЫ, АЛГОРИТМЫ
РЕШЕНИЯ И РЕЗУЛЬТАТЫ
TIME TO
PLAN

4.

ЧЕМ ЗАНИМАЕМСЯ В КОМАНДЕ
ПОЛЬЗОВАТЕЛЬСКОГО КОНТЕНТА
Автоматическая модерация контента перед публикацией
(отзывы, комментарии, вопросы, ответы)
Автоматизация ответов на вопросы
пользователей с генеративными моделями
Генерация метатегов веб-страниц
Генерация описаний товаров
на основе атрибутов
Определение оптимальных
размеров бонусов за отзывы
Разработка чатбота-асcистента для поиска
товаров на маркетплейсе
Разработка чатбота аналитического помощника
(SmartBI)

5.

ВОПРОС
1
ЧТО ТАКОЕ LLM?

6. ЧТО ТАКОЕ LARGE LANGUAGE MODEL

И НАСКОЛЬКО ОНА ДОЛЖНА БЫТЬ LARGE
LLM (Large Language Model):
просто языковая модель (!),
но достаточно большая
Предсказывает следующий токен
(частотное сочетание символов ~23 буквы) по входящей
последовательности.

7.

ЧТО ТАКОЕ LARGE LANGUAGE MODEL
И НАСКОЛЬКО ОНА ДОЛЖНА БЫТЬ LARGE
Отличается сложностью
выполняемых заданий

8.

ЧТО ТАКОЕ LARGE LANGUAGE MODEL
И НАСКОЛЬКО ОНА ДОЛЖНА БЫТЬ LARGE
LANGUAGE MODEL SIZES TO MAR 2023
ОТ 1B ДО 1T
ПАРАМЕТРОВ
Размер LLM измеряется
в количестве обучаемых
параметров

9.

ВОПРОС
2
ВОЗМОЖНОСТИ И ОГРАНИЧЕНИЯ LLM

10.

ОГРАНИЧЕНИЯ LLM
КАКАЯ МОДЕЛЬ АЙФОНА БЫЛА САМАЯ НОВАЯ
НА НАЧАЛО 2024?

11.

ОГРАНИЧЕНИЯ LLM
Ограничена знаниями на период
обучения

12.

ОГРАНИЧЕНИЯ LLM
ПОПРОСИМ МОДЕЛЬ
ПОСОВЕТОВАТЬ КУРС?

13.

ОГРАНИЧЕНИЯ LLM
Могут сгенерировать недоcтоверные
данные (галлюцинации)

14.

ВОЗМОЖНОСТИ LLM
01
Могут переносить знания в новую
область, решать новые задания,
описанные текстом на вход модели
(Prompt)
02
Качество генерации заметно
возрастает при использовании
нескольких примеров в промпте
(few-shot)

15.

ВОЗМОЖНОСТИ LLM
03
Информацию, необходимую для генерации
можно добавлять непосредственно в промпт
(Retrieval Augmented Generation RAG)

16.

ВОЗМОЖНОСТИ LLM
04
Для эффективного
выполнения комплексной
задачи можно использовать
мультиагентную систему
на основе LLM

17.

ВОЗМОЖНОСТИ LLM
05
RAG позволяет LLM
взаимодействовать с
внешними
инструментами
(например, поиск)

18.

ВОПРОС
3
ВАРИАНТЫ ИСПОЛЬЗОВАНИЯ LLM

19. СПОСОБЫ ИСПОЛЬЗОВАТЬ LLM

ЛИДЕРЫ ИНДУСТРИИ (ЗАГРАНИЧНЫЕ
КОМПАНИИ)
РОССИЙСКИЕ ЗАКРЫТЫЕ LLM
API
API
Модели
Качество
Скорость
Цена
Доступность в РФ
Гибкость обучения
Просто
использовать
Как использовать
LLM В ОТКРЫТОМ ДОСТУПЕ

20.

ВОПРОС
4
КАК МЫ ИСПОЛЬЗУЕМ LLM

21. ПРОЕКТЫ C LLM

РЕРАЙТ ТЕКСТА НА САЙТЕ
ОТВЕТЫ НА ВОПРОСЫ
ПОЛЬЗОВАТЕЛЕЙ
ЧАТБОТ АНАЛИТИЧЕСКИЙ
ПОМОЩНИК
ОПИСАНИЕ КАРТОЧЕК
ТОВАРОВ ДЛЯ SEO,
1Р И МЕРЧАНТОВ
ИСПОЛЬЗОВАНИЕ
В КАЧЕСТВЕ АЛЬТЕРНАТИВЫ
ТОЛОКЕ – РАЗМЕТКА ДЛЯ
ПОИСКА
ДИАЛОГОВОЙ
ЧАТБОТ ДЛЯ ПОМОЩИ
ПОКУПАТЕЛЯМ В
ПОДБОРЕ ТОВАРА

22. РЕРАЙТ ТЕКСТА НА САЙТЕ: ЧТО ЛУЧШЕ ИСПОЛЬЗОВАТЬ ОПЫТ МЕГАМАРКЕТА.

ДОЛЯ ВХОЖДЕНИЯ МОДЕЛЕЙ В TOP 1
0,5
0,4
0,3
0,2
0,1
0

23. ОПИСАНИЕ КАРТОЧЕК ТОВАРОВ

ПРОСТО ПОСАДИТЬ РАБОТАТЬ КОПИРАЙТЕРОВ
НА ФРИЛАНСЕ?
560 000 руб.
за 30 тыс. товаров
50 руб. за 1000 знаков
300-500 знаков на товар
30 млн
уникальных карточек
товаров на маркетплейсе

24. ОПИСАНИЕ КАРТОЧЕК ТОВАРОВ

КАК ПОЛУЧАЕТСЯ У ИИ?

25.

ГЕНЕРАЦИЯ ОПИСАНИЙ ДЛЯ ПРОДАВЦОВ

26.

27.

РЕЗУЛЬТАТЫ?
ПРОФЕССИОНАЛЬНЫЙ КОПИРАЙТЕР ИЗ МОДЕЛИ НЕ ПОЛУЧИЛСЯ
Собственные
закупки
До уровня копирайтера
моделям далеко: не
умеют искать сайт
производителя и брать
проверенную
информацию
50%
описаний
подходит
Продавцы вообще не
хотят делать
описание
Если сделают
за меня – будет здорово

28. ОТВЕТЫ НА ВОПРОСЫ ПОЛЬЗОВАТЕЛЕЙ

Да, в этом описании товара указано,
что поддерживается одна
физическая SIM-карта и форматы
SIM-карт — nano-sim и eSIM.

29. АВТОМАТИЧЕСКАЯ ГЕНЕРАЦИЯ ОТВЕТОВ НА ПОЛЬЗОВАТЕЛЬСКИЕ ВОПРОСЫ

ОТВЕТ НА ЧАСТЬ ПОЛЬЗОВАТЕЛЬСКИХ
ВОПРОСОВ МОЖЕТ БЫТЬ ПОЛУЧЕН НА
ОСНОВЕ ИЗВЕСТНЫХ АТРИБУТОВ ТОВАРА:
УСЛОВИЙ ДОСТАВКИ/АКЦИЙ БЕЗ ПОИСКА
ДОПОЛНИТЕЛЬНОЙ ИНФОРМАЦИИ
ПРОЦЕСС ОТВЕТА НА ТАКИЕ ВОПРОСЫ МОЖНО
АВТОМАТИЗИРОВАТЬ, ГЕНЕРИРУЯ ОТВЕТ
НА ОСНОВЕ ИМЕЮЩЕЙСЯ ИНФОРМАЦИИ
НЕОБХОДИМО БЫТЬ УВЕРЕННЫМ, ЧТО НА
ВОПРОС ДЕЙСТВИТЕЛЬНО МОЖНО ОТВЕТИТЬ
АВТОМАТИЧЕСКИ И ЧТО ОТВЕТ КОРРЕКТНЫЙ
Можно использовать
как подсказку для
специалиста
Снижается нагрузка
на специалистов,
отвечающих на
вопросы вручную
Снижается среднее
время ответа на
пользовательский
вопрос

30. РАЗМЕТКА ДЛЯ ПОИСКА

ChatGPT
vs
70%
КОРРЕКТНЫХ
ОТВЕТОВ

31. МЕТАТЕГИ ВЕБ-СТРАНИЦ МАРКЕТПЛЕЙСА. SEO ОПТИМИЗАЦИЯ

Title — название страницы, которое видно
в результатах поиска. Этот тег — самый
важный для продвижения. Если title не
прописан, в заголовок сниппета попадет
url-адрес, который ни о чем не говорит
пользователю. Тег должен присутствовать
у каждой страницы сайта.
Description — описание страницы, которое
показано в сниппете. Оно дополняет title и
служит его логическим продолжением.
Если не прописывать description, алгоритм
поисковика вставит в сниппет
произвольный фрагмент текста
с ключевым словом.

32. МЕТАТЕГИ ВЕБ-СТРАНИЦ МАРКЕТПЛЕЙСА. SEO ОПТИМИЗАЦИЯ

ГЕНЕРАЦИЯ МЕТАТЕГОВ СТРАНИЦ МАРКЕТПЛЕЙСА
ЗАПРОС
ЧАСТОТА
системный блок купить
персональный компьютер
сколько стоит системный блок
системные блоки цены
современный пк
купить собранный компьютер
купить новый компьютер в москве
пк цена
купить готовый системный блок для компьютера
системный блок в сборе цена
нормальный компьютер цена
системный блок компа
сколько стоит нормальный пк
компьютеры системные блоки купить
магазин купить компьютер
цены на компы
компы в москве
сборные системные блоки
интернет магазины компьютеров в москве
где купить стационарный компьютер
1344
1343
47
13
13
12
10
9
8
4
4
3
2
1
1
1
1
1
1
1
[компьютеры системные блоки
купить, персональный компьютер]
->
Компьютеры системные блоки купить персональный компьютер
в Москве, цены в интернетмагазинах на МегаМаркет

33.

ГЕНЕРАЦИЯ МЕТАТЕГОВ СТРАНИЦ МАРКЕТПЛЕЙСА
крутая видеокарта , купить хорошую видеокарту ->
[крутая видеокарта], [купить хорошую видеокарту ->
Крутые видеокарты - купить хорошую видеокарту в
Москве цены в интернет-магазинах на МегаМаркет
ПРИМЕРЫ ГЕНЕРАЦИИ
ТАЙТЛОВ:
(НЕСКОЛЬКО ЭТАПОВ)
детские кукольные домики , кукольный домик москва ->
[детские кукольные домики], [кукольный домик в Москве]
->Детские кукольные домики - купить кукольный домик в
Москве цены в интернет-магазинах на МегаМаркет
наборы лего купить в интернет магазине -> [наборы лего],
[купить наборы лего в интернет-магазинах] -> Наборы LEGO купить набор LEGO в интернет-магазинах в Москве цены на
МегаМаркет

34.

ЧАТБОТ
АНАЛИТИЧЕСКИЙ
ПОМОЩНИК

35.

ЧАТБОТ-ПОИСКОВИК
НА МАРКЕТПЛЕЙСЕ
▪
Выступит в качестве консультанта,
посоветует на что обратить внимание
▪
Определится с желаемыми
характеристиками вместе
с покупателем
▪
Проведёт поиск внутри маркетплейса
с учетом всех пожеланий из диалога
▪
В ответ вернёт ссылку на товар или
покажет его в интерфейсе

36. ЧАТБОТ-ПОИСКОВИК НА МАРКЕТПЛЕЙСЕ

ЧАТБОТ ДИАЛОГ MVP

37.

ВМЕСТО ЗАКЛЮЧЕНИЯ
НАМ НУЖНА ПОМОЩЬ ОПЫТНЫХ
ПРОДАВЦОВ В РАЗЛИЧНЫХ КАТЕГОРИЯХ
Будут крайне полезны советы
экспертов в различных категориях
товаров;
Бот будет консультировать
пользователей по вашему шаблону;
Будем благодарны, если предложите
коллеге помочь нам с проектом.

38.

ВОПРОСЫ?
ЧТОБЫ ВЫСТУПИТЬ ЭКСПЕРТОМ,
ЗАПОЛНИТЕ ФОРМУ
УЧАСТВОВАТЬ