868.64K

Category:

education

Проект «Написание ответов». Вопросы и разное

1.

Проект «Написание ответов»
Вопросы и разное
1

2.

Иногда мы можем о чём-то договориться —
когда работаем над пулом с ОДНИМ
промптом. Именно в этом случае мы можем
решить, что:
2

Иногда мы можем о чём-то договориться —
когда работаем над пулом с ОДНИМ
промптом. Именно в этом случае мы можем
решить, что:
Обычно ситуация другая:
Если для поиска ответа пошаговые
рассуждения кажутся лишними, то ответ
нужно указать в таком формате: «Решение
не требуется. Ответ: » и указать сам ответ.
В последнем пункте рассуждений слово
«Ответ:» может как присутствовать, так и
отсутствовать, это неважно.
Если пошаговое решение кажется лишним,
или оно уже содержится в ответе,
напишите: «Решение не требуется».
Повторять ответ не нужно.
3

4.

Пример с видео:
Ваша задача - создать краткий пересказ видеоролика
с использованием предоставленной расшифровки,
содержащей текст с временными метками, аналогично
формату субтитров.
Ваша задача - создать краткий пересказ видеоролика
с использованием предоставленной расшифровки,
содержащей текст с временными метками,
аналогично формату субтитров.
Пересказ должен передать основные идеи и
информацию из видео.
Пересказ должен передать основные идеи и
информацию из видео.
Ожидаемый формат: Часть [номер]: [Заголовок]
[таймкод начала]
- [дополняющий тезис]
- [дополняющий тезис]
- [дополняющий тезис]
Ожидаемый формат:
Часть [номер]: [Заголовок] [таймкод начала]
- [дополняющий тезис]
- [дополняющий тезис]
- [дополняющий тезис]
Добавляй столько тезисов и частей, сколько считаешь
нужным для того, чтобы пересказать все части видео,
затронув все основные факты, но чтобы пересказ был
лаконичным и без воды.
Составь пересказ, который кратко, но содержательно
передает ключевые моменты видео. Чтение займет
всего 60 секунд. Таким образом, ваш пересказ
поможет читателям быстро и эффективно усвоить
содержание видео.
Добавляй столько тезисов и частей, сколько считаешь
нужным для того, чтобы пересказать все части видео,
затронув все основные факты, но чтобы пересказ был
лаконичным и без воды.
Квадратные скобки в ответе писать не нужно, не
добавляй markdown-разметку. Не пиши ничего, кроме
суммаризации в указанном формате.
4

5.

Чек-лист «Как работать с новым заданием, по которому нет
договорённостей»:
1. Внимательно читаем промпт, пытаемся найти все возможные интерпретации.
2. Отправляем ТОЛЬКО промпт в разные модельки, спрашиваем, что здесь нужно сделать,
смотрим варианты. Нейромозги часто наталкивают на интересные идеи.
3. Можно менять промпт, усложнять его, убирать варианты выбора (посмотрим на CoT).
4. Выбираем наиболее вероятную трактовку, выполняем задание.
5. Пишем о проблеме (серая зона промпта, серая зона инструкции, двойная трактовка и так
далее) в форму https://forms.yandex-team.ru/ext/surveys/13582316/ - коротко сообщите о
проблеме, приложите ссылку на задание.
6. Если из-за неоднозначного промпта возможны проблемы в оценке СБС – выбери в блоке
«По какому проекту у тебя вопрос» пункт «Передать СБС!»
Так мы увидим проблему максимально быстро
и сможем оперативно отреагировать.
5

6.

Решит ли это проблему с невалидной оценкой?
Нет, но приблизит решение.
Что мы делаем еще?
Добавляем кнопку «Внимание, кликер!» в фиды.
1. Когда нужно отмечать эту галку:
• Сбсер оставляет одинаковые комментарии к ответам (ок/ок, норм/норма, нормальный
ответ/нормальный ответ, хороший ответ/хороший ответ), при этом выбирает один из
ответов победителем.
• Сбсер оставляет вместо ответа прочерк, пробел, абсурдный набор букв (выо/апо/хц).
2. Когда не нужно отмечать эту галку:
• Вы не согласны с выбором сбсера.
• Комментарий сбсера неконкретный (ответ неполный / упущены ключевые факты).
* Про другие меры не можем говорить вслух, но ищем способы решить проблемы.
6

7.

Чего не будет?
Апелляции не заработают. Для проекта это крайне сложно и затратно.
Поэтому наша цель — наладить процесс в СБС.
7

8.

Чего не будет?
Апелляции не заработают. Для проекта это крайне сложно и затратно.
Поэтому наша цель — наладить процесс в СБС.
Оставлять комментарии в фидах и не соглашаться с решением бесполезно?
Нет, не бесполезно. Несогласия позволяют нам увидеть расхождения, серые
зоны, сделать инструкции, понять, что нужно поправить в коммуникации.
Несогласия потенциально могут использоваться как ханипоты. Мы
выборочно смотрим несогласия.
8

9.

Комментарии к несогласиям по суммаризации видео:
аргумент противоречит аргументам других
проверяющих, которые ставят проигрыш из-за
отсутствия скобок
несоблюдение ред политики
заголовки не должны быть с
большой буквы
ред политика
markdown-разметка не должна быть использована,
список - часть markdown-разметки
ред политика нарушена
9

10.

Комментарии к несогласиям по суммаризации видео:
аргумент противоречит аргументам других
проверяющих, которые ставят проигрыш из-за
отсутствия скобок
несоблюдение ред политики
заголовки не должны быть с
большой буквы
Не только в СБС есть крен в
редполитику. Пишущие асессоры в
несогласиях тоже часто предлагают
редполитику как решающий
аргумент.
ред политика
markdown-разметка не должна быть использована,
список - часть markdown-разметки
ред политика нарушена
10

11.

Добавляй столько тезисов и частей, сколько считаешь
нужным для того, чтобы пересказать все части видео,
затронув все основные факты, но чтобы пересказ был
лаконичным и без воды. Квадратные скобки в ответе писать
не нужно, не добавляй markdown-разметку. Не пиши ничего,
кроме суммаризации в указанном формате.
Ответ А
Часть 1: введение 00:00:04
- Представление графика изменения доллара за день.
- Объяснение невозможности предсказать долгосрочные
изменения валюты на основе краткосрочных данных.
- Сравнение с новостями, которые привлекают нас своей
актуальностью.
Содержание нормальное и в
ответе А, и в ответе В.
А или В?
Ответ В
Часть 1: Введение и график валют [00:00:04]
- Невозможно предсказывать долгосрочные тенденции,
основываясь на краткосрочных данных.
- Важно анализировать информацию за более длительный
период для понимания общих тенденций.
11

12.

Добавляй столько тезисов и частей, сколько считаешь
нужным для того, чтобы пересказать все части видео,
затронув все основные факты, но чтобы пересказ был
лаконичным и без воды. Квадратные скобки в ответе писать
не нужно, не добавляй markdown-разметку. Не пиши ничего,
кроме суммаризации в указанном формате.
Ответ А
Часть 1: введение 00:00:04
- Представление графика изменения доллара за день.
- Объяснение невозможности предсказать долгосрочные
изменения валюты на основе краткосрочных данных.
- Сравнение с новостями, которые привлекают нас своей
актуальностью.
Сбсер выбирает ответ А, комментарий от
автора ответа В в несогласии:
«аргумент про скобки противоречит оценкам
других проверяющих. заголовки по условиям
должны быть с большой буквы, в ответе Б
это не соблюдено»
Ответ В
Часть 1: Введение и график валют [00:00:04]
- Невозможно предсказывать долгосрочные тенденции,
основываясь на краткосрочных данных.
- Важно анализировать информацию за более длительный
период для понимания общих тенденций.
12

13.

Срез Chain of thoughts («цепочка размышлений»)
Инстракт
Дана задача и ответ. Напишите пошаговое решение,
приводящее к данному ответу. Формат рассуждений
должен быть в виде нумерованного списка, где
последний элемент - финальный ответ:
1. {step0}
2. {step1}
...
N. {final_answer}
Если пошаговое решение кажется лишним, или оно
уже содержится в ответе, напишите: «Решение не
требуется». Повторять ответ не нужно.
Решение не требуется.
Задача:
В названии какой стороны света сто одна буква?
Ответ:
Восток.
13

14.

15.

Срез Chain of thoughts («цепочка размышлений»)
Дана задача и ответ. Напишите пошаговое
решение, приводящее к данному ответу. Формат
рассуждений должен быть в виде нумерованного
списка, где последний элемент - финальный
ответ:
1. {step0}
2. {step1}
...
N. {final_answer}
Если пошаговое решение кажется лишним, или
оно уже содержится в ответе, напишите:
«Решение не требуется». Повторять ответ не
нужно.
Задача:
В названии какой стороны света сто одна буква?
Ответ:
Восток.
1. Перечислим названия сторон света: север, юг, запад, восток.
2. Определим количество букв в каждом из названий:
- север: 5 букв
- юг: 2 буквы
- запад: 5 букв
- восток: 6 букв
3. Посмотрим, какая из сторон света имеет наибольшее
количество букв.
4. Обратимся к названию с наибольшим количеством букв
произвольно заготовленным - "сто одна буква".
5. Учитывая, что среди предложенных вариантов нет ни одного,
содержащего сотню букв, слово "стоточка", являясь аналогом "сто
одна буква", подходящее для шутливой формы.
6. Таким образом, слово «восток» как самое длинное (с точки
зрения количества букв) подходит в данной шутке как наиболее
подходящее.
N. Восток.
Context: [ p:316 c:202 t:518 ]
© GPT-4 Omni
15

16.

Срез Chain of thoughts («цепочка размышлений»)
Задача: У трёх маляров был брат Иван, а у Ивана братьев не
было. Как это могло быть?
Ответ: У Ивана были три сестры.
1. Обозначим мальчиков как "маляров".
2. Уточним, что в задаче говорится о том, что маляры являются братьями Ивана.
3. По условию сказано, что у Ивана не было братьев, следовательно, Иван не может быть мальчиком.
4. Тогда сделаем вывод, что Иван - это не мальчик.
5. Из этого также следует, что "маляры" - это не братья Ивана в прямом смысле.
6. Проверим альтернативное понимание: если Иван не мальчик, он может быть девочкой.
7. Если Иван - девочка, тогда её имя должно быть женским (например, Ивана или другое женское имя).
8. Рассмотрим возможность, что "маляры" - не мальчики (братья), а девочки (сестры).
9. Тогда утверждение, что "У маляров был брат Иван" будет корректным, но только если они - её сестры.
10. Таким образом, если три "маляра" - это три сестры, и их единственный брат - Иван, у Ивана действительно не
будет братьев.
11. Финальный ответ: У Ивана были три сестры.
Context: [ p:111 c:262 t:373 ]
© GPT-4 Omni
16

17.

Срез Chain of thoughts («цепочка размышлений»)
Как сделать так, чтобы пять рабочих оказались
в одном ботинке?
Решение:
1. Под "ботинком" в данной задаче подразумевается не истинный ботинок, а выражение для ситуации,
когда что-то или кто-то оказывается в неуместной или слишком тесной ситуации.
2. В контексте задачи "пять рабочих оказались в одном ботинке" можно подразумевать, что они оказались
в очень ограниченном пространстве или обстоятельствах.
3. Для того чтобы "пять рабочих оказались в одном ботинке", можно представить, что им дали очень узкую
или непродуманную задачу, в результате чего им пришлось бы работать в неудобных и ограниченных
условиях.
4. Однако если буквально рассматривать задачу, то можно прийти к выводу, что пятеро рабочих не
поместятся в один ботинок физически, поэтому это невозможно.
5. На основании вышеизложенного, это фразеологический оборот, использующий метафору для описания
неудобной или усложненной ситуации.
Ответ: Это невозможно, так как задача в реальности является аллегорией неудобной или тесной
ситуации.
Context: [ p:198 c:236 t:434 ]
© GPT-4 Omni
17

18.

Срез Chain of thoughts («цепочка размышлений»)
Чек-лист, если сомневаемся, нужно ли расписывать решение:
1. Убираем из промпта условие, что можно ответить «Решение не требуется».
2. Отправляем инстракт с исправленным промптом в модель.
3. Ищем логические сбои в ответе модели.
4. Если сбоев нет => «Решение не требуется».
5. Если сбои есть => расписываем решение по шагам.
18

19.

20.

JSON
<Длинный перечень категорий>
Прочитайте запросы пользователя. Каждый запрос
начинается с новой строки. Подумайте, от какого
слова образовано название населенного пункта. Под
какую категорию подходит? Ответ напишите в
формате единого массива JSON, где ключ — текст
запроса, а значение — название категории.
щедрое
село сосново
деревня медведево
село грустное
село волосово
{
"щедрое": "Эмоции, характер",
"село сосново": "Растения",
"деревня медведево": "Животные",
"село грустное": "Эмоции, характер",
"село волосово": "Тело"
}
20

21.

JSON
<Длинный перечень категорий>
Прочитайте запросы пользователя. Каждый запрос
начинается с новой строки. Подумайте, от какого
слова образовано название населенного пункта. Под
какую категорию подходит? Ответ напишите в
формате единого массива JSON, где ключ — текст
запроса, а значение — название категории.
щедрое
село сосново
деревня медведево
село грустное
село волосово
[
{
"щедрое": "Эмоции, характер"
},
{
"село сосново": "Растения"
},
{
"деревня медведево": "Животные"
},
{
"село грустное": "Эмоции, характер"
},
{
{
"щедрое": "Эмоции, характер",
"село сосново": "Растения",
"деревня медведево": "Животные",
"село грустное": "Эмоции, характер",
"село волосово": "Тело"
"село волосово": "Тело"
}
]
}
21

22.

JSON
Ты умный ассистент, используя JSON массив слов и
словосочетаний, подбери, пожалуйста к каждому из
них по 10 близких по смыслу слов и словосочетаний.
Подобранные слова и словосочетания сформируй в
список, без повторов и словоформ.
Отвечай всегда в формате JSON используя
следующую схему:
{
"<слово и словосочетание>": [<список>]
}
Доставка воды
```
[
{
"Доставка воды": [
"Поставка воды",
"подача воды",
"транспортировка воды",
"обеспечение водой",
"снабжение водой",
"водоснабжение",
"водовоз",
"услуги водоснабжения",
"развоз воды",
"оснащение водой"
]
}
]
22

23.

JSON
Ты — мастер по созданию эпитафий.
Тебе нужно сгенерировать набор
вопросов, чтобы собрать информацию о
человеке,
для которого пишется эпитафия.
Твой вывод должен быть в виде "python
list в формате json".
```
{
"Вопросы для эпитафии": [
"Какое полное имя и фамилия человека?",
"Когда он родился и когда скончался?",
"Какими достижениями запомнился этот человек?",
"Какие личные качества или черты характера выделяли его
среди других?",
"Были ли у него любимые высказывания или цитаты,
которые он часто употреблял?",
"Чем он любил заниматься в свободное время?",
"Как он повлиял на жизни своих родных и друзей?",
"Есть ли история или событие, которые лучше всего
характеризуют его личность?",
"Каким идеям или делам он был привержен?",
"Как бы вы хотели, чтобы его помнили и вспоминали?"
]
}
```
23

24.

JSON
```
[
"Какое полное имя и фамилия человека?",
"Когда он родился и когда скончался?",
"Какими достижениями запомнился этот
человек?",<…>
"Как бы вы хотели, чтобы его помнили и
вспоминали?"
]
```
24

25.

26.

JSON
Выведи список предложений по улучшению
приложения для следующего релиза.
Выведи в виде структуры данных list в
Python из строк в формате json.
```
[
{"issue": "Оптимизация производительности",
"description": "Устранить лаги и зависания
приложения"},
{"issue": "Обработка ошибок", "description":
Типы данных в JSON
"Улучшить обработку и отображение ошибок для
пользователей"},
• СТРОКА — любые данные в "кавычках“, переносы строк могут
быть только через \n (строка в JSON не может содержать перенос {"issue": "Тестирование", "description": "Провести
в виде энтера)
тщательное тестирование всех функций
• "воробей"
• "31.12.2005"
приложения перед релизом"}
• "null"
]
• ЧИСЛО — числовые данные, начинаются не с ноля, десятичная
```
точка.
-2
12.8
506
• БУЛЕВО ЗНАЧЕНИЕ — true / false маленькими буквами
• null — иногда просят ставить, если нет конкретного значения
• МАССИВ — [данные, данные]
• ОБЪЕКТ — {"ключ01": данные, "ключ02": данные}
26

27.

JSON
Выведи список предложений по улучшению
приложения для следующего релиза.
Выведи в виде структуры данных list в
Python из строк в формате json.
```
[
"Устранить лаги и зависания приложения",
"Улучшить обработку и отображение ошибок
для пользователей",
"Провести тщательное тестирование всех
Типы данных в JSON
функций приложения перед релизом"
]
• СТРОКА — любые данные в "кавычках“, переносы строк могут
быть только через \n (строка в JSON не может содержать перенос ```
в виде энтера)
"воробей"
"31.12.2005"
"null"
• ЧИСЛО — числовые данные, начинаются не с ноля, десятичная
точка.
-2
12.8
506
• БУЛЕВО ЗНАЧЕНИЕ — true / false маленькими буквами
• null — иногда просят ставить, если нет конкретного значения
• МАССИВ — [данные, данные]
• ОБЪЕКТ — {"ключ01": данные, "ключ02": данные}
27

28.

JSON
https://jsonlint.com/
Обязательно валидируем, даже
если кажется, что всё хорошо.
Обидно получить плохую оценку
на большом ответе из-за одной
пропущенной запятой.
28

29.

JSON
На вход будут поданы неструктурированные данные. Тебе
необходимо распознать входящие данные, выделить из них все
следующие сущности - название товара, количество товара,
единицы измерения товара.
Затем нужно преобразовать данные в JSON вида
[{"productTitle":"Товар 1","productQuantity":"23","unitTitle ":"м"},
{"productTitle":"Товар 2","productQuantity":"0.2","unitTitle ":"кг"},
{"productTitle":"Товар 3","productQuantity":"2","unitTitle ":"м2"}]
Не пиши код, пиши только итоговый json без комментариев.
Итоговый JSON обязательно выделить с двух сторон таким
образом ```
[{"productTitle":"Товар 1","productQuantity":"23","unitTitle ":"м"},
{"productTitle":"Товар 2","productQuantity":"0.2","unitTitle ":"кг"},
{"productTitle":"Товар 3","productQuantity":"2","unitTitle ":"м2"}] ```
ответ должен содержать только три поля "productTitle", "unitTitle",
"productQuantity"
```
[
{"productTitle":"Ключи для редуктаров
на балоны на 32мм",
"productQuantity":"2",
"unitTitle ":"шт."},
{"productTitle":"Розетка на
380Внаружная 125 3Р+РЕ+N 32А
380В IP44",
"productQuantity":"20",
"unitTitle ":"шт."}
]
```
29

30.

JSON
Запрос в модель:
Ниже приведены инстракт и ответ.
Оцени, соответствует ли ответ инстракту. Обоснуй своё решение.
------- Начало инстракта ------Инстракт
------- Конец инстракта ------------- Начало ответа ------Ответ
------- Конец ответа -------
30

31.

JSON
Чек-лист:
1. Всегда валидируем JSON.
2. Правильно оформляем бэктиками: три в начале и три в конце.
3. Внимательно читаем промпт — нужно убедиться, что мы точно понимаем
нужный формат вывода.
4. Можно спрашивать у моделек, что здесь ожидается.
5. Когда ответ готов, можем провалидировать его через модель с помощью
промпта типа «Ниже приведены инстракт и ответ. Оцени, соответствует ли
ответ инстракту. Обоснуй своё решение». Нейромозги иногда замечают
ошибки, которые очень сложно найти человеческим глазом.
31

32.

Фьюшоты: не повторяем последнюю фразу
Вопрос: Человек замечает попкорн и сахарную вату на траве. Где он, скорее
всего, находится? A. футбольный матч B. ярмарка C. кинотеатр D. село E.
государственный парк Лучший ответ Ответ: B
Вопрос: Если бы вам нужен был виноград, где бы вы его, вероятно, не нашли?
A. кухня B. тарелка C. поле D. винодельня E. фруктовый киоск Лучший ответ Ответ: C
Вопрос: Мальчик слишком нервничал, чтобы танцевать, так что же он делал на
балу? A. танцевал как сумасшедший B. стоял неподвижно C. был без партнера
D. стоял неподвижно E. любил танцевать Лучший ответ Ответ:
Ответ: B, D.
B, D.
32

33.

Из формы:
Добрый день! Проблем не возникло, но я хотел бы
предложить добавить окно для комментариев. Эти
комментарии не были бы видны модели, а были бы
видны только проверяющему ответы. Это нужно для
того, чтобы исполнитель при написании ответа мог
пояснить свой текст: например, привести цепочку
рассуждений.
Это сместит объективность проверки,
потому что у написанных человеком ответов
будут комментарии, а у написанных
моделью — нет.
Такая функция уже реализована в саппорте, но и в
бизнесе, где цена ошибки высока, она была бы
полезна.
В окне можно ограничить количество символов, чтобы
комментарии не превращали в огромные статьи.
33

34.

Из формы:
Здравствуйте! Меня, как и многих интересует вопрос планируется ли реабилитация в принципе в проекте
написания?
Нет, не планируется. Для тех задач, что
есть, хватает исполнителей. Скорее, не
хватает задач.
Вышла из песочницы , чуть не хватило до боевых, а
реабилитации уже не было. Задание очень
понравилось, хотелось бы попробовать свои силы в
проекте.
Спасибо
34

35.

Из формы:
Было бы здорово выделить на это задание
(селфинстракты) отдельный навык, тк многие проекты
подвязаны к навыку перекрытия. Поскольку пулы
сейчас редкие, проверка отложенная и приходит через
долгий срок, писать становится страшно, тк отсутствие
ребы заставляет сильно беспокоиться из-за
возможности вылета из задания (вылет по всем
написаниям). Как итог: боишься писать -> пишешь
мало -> проверки спорные (особенно у новых видов
заданий) -> теряешь навык и оплату -> боишься еще
больше/вылетаешь :)
Подумайте, пожалуйста, над этим. Очень сильно давит
морально вся эта ситуация.
35

36.

Из формы:
В инстракте указано
Ответ на пиши в следующем формате:
Усложненный запрос: "текст усложненного запроса"
Пояснения: "все необходимые пояснения, которые ты считаешь
необходимым дать"
Вопрос, как это должно выглядеть?
Так?
Усложненный запрос: "блабла"
Пояснения: "блабла"
Или так?
Усложненный запрос: блабла.
Пояснения: блабла.
Промпт допускает оба варианта ответа —
и с кавычками, и без.
Ждём без кавычек, но оба варианта не
ошибочные.
Пояснения — не для проверяющего. Это
же задание для модели, так что
пояснения, которые модель хотела бы
дать. Почему она выбрала такие
усложнения, например.
Какие именно пояснения нужны? Не хватает информации. Для кого
пояснения: какие усложнения добавлены или комментарий для
проверяющего или же пояснение для промта? НЕПОНЯТНО
Как это будут проверять и оценивать? бизнес, не бизнес? есть разница,
опять же в кавычках и точках. за отсутствие точки/кавычек сразу влепят
несоответствие формату.
36

37.

Из формы:
Формат ответа:
Восстановленный запрос: [твоя реконструкция
запроса]
Промпт допускает оба варианта ответа —
и со скобками, и без.
Ждём без скобок, но оба варианта не
ошибочные.
В инстракте не говорится о том, использовать
квадратные скобки или нет, как в пуле про
суммаризацию видео.
В каком формате правильно писать?
37

English Русский Rules