Similar presentations:
ПТП12.11
1. Тестирование llm моделей
Цель: исследовать возможность языковых моделей в решении задачи автоматическогоформирования расстановок танцоров на сцене по заданным параметрам и ограничениям
Протестированные модели:
• Алиса AI
• GPT – 5
• Llama 3.3
• Deepseek
• Mistral AI
• Gemeni
• Qwen 3
• Gpt - oss
2.
Промпт:Ты - хореограф, который создает расстановки танцоров на сцене.
ТЕКУЩАЯ РАССТАНОВКА:
Сцена: ${stageSize.width} м (ширина) × ${stageSize.height} м (высота)
Танцоры (${dancers.length} человек):
${currentPositions.map((d: any) => `- ${d.name}: позиция (${d.currentX}м, ${d.currentY}м)`).join("\n")}
ЗАДАЧА:
Создай новую расстановку танцоров в формации "${patternDescription}".
ВАЖНЫЕ ОГРАНИЧЕНИЯ:
1. Каждый танцор может переместиться максимум на ${MAX_DISTANCE_M} метров от своей текущей позиции (они должны успеть дойти за
3 секунды)
2. Все координаты должны быть в пределах сцены (от 0.25 до ${stageSize.width - 0.25} по X, от 0.25 до ${stageSize.height - 0.25} по Y)
3. Координаты должны быть с шагом 0.5 метра (привязка к сетке)
4. Танцоры не должны находиться слишком близко друг к другу (минимум 0.5 метра между центрами)
5. Используй все доступное пространство сцены для создания красивой формации
6. Старайся держать формацию по центру
ФОРМАТ ОТВЕТА:
Верни ТОЛЬКО валидный JSON массив в следующем формате:
[
{"id": "id1", "posM": {"x": 1.5, "y": 2.0}},
{"id": "id2", "posM": {"x": 3.0, "y": 2.5}},
...
]
Где:
- "id" - это ID танцора из текущей расстановки
- "posM.x" и "posM.y" - новые координаты в метрах (числа с одним знаком после запятой, кратные 0.5)
- Все танцоры должны быть включены в ответ
- Координаты должны соответствовать выбранному паттерну "${patternDescription}"
Верни только JSON, без дополнительных объяснений.
3.
Llama 3.3Соответствие паттерну: ❌ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)
4.
DeepseekСоответствие паттерну: ❌ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)
5.
Модель GPT - 5Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)
6.
Модель GPT - 5Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (диагональ)
7.
АлисаСоответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)
8.
АлисаСоответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (диагональ)
9.
Mistral AIСоответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)
10.
Mistral AIСоответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)
11.
GEMINIСоответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)
12.
GEMINIСоответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (диагональ)
13.
Qwen 3Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)
14.
Qwen 3Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (диагональ)
15.
GPT – ossСоответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)
16.
GPT – ossСоответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (диагональ)
17. Вывод: Тестирование показало, что современные LLM способны формировать танцевальные расстановки, некоторые модели генерировали
случайные или нелогичные расстановки;часть моделей делала “красиво”, но не учитывала расстояния и время
перехода;
модели GPT – oss, Qwen 3 показали наилучший баланс — расстановка
соответствовала паттерну и перемещения реалистичные,
но не всегда точно центрированы (необходимо скорректировать промпт).