«Поле чудес», «Данетки» и «Элиас» помогут проверить, насколько хорошо нейросети умеют рассуждать, запоминать предыдущие ответы и не противоречить самим себе. «Яндекс» и Школа анализа данных (ШАД) открыли доступ к MTGBench — набору тестов из семи текстовых игр. В испытаниях участвовали 16 языковых моделей, а результаты сравнили с ответами людей. Научную работу о проекте опубликовали в сборнике Findings of EMNLP 2026.
Обычный тест задаёт нейросети вопрос и проверяет ответ. Но в реальном разговоре задача часто меняется по ходу дела — появляются новые условия, приходится учитывать предыдущие решения и исправлять ошибки. MTGBench проверяет, способна ли модель справляться с такими многоэтапными задачаДми.
В набор вошли семь игр — Wordle, «Города», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Элиас». В одних нужно угадать слово по подсказкам, в других — выяснить обстоятельства загадочной ситуации, подобрать подходящие слова или определить предмет по его свойствам. Следующий ход зависит от предыдущих ответов, поэтому одной удачной догадки недостаточно.
Разработчики оценивали не только итоговый результат, но и то, сколько ходов потребовалось модели для решения задачи. В четырёх играх ответы проверяются алгоритмами. В остальных трёх используется специальная языковая модель-судья, которую дополнительно проверили люди. Задания подготовили на русском и английском языках не простым переводом, а отдельно для каждого языка.
Испытания показали, что результат сильно зависит от типа игры
Режим пошаговых рассуждений особенно полезен там, где нужно работать с буквами, символами и подсказками, отбрасывая неподходящие варианты. В заданиях на знания и понимание смысла преимущество оказалось менее выраженным и различалось от модели к модели. Высокий результат в одной игре также не гарантировал успеха в остальных.
Ещё одна закономерность — нейросети в целом хуже справлялись с заданиями на русском языке, чем на английском. При этом сильнейшие модели с включённым режимом рассуждений смогли сравняться с людьми или превзойти их по результатам всего набора тестов. В исследовании использовали человеческую базу из 476 игровых сессий.
MTGBench опубликован в открытом доступе. Его могут использовать разработчики и исследователи, чтобы сравнивать языковые модели по отдельным навыкам и выбирать подходящие решения для конкретных задач. Авторы также отмечают, что результаты разных игр отражают разные стороны рассуждения.
Читайте ещё материалы по теме:
- Среднестатистический россиянин оказался умнее ИИ: учёные ЮФУ провели исследование с использованием архива игры «Что? Где? Когда?»
- ИИ-агентам устроили экзамен на офисную работу: «Сбер» выпустил открытый бенчмарк Cowork Bench
- MERA Code: первый открытый бенчмарк для оценки русскоязычных ИИ-моделей в программировании