Предпочтение ответа и правильность решения
В таблице предпочтений выбирают более удачный ответ из пары. В тесте с проверяемым результатом считают долю решённых заданий. Эти числа отвечают на разные вопросы: удобный, убедительный текст может содержать ошибку; правильное решение может быть изложено неудачно.
Arena в каталоге показана с исходным rating и отдельным относительным индексом. GPQA, Mock AIME, SimpleQA, SWE-bench и Aider показаны в процентах в собственных таблицах. Мы не складываем исходный rating с процентом решённых заданий.
Что означает индекс 0–100 в Arena
Индекс показывает положение конфигурации в сохранённой базе конкретного профиля. Он не означает «процент интеллекта» и не равен вероятности правильного ответа. При фильтрации каталога база не меняется: выбор разработчика не должен искусственно улучшать оценку модели.
Сравнивайте индексы только вместе с названием профиля и датой среза. Разница индексов зависит от состава участников. Она не измеряет, во сколько раз одна модель лучше другой.
Версия, режим и окружение входят в результат
Суффиксы high, max, xhigh и none — часть записи источника. Их нельзя незаметно считать взаимозаменяемыми. Даже когда название семейства совпало, тест мог использовать другой снимок модели или другой бюджет рассуждений.
Для задач программирования важна ещё и оболочка: какие файлы были доступны, как применялись правки, сколько было попыток. Поэтому таблица SWE-bench от одного организатора не объединена с результатами другого агента; у Aider сохранены формат правок и версия инструмента.
Неопределённость и возраст данных
Значение ±1 SE у Epoch — одна стандартная ошибка среднего, выраженная здесь в процентных пунктах. Это не 95-процентный интервал. Если показатели близки, такой разброс особенно важен для интерпретации. Отсутствующая ошибка среднего обозначена прочерком.
Дата проверки выгрузки показывает, когда мы получили файл. Дата запуска показывает возраст измерения. Сегодняшняя загрузка не превращает старый результат в новое тестирование. Исторические данные полезны для конкретных старых версий, но не заменяют оценок новых выпусков.
Почему нет единственного победителя
Для общего балла пришлось бы выбрать веса задач, привести шкалы к сопоставимому виду и доказать соответствие конфигураций. Такие решения меняют порядок моделей. Пока этих оснований нет, отдельные таблицы дают больше проверяемой информации, чем один непрозрачный рейтинг.
Используйте баллы как один слой выбора. Затем проверьте цену, контекст, нужные функции и доступ к предложению. Рекламное размещение, если оно появится, будет отделено от органической позиции и не изменит измерения.