Как мы сравниваем нейросети

1. Единица сравнения

Модель, её версия, режим теста, API-предложение и приложение хранятся раздельно. Одинаковое семейство не доказывает одинаковую конфигурацию. Ссылки на связанные тесты показывают исходные идентификаторы и не используются для автоматического общего балла.

2. Рейтинг Arena

N — число конфигураций в полном срезе источника. Место сохраняется из Arena, фильтры его не меняют. Рейтинг 0–100 показывает относительное положение, не вероятность правильного ответа. Исходный rating, дата, диапазон и число сравнений доступны в карточке.

Равные значения получают одинаковый индекс. Техническая сортировка по идентификатору при равенстве не является доказательством превосходства.

3. Независимые тесты

GPQA, Mock AIME, SimpleQA, SWE-bench и Aider имеют отдельные таблицы. У Epoch используется среднее, а не лучший результат из запусков; доля переводится в проценты. ±1 SE — одна стандартная ошибка среднего в процентных пунктах.

У Aider сравнивается набор из 225 заданий; версия оболочки и формат правок сохранены. У SWE-bench показывается только серия Epoch AI / Inspect. Неизвестное соответствие режима или отсутствующее значение не заменяется нулём.

4. Сводный балл текстовых моделей

В набор входят Arena для диалога, GPQA, AIME, SimpleQA, SWE-bench Epoch и Aider. Балл считается при наличии хотя бы двух тестов. Каждый тест имеет одинаковый вес; отдельные срезы Arena для письма, кода и документов не добавляют ещё один вес. Медиа, цены и популярность в него не входят.

Для независимого теста: P = 100 × (N − R + 0,5) / N, где N — число результатов в полной таблице теста, R — середина мест, занимаемых равными результатами. Для Arena используется нормализованное исходное место. Исходные Elo и проценты напрямую не усредняются.

Результаты связываются по точной версии и режиму. Различия в записи разделителей не меняют конфигурацию; Max и xHigh остаются разными. Несколько несопоставимых запусков и пропуски не превращаются в ноль. Связанные редакционные конфигурации не дают баллов точной версии.

В каталоге рядом с баллом указано покрытие тестов; даты и состав доступны по нажатию. Наборы и даты могут отличаться, поэтому сводный балл является ориентиром по опубликованным данным. Исторические SWE-bench и Aider отмечены отдельно. В сравнении дополнительный сводный балл использует только общие тесты и требует минимум двух совпадающих тестов.

5. Стоимость API

Вход и выход задаются на запрос, N — число запросов. Кеш разделяется с обычным входом при известной ставке. Известные ступени применяются по объёму одного запроса. Если неизвестна обязательная часть тарифа, полного расчёта нет.

Не включены платные инструменты, запись кеша, налоги и комиссии. Это стоимость заданного объёма, а не цена успешного решения. Тарифы и качество относятся к разным наблюдениям.

6. Изображения, видео и аудио

Для каждого типа задач действуют отдельные правила сравнения качества, стоимости и скорости. Разные тесты не складываются в общий балл.

7. Реклама

Реклама не меняет исходные характеристики, баллы или органическое место. Рекламные размещения должны иметь явную маркировку и не получать органического номера рейтинга. Отзывы, собственные голоса, измерения скорости и отдельная оценка русского языка сейчас в расчёт не входят.