- Результат
- Популярность
- Нет данных

Исправление задач в репозиториях в окружении Epoch AI / Inspect.
Результат относится к модели вместе с окружением запуска. Не смешивается с таблицами других агентов и настроек SWE-bench. Обновление выгрузки не меняет дату старого теста. Места рассчитаны по всей таблице теста; поиск и сортировка их не меняют. Одинаковый результат означает одинаковое место. Оценки разных таблиц не усредняются.
| # | Модель / разработчик | Где использовать | ||
|---|---|---|---|---|
| 6 | deepseek-v4-pro_maxDeepSeek | — | — |
Наличие точной версии и режима в сервисе зависит от тарифа. Ссылки ведут к условиям продукта.
Сначала найдите нужную версию и режим. Сравнивайте результаты в рамках одного теста и учитывайте дату. Небольшая разница в баллах при заметной ошибке среднего не доказывает превосходство модели.
Для Epoch выбран последний датированный запуск для каждого точного идентификатора, если источник содержит несколько записей. Средний результат переведён в проценты. Поле «лучший результат» не подставляется вместо среднего. Для Aider показана доля решённых задач после двух попыток на наборе из 225 заданий; версии оболочки и форматы правок доступны в подсказке к результату.
Подробнее о выборе по рейтингамИсточник: Epoch AI · CC BY 4.0. Изменения LLMXP: отбор записей, перевод подписей и единиц, сортировка. Задания и ответы моделей не публикуются.