Три разных результата
Ответ на вопрос о коде, правка небольшой программы и исправление задачи в репозитории — разные работы. В первом случае важны объяснение и полезность ответа; в остальных требуется применить изменения и пройти проверку. Один балл не охватывает все три сценария.
Поэтому в LLMXP есть профиль предпочтений Arena Coding, отдельная таблица Aider Polyglot и SWE-bench Verified в окружении Epoch AI. Название теста всегда остаётся рядом с числом.
Что смотреть в Aider
В нашей таблице оставлены результаты набора из 225 заданий. Используется опубликованное поле pass_rate_2; сохранены формат правок и версия Aider. Эти условия помогают понять, какой именно запуск дал результат.
Данные исторические. Старый тест конкретной модели нельзя переименовать в оценку нового выпуска. Даже при регулярной проверке файла дата измерения остаётся прежней.
Почему оболочка влияет на SWE-bench
При работе с репозиторием модель взаимодействует с окружением: читает файлы, формирует изменения, получает обратную связь. Настройка этого процесса влияет на конечный результат. Сравнение разных агентов может быть полезным, но отвечает уже на вопрос о системе целиком.
Здесь опубликована отдельная серия Epoch AI. Мы не добавляем к ней максимальное число с чужой таблицы и не выдаём его за универсальную способность модели. Перед выводом о превосходстве сверяйте режим, дату и описание запуска.
Как составить список под свою задачу
Если нужен помощник для объяснения кода, начните с профиля ответов и возможностей приложения. Если нужен инструмент внесения правок, смотрите тесты такого процесса и поддерживаемые инструменты API. Для репозиториев добавьте ограничения контекста, число итераций и цену длинного входа.
В расчёт расходов включайте повторные шаги. Стоимость одного короткого запроса из каталога не равна цене исправленной задачи. Для дорогих сценариев сравните несколько допустимых объёмов и обозначьте, какие расходы пока неизвестны.
Источники
Данные и методика — в связанных разделах каталога.
Тарифы сервисов из статьи
| Сервис / тариф | Цена подписки / пакета | Лимиты и функции | Кому подходит |
|---|---|---|---|
 Mistral Vibe (Le Chat)FreeПодробнее о тарифе →Бесплатный план | БесплатноБез оплаты подписки | Ограниченные сообщения, поиск и код; $10 API-кредитов/мес. по опубликованным условиям. | Для личного использования |
| Mistral Vibe (Le Chat)ProПодробнее о тарифе → | 14,99 $ / мес | Повышенные лимиты; $30 API-кредитов/мес. Налоги не включены. | Для личного использования |
| Mistral Vibe (Le Chat)EducationПодробнее о тарифе → | Цена не подтверждена | Требуется подтверждение статуса студента; отдельный срок и условия. | Для личного использования |
 LovableFreeПодробнее о тарифе →Бесплатный план | БесплатноБез оплаты подписки | 5 кредитов в день, не больше 30 в месяц. | Для личного использования |
| LovableProПодробнее о тарифе → | 25,00 $ / мес | 100 ежемесячных кредитов и 5 ежедневных. Расход зависит от задачи; работа опубликованного приложения оплачивается по условиям Cloud. | Для личного использования |
 v0FreeПодробнее о тарифе →Бесплатный план | БесплатноБез оплаты подписки | $5 ежемесячных кредитов; ограниченное использование. | Для личного использования |
| v0PlusПодробнее о тарифе → | 30,00 $ / место / мес | $30 ежемесячных кредитов на пользователя; совместная работа. | Для личного использования |
 BoltFreeПодробнее о тарифе →Бесплатный план | БесплатноБез оплаты подписки | 300 тыс. токенов в день, 1 млн в месяц; до 333 тыс. веб-запросов. | Для личного использования |
| BoltProПодробнее о тарифе → | 25,00 $ / мес | От 10 млн токенов в месяц; без дневного лимита токенов. | Для личного использования |