Модели для программирования · Arena

Оценки относятся к точной версии и режиму модели. Сводный балл — среднее нормализованных мест в Arena для диалога и пяти независимых тестах; нужен результат хотя бы в двух тестах. Места одинаковых результатов независимых тестов учитываются по середине занимаемых позиций. Каждый тест имеет одинаковый вес. Прочерк означает отсутствие результата или несколько несопоставимых запусков, а не нулевую оценку. Состав тестов и даты у моделей могут отличаться; исторические SWE-bench и Aider отмечены в подробностях. В сравнении выбранных моделей сводный балл считается по общим тестам. Это ориентир по доступным данным, а не процент качества или оценка новых возможностей модели.