Как сравнивать нейросети для изображений, видео и аудио
Качество зависит от задачи. Хорошая генерация картинки не означает хорошее редактирование, а убедительное видео — точное выполнение инструкции.
Сначала выбираем задачу
- Изображения
- Создание по тексту и редактирование исходной картинки — отдельные рейтинги. Дополнительно: текст в изображении, сохранение персонажа, управление стилем.
- Видео
- Видео по тексту, анимация картинки и редактирование ролика — отдельно. Версии со звуком сравниваем в своей группе; учитываем длительность и разрешение.
- Речь
- Синтез и распознавание речи — разные задачи. При распознавании сравниваем частоту ошибок на одном наборе записей и одном языке. Для синтеза — оценки слушателей по одному протоколу.
- Музыка
- Генерация музыки, вокала и редактирование аудио имеют разные цели. Смотрим на опубликованные тесты конкретной задачи и условия использования результата.
Какие результаты можно сравнить
Нужны точная версия модели, один тест и его версия, одинаковые условия, единица измерения и дата. Сравнение включает только модели с подтверждённым соответствием результату. Оценку модели не переносим на сервис, который может использовать разные модели и настройки.
Рядом с баллом показываем название источника, дату измерения, размер выборки и интервал неопределённости, если источник их публикует. Если интервалы пересекаются, небольшое отличие баллов не даёт основания объявлять безусловного победителя.
Как читать балл и место
Основная оценка — исходный результат: например, Elo предпочтений или доля ошибок распознавания. Направление явно подписываем: выше лучше или ниже лучше. Баллы разных источников не складываем.
Дополнительный индекс 0–100 показывает только положение среди моделей в одном срезе теста. При пяти и более сравнимых версиях лучшая получает 100, худшая — 0, равные результаты делят среднюю позицию. Это не процент качества. При меньшей выборке индекс не рассчитывается.
Пропуск остаётся пропуском. Результат с неизвестной версией, неподтверждённым источником или слишком малой выборкой не участвует в ранжировании. Старые измерения сохраняем как историю с датой.
Стоимость и скорость — рядом с качеством
Изображения сравниваем при одинаковом разрешении и режиме. Видео — по стоимости секунды и одинаковой длительности, разрешению и наличию звука. Озвучку — по символам или минутам, распознавание — по минутам исходной записи.
Подписку сервиса показываем отдельно от цены API. Лимиты, кредиты и права на результат указываем по условиям тарифа. Скорость приводим только с описанием измерения: размер задания, режим и дата. Непроверенные пересчёты кредитов в рубли или «цену успешной задачи» не используем.
Почему результаты отличаются
GenAI Arena и Music Arena измеряют предпочтения людей. TTSDS2 автоматически сравнивает характеристики синтезированной и реальной речи; русский и английский наборы разделены. Open ASR измеряет ошибки распознавания. Эти подходы отвечают на разные вопросы и не дают единого балла качества.
В Music Arena важны интервалы и число голосов. В TTSDS2 балл не равен проценту качества и не заменяет прослушивание. Даты всех наборов указаны рядом с результатами.