Открытые материалы ROVER

Разберите голосование по каждому слову

Для 489 клипов опубликованы аудио, эталон, четыре потоковые гипотезы, итог ROVER и поклиповый WER. Можно начать с случаев, где ансамбль помог или навредил.

489клипов в потоковом срезе
4потоковых ASR, веса 1:1:1:1
7,79%micro-WER ROVER
−8,53%ошибок против GPT Realtime

Принятое потоковое решение

Пятифолдовая OOF-оценка на одной базе из 20 904 слов.

Финальная версия v4
СистемаMicro-WERПравокСловСтатус
ROVER: GPT + Sber + Deepgram + Yandexравные веса, tie-break GPT → Sber → Deepgram → Yandex7,79%1 62920 904принято
GPT Realtimeлучший одиночный потоковый ориентир8,52%1 78120 904база сравнения

В живом интерфейсе пользователю показывается GPT Realtime. ROVER применяется только после финализации одной и той же реплики всеми четырьмя движками.

489 решений ROVER

По умолчанию наверху примеры с самым большим выигрышем относительно GPT.

Данные ещё не открыты
Подтвердите условия выше, чтобы открыть поклиповый набор.

Скачать исходные и промежуточные данные

Принятые оценки отделены от описательного пакетного эксперимента.

Компактная сводка Live OOF и batch in-sample: состав, веса, метрики и версии. rover-summary.json Полный поклиповый JSON Эталон, четыре входа, GPT, итог ROVER, S/I/D; для 488 клипов также пакетный состав. rover-clips.json · 5,4 МБ Сжатый NDJSON Тот же поклиповый набор в формате для программной обработки. rover-clips.ndjson.gz Принятый OOF-результат Пять фолдов, основной состав и fallback при отсутствии каждого движка. live-equal-oof.json Итоговая рекомендация v4 Решение, сравнения, доверительный интервал и правило применения. recommendation-v4.json Пакетный пересчёт Фиксированный состав 4:3:2:1 на 488 клипах; описательно, не OOF. batch-fixed-recompute.json Полный HTML-отчёт Таблицы, обоснование и сопоставление исследованных вариантов. full-report.html Контрольные суммы SHA-256 всех опубликованных ROVER-артефактов. SHA256SUMS.txt Исходный ASR-набор 491 MP3, 8 моделей и 2 режима обработки, эталоны и одиночный рейтинг. /blog/asr-wer-eval-ru/data/

Локальные пути удалены из публичных JSON без изменения численных полей. Устаревший исследовательский артефакт на другой live-базе намеренно не опубликован. Полный алгоритм и границы применимости описаны в статье про ROVER.