Weighted ROVER — реальный ансамбль (confusion-network voting)

общих клипов: 488 · моделей: 8 · режимов обработки: 2 · конфигураций: 11 · эталонных слов: 20901 · опубликованы 11 наборов гипотез и 4 отчёта · IN-SAMPLE (диагностика)
Отчёт содержит диагностику 11 конфигураций восьми моделей (Результат 1, база 488 / 20901, in-sample) и два рекомендованных состава (Результат 2 — батч; Результат 3 — поток). Потоковая рекомендация (Результат 3) и её fallback рассчитаны на отдельной базе — потоковом пересечении 489 / 20904, честная 5-fold OOF. Диагностика 11 конфигураций (488) и потоковая база (489) разделены и без оговорки не сравниваются: диагностика и батч — in-sample, рекомендация Результата 3 — out-of-fold.

Итог

Результат 1 — диагностика 11 конфигураций восьми моделей на очищенном эталоне.
weighted ROVER — micro-WER (по словам)6.933%
weighted ROVER — средний WER по клипам6.808%
weighted ROVER — медиана WER по клипам4.662%
подстановки / вставки / удаления505 / 82 / 862 (всего 1449)
эталонных слов · оценено клипов20901 · 488
unweighted ROVER — micro / средний / медиана7.287% / 6.896% / 5.202%
лучший одиночный движок (по micro-WER)gigaam_v3_batch — micro 7.464% / средний 7.429% / медиана 5.128%
выигрыш weighted ROVER относительно лучшего одиночного (по micro-WER, п.п., >0 = ROVER лучше)+0.531 п.п. (ROVER лучше)

Диагностические веса по reference-word accuracy (Результат 1)

Вес = историческое ранжирование по reference-word accuracy (11 = лучший … 1 = худший) — это НЕ WER и вставки НЕ штрафует, поэтому порядок отличается от micro-WER (напр. Nexara — вес 8 / место 4, но #11 по micro-WER). Историческая диагностика Результата 1. Рекомендуемые составы и веса — ТОЛЬКО Результаты 2/3. Порядок вставки в confusion-network — по убыванию веса, при равенстве — по имени движка.
рангдвижоквес
1gigaam_v3_batch11
2gpt_realtime_whisper10
3faster_whisper_local9
4nexara_batch8
5openai_whisper1_batch7
6deepgram_batch6
7sber_salutespeech_v2_stream5
8sber_async_batch4
9yandex_async_batch3
10deepgram_streaming2
11yandex_v3_stream1

Сравнение: одиночные движки vs unweighted vs weighted ROVER

Три РАЗНЫХ показателя по 488 клипам (меньше = лучше): micro-WER (по словам) = Σ правок / Σ эталонных слов; средний WER по клипам = среднее per-clip (правки/слова); медиана WER по клипам = медиана тех же per-clip значений. Ранжирование и выбор лучшего одиночного (★) — по micro-WER. Клипы с пустым эталоном (ref_words==0) не входят в средний и медианный WER; micro-WER не меняется.
движок / ансамбльmicro-WER (по словам)средний WER по клипаммедиана WER по клипамправокшкала micro-WER (меньше = лучше)
gigaam_v3_batch ★7.464%7.429%5.128%1560
gpt_realtime_whisper8.521%9.111%6.452%1781
faster_whisper_local9.779%9.544%7.143%2044
openai_whisper1_batch9.818%10.119%7.752%2052
deepgram_batch9.899%10.430%7.463%2069
sber_salutespeech_v2_stream10.861%10.860%9.091%2270
sber_async_batch11.057%11.115%9.091%2311
yandex_async_batch11.798%10.964%9.091%2466
deepgram_streaming11.870%11.854%9.717%2481
yandex_v3_stream13.042%12.532%10.870%2726
nexara_batch18.124%14.903%8.295%3788
UNWEIGHTED ROVER7.287%6.896%5.202%1523
WEIGHTED ROVER6.933%6.808%4.662%1449

Исправление эталона (bracket-aware scoring)

эталонных слов было · стало21123 → 20901 (−222)
из них служебных токенов · внутрисловных склеек220 + 2
клипов с метками · вхождений меток · вариантов67 · 123 · 33
вложенных · несбалансированных0 · 0
Служебный текст эталона в квадратных скобках ([unclear],[pause],[disfluency|э],…) удаляется ДО нормализации и подсчёта WER, поэтому его отсутствие в гипотезе не штрафуется. Скобки и их содержимое в САМОЙ гипотезе НЕ удаляются и считаются обычными лишними словами. Отдельные варианты написания «телеграм»/«telegram» и «дискорд»/«discord» канонизируются (симметрично в эталоне и гипотезе) и не считаются ошибкой только из-за различия алфавита.

Результат 2 — рекомендуемый БАТЧ-состав

движоквес
gigaam_v3_batch4
faster_whisper_local3
deepgram_batch2
sber_async_batch1
micro / средний / медиана WER (IN-SAMPLE)6.789% / 6.781% / 4.545%
подстановки / вставки / удаления508 / 75 / 836 (всего 1419)
выигрыш к GigaAM+0.675 п.п.
Фиксированный состав. Состав ФИКСИРОВАН (gigaam4/faster3/deepgram2/sber_async1). Только фиксированная descriptive-оценка на 488, пересчитанная текущим normalize_ru; повторного OOF НЕ проводилось. Историческая 5-fold cross-validation процедуры ВЫБОРА (до alias-нормализации, НЕ используется в текущем числовом утверждении): 6.885% (win/tie/loss 119/290/79). Для подтверждения обобщения нужен внешний корпус.

Результат 3 — рекомендуемый ПОТОКОВЫЙ состав (для финальных реплик)

База — потоковое пересечение 489 клипов / 20904 эталонных слов (4 потоковых движка), честная 5-fold OOF (веса фиксированы 1:1:1:1, приоритет при ничьей обучается на train). Отделена от диагностики 11 конфигураций восьми моделей (488 / 20901, in-sample) и без оговорки с ней не сравнивается.
движоквес голосаприоритет при ничьей
gpt_realtime_whisper11-й
sber_salutespeech_v2_stream12-й
deepgram_streaming13-й
yandex_v3_stream14-й
Фиксированные равные веса 1:1:1:1. большинство голосов; порядок GPT→Sber→Deepgram→Yandex применяется ТОЛЬКО при ничьей 2:2 или четырёх разных вариантах.
micro / средний / медиана WER (OOF, база 489)7.7927669346% / 7.7282563802% / 5.4054054054%
правок / эталонных слов1629 / 20904
веса и приоритет при ничьейвеса фиксированы 1:1:1:1; порядок одинаков во ВСЕХ 5/5 folds (GPT→Sber→Deepgram→Yandex)
Подбор весов 1..6 — отвергнутая исследовательская ветка. На той же OOF-базе 489 профиль 4:3:2:1 даёт 1621/20904 (micro 7.7544967470%) — точечно на 0.0382701875 п.п. лучше равных весов, но преимущество статистически НЕ подтверждено (парный bootstrap B=30000, 95% ДИ для «linear − equal» [-0.1584859926, +0.0772376193] п.п. — включает ноль). Равные веса выбраны за простоту и устойчивость, а не как доказанно более точные.

Метод оценки (5-fold OOF)

5-fold разбиение по clip_id (детерминированный хэш int.from_bytes(sha256('42:'+clip_id).digest()[:8],'big') % 5). Для ПОТОКОВОЙ модели состав и веса ФИКСИРОВАНЫ (1:1:1:1); на train выбирается ТОЛЬКО приоритет при ничьей (rank_priority), held-out оценивается один раз (в этих данных приоритет одинаков во всех 5 folds). Историческая батч-процедура ВЫБОРА состава описана отдельно (Результат 2) и в текущем числовом утверждении не используется.

Обоснование состава: перекрытие ошибок

Jaccard of per-reference-word error positions on cleaned refs (488)
пара движков (перекрытие ВЫБРАННЫХ пар)перекрытие
gigaam_v3_batch|faster_whisper_local0.481
gigaam_v3_batch|deepgram_batch0.472
gigaam_v3_batch|sber_async_batch0.444
faster_whisper_local|deepgram_batch0.522
faster_whisper_local|sber_async_batch0.463
deepgram_batch|sber_async_batch0.513
gpt_realtime_whisper|sber_salutespeech_v2_stream0.468
gpt_realtime_whisper|deepgram_streaming0.441
gpt_realtime_whisper|yandex_v3_stream0.404
sber_salutespeech_v2_stream|deepgram_streaming0.493
sber_salutespeech_v2_stream|yandex_v3_stream0.488
deepgram_streaming|yandex_v3_stream0.440
перекрытие ошибок ВЫБРАННЫХ пар низкое (батч ~0.44-0.52, поток ~0.40-0.49) — движки дополняют друг друга.
родственные / близкие варианты (один провайдер или семейство Whisper)перекрытие
sber_async|sber_stream0.845
faster_whisper|openai_whisper10.650
yandex_async|yandex_stream0.657
deepgram_batch|deepgram_streaming0.576
Sber async/stream, Yandex async/stream, Deepgram batch/stream — варианты ОДНОГО провайдера; Faster-Whisper local и Whisper-1 — РОДСТВЕННЫЕ реализации семейства Whisper (не один провайдер). Общий вывод: высокая корреляция ошибок уменьшает пользу совместного включения.

Правило применения (live) и fallback

недоступен движоккандидат-состав (1:1:1)micro / средний / медиана WER (OOF, 489)Δ micro к main, п.п.решение
deepgram_streaminggpt_realtime_whisper+sber_salutespeech_v2_stream+yandex_v3_stream8.429009% / 8.387018% / 6.451613%+0.636242использовать fallback-состав 1:1:1
gpt_realtime_whisperdeepgram_streaming+sber_salutespeech_v2_stream+yandex_v3_stream9.471871% / 9.332052% / 7.692308%+1.679104использовать fallback-состав 1:1:1
sber_salutespeech_v2_streamdeepgram_streaming+gpt_realtime_whisper+yandex_v3_stream8.213739% / 8.102182% / 6.153846%+0.420972использовать fallback-состав 1:1:1
yandex_v3_streamdeepgram_streaming+gpt_realtime_whisper+sber_salutespeech_v2_stream7.969767% / 8.061574% / 5.882353%+0.177000использовать fallback-состав 1:1:1
Потоковая модель и её fallback рассчитаны на mode-specific пересечении 489 записей / 20904 слов — основная честная OOF-база потоковой рекомендации, а НЕ sensitivity-check.

Примеры — иллюстрации (эталон / лучший одиночный / weighted ROVER)

Приложение к результатам выше: сильнейшие улучшения, худшие регрессии и несколько нейтральных. «Δправок» = правки ROVER − правки лучшего одиночного (меньше 0 = ROVER лучше). Тексты нормализованы (normalize_ru). Эти примеры — историческая диагностика all-11 weighted ROVER на базе 488, а НЕ иллюстрации финальной потоковой модели 1:1:1:1 (база 489).
распознано→эталон — подстановка; лишнее — вставка; [пропущено: слово] — удаление; обычный шрифт — совпадение. После каждой гипотезы — комментарий в фигурных скобках {…}.
типэталон / лучший одиночный / weighted ROVER
улучшение
Δправок -17
эталон, и так, вот вам, , вот вам ... вот вам непонятная тема. , тема - импровизация, , импровизируйте как хотите. короче, , вот вам листок бумаги. вот вам ручка. , шо-то там сделайте, намазюкайте и вытрите этим , с с салфеткой. вот вам импровизированный рисунок. все. в- вот вам тема, короче. все, пока!
лучший (gigaam_v3_batch), правок 23э э э→и итак→так вот вам э э вот вам э э э вот вам непонятная тема э э э тема импровизации→импровизация импровизируйте как хотите короче э э вот вам листок бумаги вот вам ручка э э э шо то там э э сделайте намазюкайте и вытрите этим э→с э→с салфеткой вот вам импровизированный рисунок все [пропущено: в] вот вам тема короче все пока{лишнее слово: «э»; лишнее слово: «э»; ошибка распознавания: «э» вместо «и»; ошибка распознавания: «итак» вместо «так»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; ошибка распознавания: «импровизации» вместо «импровизация»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; ошибка распознавания: «э» вместо «с»; ошибка распознавания: «э» вместо «с»; пропущено: «в»}
weighted ROVER, правок 6[пропущено: и] итак→так вот вам вот вам вот вам непонятная тема тема импровизация импровизируйте как хотите короче вот вам листок бумаги вот вам ручка что→шо то там сделайте намазюкайте и вытрите этим [пропущено: с] [пропущено: с] салфеткой вот вам импровизированный рисунок все [пропущено: в] вот вам тема короче все пока{пропущено: «и»; ошибка распознавания: «итак» вместо «так»; ошибка распознавания: «что» вместо «шо»; пропущено: «с»; пропущено: «с»; пропущено: «в»}
улучшение
Δправок -9
эталонготов ли я? я не знаю. , ну вот недавно я купил. , не. не купил. , мне подарили, , ну, чс-радио. как оно называется? типо ты крутишь ручку, и заряжается типо это устройство. типо радио крутое, мне нравится. вот. , вот, как-то так. через а если... а если еще что-то, я не знаю. у меня л-... мне просто лень рассказывать дальше.
лучший (gigaam_v3_batch), правок 13готов ли я я не знаю э э ну вот недавно я купил э э→не не купил э э мне подарили э э ну чес→чс радио как оно называется типа→типо ты крутишь ручку и заряжается типа→типо это устройство типа→типо радио крутое мне нравится вот вот как то так через а если а если еще что то я не знаю у меня [пропущено: л] мне просто лень рассказывать дальше{лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; ошибка распознавания: «э» вместо «не»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; ошибка распознавания: «чес» вместо «чс»; ошибка распознавания: «типа» вместо «типо»; ошибка распознавания: «типа» вместо «типо»; ошибка распознавания: «типа» вместо «типо»; пропущено: «л»}
weighted ROVER, правок 4готов ли я я не знаю ну вот недавно я купил не не купил мне подарили ну чс радио как оно называется типа→типо ты крутишь ручку и заряжается типа→типо это устройство типа→типо радио крутое мне нравится вот вот как то так через а если а если еще что то я не знаю у меня [пропущено: л] мне просто лень рассказывать дальше{ошибка распознавания: «типа» вместо «типо»; ошибка распознавания: «типа» вместо «типо»; ошибка распознавания: «типа» вместо «типо»; пропущено: «л»}
улучшение
Δправок -9
эталону меня отдых - это когда я сижу в компьютере, смотрю, , лололошку - это отдых. ну ... или просто в кровати, э, не, непросто в кровати, а просто поспать, выспаться. да. и . вы не говорите, что я тут, в шесть часов встаю, и, блин, думайте что я не высыпаюсь. но я ... иногда высыпаюсь. только это происходит редко. наконец-то наступили праздники и я наконец-то могу на свои каникулы отдохнуть.
лучший (gigaam_v3_batch), правок 15у меня отдых это когда я сижу в компьютере смотрю ло ло→лололошку лошку→это отдых ну или просто в кровати не→э не просто→непросто в кровати а просто поспать выспаться э э э да и вы не говорите что я тут э э в шесть часов встаю и блин думаете→думайте что я не высыпаюсь но я иногда высыпаюсь только это происходит редко наконец то наступили праздники [пропущено: и] я наконец то могу на свои каникулы э э э отдохнуть{лишнее слово: «ло»; ошибка распознавания: «ло» вместо «лололошку»; ошибка распознавания: «лошку» вместо «это»; ошибка распознавания: «не» вместо «э»; ошибка распознавания: «просто» вместо «непросто»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; ошибка распознавания: «думаете» вместо «думайте»; пропущено: «и»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»}
weighted ROVER, правок 6у меня отдых это когда я сижу в компьютере смотрю лололочку→лололошку это отдых ну или просто в кровати не→э не просто→непросто в кровати а просто поспать выспаться да [пропущено: и] вы не говорите что я тут в шесть часов встаю и блин думаете→думайте что я не высыпаюсь но я иногда высыпаюсь только это происходит редко наконец то наступили праздники [пропущено: и] я наконец то могу на свои каникулы отдохнуть{ошибка распознавания: «лололочку» вместо «лололошку»; ошибка распознавания: «не» вместо «э»; ошибка распознавания: «просто» вместо «непросто»; пропущено: «и»; ошибка распознавания: «думаете» вместо «думайте»; пропущено: «и»}
улучшение
Δправок -7
эталона, конечно же да! я умею говорить нет. людям нужно говорить нет, когда я не согласен. все. , , по моему мнению, если ты не согласен, тогда ты можешь говорить нет. кто с какого перепугу? например, убирать комнату сейчас? я говорю: "нет, потому что я н- сейчас не хочу. я сейчас занят". вот, как-то так. или, , шо-то там сделать тоже могу сказать нет. вот, умею.
лучший (gigaam_v3_batch), правок 12[пропущено: а] конечно же да я умею говорить нет людям нужно говорить нет когда я не согласен все э э ну по моему мнению если ты не согласен тогда ты можешь говорить нет то есть→кто с какого перепугу например убирать комнату сейчас я говорю нет потому что я [пропущено: н] сейчас не хочу я сейчас занят вот как то так э э э или э э шо то там сделать тоже могу сказать нет вот умею{пропущено: «а»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «ну»; лишнее слово: «то»; ошибка распознавания: «есть» вместо «кто»; пропущено: «н»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»; лишнее слово: «э»}
weighted ROVER, правок 5[пропущено: а] конечно же да я умею говорить нет людям нужно говорить нет когда я не согласен все ну по моему мнению если ты не согласен тогда ты можешь говорить нет [пропущено: кто] с какого перепугу например убирать комнату сейчас я говорю нет потому что я [пропущено: н] сейчас не хочу я сейчас занят вот как то так или что→шо то там сделать тоже могу сказать нет вот умею{пропущено: «а»; лишнее слово: «ну»; пропущено: «кто»; пропущено: «н»; ошибка распознавания: «что» вместо «шо»}
улучшение
Δправок -5
эталон" ты знаешь?" один. русский. ну еще я, конечно, что-то могу понимать в английском, но это из разряда того, что просто монгле-... в тек- текущей на текущий момент в разговорном русском используется очень много сленга из английского, очень много слов из английского. поэтому, конечно, что-то опознать я могу. алфавит я изучал в школе, кх, примерно, что-то опознать я смогу. и даже, наверное, слова "hello" или "bye" я выговорю, но не больше того.
лучший (gigaam_v3_batch), правок 9ты знаешь один русский ну еще я конечно что то могу понимать в английском но это из разряда того что просто [пропущено: монгле] [пропущено: в] [пропущено: тек] [пропущено: текущей] [пропущено: на] [пропущено: текущий] [пропущено: момент] в разговорном русском используется очень много сленга из английского очень много слов из английского поэтому конечно что то опознать я могу алфавит я изучал в школе [пропущено: кх] примерно что то опознать я смогу и даже наверное слова hello или бай→bye я выговорю но не больше того{пропущено: «монгле»; пропущено: «в»; пропущено: «тек»; пропущено: «текущей»; пропущено: «на»; пропущено: «текущий»; пропущено: «момент»; пропущено: «кх»; ошибка распознавания: «бай» вместо «bye»}
weighted ROVER, правок 4ты знаешь один русский ну еще я конечно что то могу понимать в английском но это из разряда того что просто [пропущено: монгле] в [пропущено: тек] английском→текущей на текущий момент в разговорном русском используется очень много сленга из английского очень много слов из английского поэтому конечно что то опознать я могу алфавит я изучал в школе [пропущено: кх] примерно что то опознать я смогу и даже наверное слова hello или bye я выговорю но не больше того{пропущено: «монгле»; пропущено: «тек»; ошибка распознавания: «английском» вместо «текущей»; пропущено: «кх»}
улучшение
Δправок -5
эталонпару раз такое бывало, что мне признавались в любви, но как-то оба раза оказывалось, что это чей-то проигранный спор. поэтому нет, дельных советов как отказать кому-то, кто тебе признается в чувствах, у меня, наверное, нет. наверное, просто и-и так об этом и сказать напрямую. что тут еще? не обманывать же человека.
лучший (gigaam_v3_batch), правок 7пару раз такое бывало что мне признавались в любви но как то оба раза оказывалось что это чей то проигранный спор поэтому и→нет отдельных→дельных советов как отказать кому то [пропущено: кто] [пропущено: тебе] признаться→признается в чувствах у меня наверное нет наверное просто [пропущено: и] [пропущено: и] так об этом и сказать напрямую что тут еще не обманывать же человека{ошибка распознавания: «и» вместо «нет»; ошибка распознавания: «отдельных» вместо «дельных»; пропущено: «кто»; пропущено: «тебе»; ошибка распознавания: «признаться» вместо «признается»; пропущено: «и»; пропущено: «и»}
weighted ROVER, правок 2пару раз такое бывало что мне признавались в любви но как то оба раза оказывалось что это чей то проигранный спор поэтому нет дельных советов как отказать кому то кто тебе признается в чувствах у меня наверное нет наверное просто [пропущено: и] и так об этом и сказать [пропущено: напрямую] что тут еще не обманывать же человека{пропущено: «и»; пропущено: «напрямую»}
улучшение
Δправок -5
эталонконечно! знакомый - это это просто кто-то на улице и , ну ты часто с ним видишься. он тебя знает, , и ты его знаешь, но это просто знакомый, потому что ты знаешь. знакомый, вот оттуда и слово. приятель - это это типо, блин, а что это за приятель вообще? я-я я не знаю значения этого слова, но друг... а друг я знаю, только просто мне лень расказывать дальше.
лучший (gigaam_v3_batch), правок 8конечно [пропущено: знакомый] знакомые→это это просто кто то на улице и ну ты часто с ним видишься он тебя знает э э и ты его знаешь но это просто знакомый потому что ты знаешь знакомый вот оттуда и слово приятель [пропущено: это] это типа→типо блин а что это за приятель вообще [пропущено: я] я я не знаю значения этого слова но друг а друг я знаю только просто мне лень рассказывать→расказывать дальше{пропущено: «знакомый»; ошибка распознавания: «знакомые» вместо «это»; лишнее слово: «э»; лишнее слово: «э»; пропущено: «это»; ошибка распознавания: «типа» вместо «типо»; пропущено: «я»; ошибка распознавания: «рассказывать» вместо «расказывать»}
weighted ROVER, правок 3конечно знакомый это это просто кто то на улице и ну ты часто с ним видишься он тебя знает и ты его знаешь но это просто знакомый потому что ты знаешь знакомый вот оттуда и слово приятель это это типа→типо блин а что это за приятель вообще [пропущено: я] я я не знаю значения этого слова но друг а друг я знаю только просто мне лень рассказывать→расказывать дальше{ошибка распознавания: «типа» вместо «типо»; пропущено: «я»; ошибка распознавания: «рассказывать» вместо «расказывать»}
улучшение
Δправок -5
эталон"необычный опыт путешествия у вас был?". когда меня чисто по приколу в общаге запихнули в багажник и проехались со мной так пару киллометров. вот это был абсолютно незабываемый опыт. я просто не могу. вот насколько надо было нажраться, чтобы это показалось хорошей идеей, епрст. причем я ж поддержал! мне тоже показалось, что это будет веселым опытом. нет, нифига! багажнику точно не было весело. как и мне. меня в нем стошнило.
лучший (gigaam_v3_batch), правок 7необычный опыт путешествия у вас был когда меня чисто по приколу в общаге запихнули в багажник и проехали→проехались со мной так пару километров→киллометров вот это был абсолютно незабываемый опыт я просто не могу [пропущено: вот] насколько надо было нажраться что мне→чтобы это показалось хорошей идеей епрст причем я ж поддержал мне тоже показалось что это будет веселым опытом нет ни фига→нифига багажнику точно не было весело как и мне меня в нем стошнило{ошибка распознавания: «проехали» вместо «проехались»; ошибка распознавания: «километров» вместо «киллометров»; пропущено: «вот»; лишнее слово: «что»; ошибка распознавания: «мне» вместо «чтобы»; лишнее слово: «ни»; ошибка распознавания: «фига» вместо «нифига»}
weighted ROVER, правок 2необычный опыт путешествия у вас был когда меня чисто по приколу в общаге запихнули в багажник и проехались со мной так пару километров→киллометров вот это был абсолютно незабываемый опыт я просто не могу ну→вот насколько надо было нажраться чтобы это показалось хорошей идеей епрст причем я ж поддержал мне тоже показалось что это будет веселым опытом нет нифига багажнику точно не было весело как и мне меня в нем стошнило{ошибка распознавания: «километров» вместо «киллометров»; ошибка распознавания: «ну» вместо «вот»}
регрессия
Δправок +10
эталонвообще пофигу. я живу в настолько маленьком городишке, что а) здесь обычно не бывает лиц, которые я не знаю вообще. обычно это л- люди, лица которых я все-таки вижу. то есть я не обязательно знаю их лично, но я знаю их лица. а во-вторых, ну, как-то параноиком тоже быть не вариант, каждый раз оглядываться, когда кто-то рядом с тобой идет. н- не думаю, что это очень хорошо сказывается на твоем психическом состо- состоянии и его стабильности.
лучший (gigaam_v3_batch), правок 5вообще пофигу я живу в настолько маленьком городишке что а а здесь обычно не бывает лиц которые я не знаю вообще обычно это [пропущено: л] люди лица которых я все таки вижу то есть я не обязательно знаю их лично но я знаю их лица а во вторых ну как то параноиком тоже быть не вариант каждый раз оглядываться когда кто то рядом с тобой [пропущено: идет] [пропущено: н] не думаю что это очень хорошо сказывается на твоем психическом [пропущено: состо] состоянии и его стабильности{лишнее слово: «а»; пропущено: «л»; пропущено: «идет»; пропущено: «н»; пропущено: «состо»}
weighted ROVER, правок 15вообще пофигу я живу в настолько маленьком городишке что а здесь обычно не бывает лиц которые я не знаю вообще обычно это [пропущено: л] люди лица которых я все таки вижу то есть я не обязательно знаю их лично но я знаю их лиц знаю их лично но я знаю их→лица а во вторых ну как то параноиком тоже быть не вариант каждый раз оглядывался→оглядываться когда кто то рядом с тобой [пропущено: идет] [пропущено: н] [пропущено: не] [пропущено: думаю] что это очень хорошо сказывается на твоем психическом [пропущено: состо] состоянии и его стабильности{пропущено: «л»; лишнее слово: «знаю»; лишнее слово: «их»; лишнее слово: «лиц»; лишнее слово: «лично»; лишнее слово: «но»; лишнее слово: «я»; лишнее слово: «знаю»; ошибка распознавания: «их» вместо «лица»; ошибка распознавания: «оглядывался» вместо «оглядываться»; пропущено: «идет»; пропущено: «н»; пропущено: «не»; пропущено: «думаю»; пропущено: «состо»}
регрессия
Δправок +5
эталона-а-а, буквально, наверное, все профессии, которые будут связаны с искусственным интеллектом: разработка, поддержка, потом хелстек, например. а-а-а, что еще сейчас набирает обороты? а, остальное, я не знаю. возможно, все профессии исчезнут и останется один искусственный интеллект.
лучший (gigaam_v3_batch), правок 4[пропущено: а] а а буквально наверное все профессии которые будут связаны с искусственным интеллектом разработка поддержка потом хеллстек→хелстек например [пропущено: а] а а что еще сейчас набирает обороты [пропущено: а] остальное я не знаю возможно все профессии исчезнут и останется один искусственный интеллект{пропущено: «а»; ошибка распознавания: «хеллстек» вместо «хелстек»; пропущено: «а»; пропущено: «а»}
weighted ROVER, правок 9[пропущено: а] [пропущено: а] [пропущено: а] буквально наверное все профессии которые будут связаны с искусственным интеллектом разработка поддержка потом [пропущено: хелстек] [пропущено: например] health→а tech→а например→а что еще сейчас набирает обороты [пропущено: а] остальное я не знаю возможно все профессии исчезнут и останется один искусственный интеллект{пропущено: «а»; пропущено: «а»; пропущено: «а»; пропущено: «хелстек»; пропущено: «например»; ошибка распознавания: «health» вместо «а»; ошибка распознавания: «tech» вместо «а»; ошибка распознавания: «например» вместо «а»; пропущено: «а»}
регрессия
Δправок +4
эталона-а, к сожалению, не у всех, знаете ли, воспоминания из детства обязательно сугубо положительные. у меня самое запоминающееся воспоминание из детства - это как меня переехала машина и я потом полгода восстанавливал себе ногу.
лучший (gigaam_v3_batch), правок 1а а к сожалению не у всех знаете ли воспоминания из детства обязательно сугубо положительные у меня самое запоминающееся воспоминание из детства это как у меня переехала машина и я потом полгода восстанавливал себе ногу{лишнее слово: «у»}
weighted ROVER, правок 5[пропущено: а] [пропущено: а] к сожалению не у всех знаете ли воспоминания из детства обязательно сугубо положительные у меня самые→самое запоминающиеся→запоминающееся воспоминания→воспоминание из детства это как меня переехала машина и я потом полгода восстанавливал себе ногу{пропущено: «а»; пропущено: «а»; ошибка распознавания: «самые» вместо «самое»; ошибка распознавания: «запоминающиеся» вместо «запоминающееся»; ошибка распознавания: «воспоминания» вместо «воспоминание»}
регрессия
Δправок +4
эталону меня особо не бывает необычных подарков, поскольку я обычно сам говорю о том, что бы мне хотелось. поэтому у меня обычных подарков обычно не бывает. не, тьфу, блин! необычных подарков обычно не бывает. обожаю! а-а... поэтому я расскажу о каком-то другом. я, значит, видел стримера, которому его друг подарил надгробие с его фотографией по рофлу. вот это было весело. и очень необычно.
лучший (gigaam_v3_batch), правок 0у меня особо не бывает необычных подарков поскольку я обычно сам говорю о том что бы мне хотелось поэтому у меня обычных подарков обычно не бывает не тьфу блин необычных подарков обычно не бывает обожаю а а поэтому я расскажу о каком то другом я значит видел стримера которому его друг подарил надгробие с его фотографией по рофлу вот это было весело и очень необычно{ошибок нет}
weighted ROVER, правок 4у меня особо не бывает необычных подарков поскольку я обычно сам говорю о том что бы мне хотелось поэтому у меня обычных подарков обычно не бывает нет→не фу→тьфу блин необычных подарков обычно не бывает обожаю [пропущено: а] [пропущено: а] поэтому я расскажу о каком то другом я значит видел стримера которому его друг подарил надгробие с его фотографией по рофлу вот это было весело и очень необычно{ошибка распознавания: «нет» вместо «не»; ошибка распознавания: «фу» вместо «тьфу»; пропущено: «а»; пропущено: «а»}
регрессия
Δправок +4
эталонты не любишь больше всего? а-а-а-а-а... так, надо вспомнить вообще, что вообще значит слово "предупреждение". что такое "предубеждение"? епрст, какой я тупой. я этого не помню.
лучший (gigaam_v3_batch), правок 4какие мифы ты не любишь больше всего [пропущено: а] [пропущено: а] а а а так надо вспомнить вообще что вообще значит слово предупреждение что такое предубеждение епрст какой я тупой я этого не помню{лишнее слово: «какие»; лишнее слово: «мифы»; пропущено: «а»; пропущено: «а»}
weighted ROVER, правок 8и мифы ты не любишь больше всего [пропущено: а] [пропущено: а] [пропущено: а] [пропущено: а] [пропущено: а] так надо вспомнить вообще что вообще значит слово предупреждение что такое предубеждение просто→епрст какой я тупой я этого не помню{лишнее слово: «и»; лишнее слово: «мифы»; пропущено: «а»; пропущено: «а»; пропущено: «а»; пропущено: «а»; пропущено: «а»; ошибка распознавания: «просто» вместо «епрст»}
регрессия
Δправок +3
эталонмой главный страх, пожалуй, это смерть. потому что из-за нее, ну, ничего... после смерти у меня не будет ничего. у меня всего один жизнь и она очень сильно ограничена по времени из-за того, что я умру, я не успею ничерта сделать практически из того, что я хочу. а хочу я знать абсолютно все во вселенной. не не малая цель, да? реализовать тысячи проектов и прочее. и все, ну как бы. да, я боюсь смерти - это мой главный страх.
лучший (gigaam_v3_batch), правок 7мой главный страх пожалуй это смерть потому что из за нее ну ничего после смерти у меня не будет ничего у меня всего один жизнь [пропущено: и] она очень сильно ограничена по времени из за того что я умру я не успею ни черта→ничерта сделать практически из того что я хочу а хочу я знать абсолютно все во вселенной [пропущено: не] [пропущено: не] немалая→малая цель да реализовать тысячу→тысячи проектов и прочее и все ну как бы да я боюсь смерти это мой главный страх{пропущено: «и»; лишнее слово: «ни»; ошибка распознавания: «черта» вместо «ничерта»; пропущено: «не»; пропущено: «не»; ошибка распознавания: «немалая» вместо «малая»; ошибка распознавания: «тысячу» вместо «тысячи»}
weighted ROVER, правок 10мой главный страх пожалуй это смерть потому что из за нее ну ничего после смерти у меня не будет ничего у меня всего один жизнь [пропущено: и] она очень сильно ограничена по времени из за того что я умру я не успею ни черта→ничерта сделать практически из того что я хочу а хочу я знать абсолютно все во вселенной [пропущено: не] [пропущено: не] немалая→малая цель да реализовать тысячу→тысячи проектов и прочее и все [пропущено: ну] [пропущено: как] [пропущено: бы] да я боюсь смерти это мой главный страх{пропущено: «и»; лишнее слово: «ни»; ошибка распознавания: «черта» вместо «ничерта»; пропущено: «не»; пропущено: «не»; ошибка распознавания: «немалая» вместо «малая»; ошибка распознавания: «тысячу» вместо «тысячи»; пропущено: «ну»; пропущено: «как»; пропущено: «бы»}
без изменений
Δправок +0
эталоня стараюсь делать комплименты другим людям как можно чаще. несмотря на то, что это бывает довольно тяжело, потому что общие комплименты о том, что у тебя хорошая внешность - о- они раздражающие. они раздражают людей, потому что они на самом деле под собой ничего не имеют. особенно, если ты в это действительно ничего не вкладываешь, а просто так это проговариваешь. но на я стараюсь давать, , комплименты как можно чаще, потому что это приятно другим людям, когда под этими комплиментами что-то лежит. и это просто приятнее мне. потому что ты начинаешь меньше ненавидеть мир. , начинаешь больше замечать чего-то хорошего и тому подобные вещи. когда ты говоришь другим людям комплименты, ты начинаешь больше фокусироваться на чем-то хорошем. и замечать больше хороших вещей в окружающих тебя людях. ты начинаешь меньше ненавидеть это общество. что периодически бывает делать довольно тяжело, и поэтому так хочется абстрагироваться от агрессии, которая тебя постоянно окружает. и комплименты этому довольно хорошо способствуют.
лучший (gigaam_v3_batch), правок 7я стараюсь делать комплименты другим людям как можно чаще несмотря на то что это бывает довольно тяжело потому что общие комплименты о том что у тебя хорошая внешность [пропущено: о] они раздражают→раздражающие они раздражают людей потому что они на самом деле под собой ничего не имеют особенно если ты в это действительно ничего не вкладываешь а просто так [пропущено: это] проговариваешь но [пропущено: на] я стараюсь давать комплименты как можно чаще потому что это приятно другим людям когда под этими комплиментами что то лежит и это просто приятнее мне потому что ты начинаешь меньше ненавидеть мир а а начинаешь больше замечать чего то хорошего и тому подобные вещи когда ты говоришь другим людям комплименты ты начинаешь больше фокусироваться на чем то хорошем и замечать больше хороших вещей в окружающих тебя людях [пропущено: ты] начинаешь меньше ненавидеть это общество что периодически бывает делать довольно тяжело и поэтому так хочется абстрагироваться от агрессии которая тебя постоянно окружает и комплименты этому довольно хорошо способствуют{пропущено: «о»; ошибка распознавания: «раздражают» вместо «раздражающие»; пропущено: «это»; пропущено: «на»; лишнее слово: «а»; лишнее слово: «а»; пропущено: «ты»}
weighted ROVER, правок 7я стараюсь делать комплименты другим людям как можно чаще несмотря на то что это бывает довольно тяжело потому что общие комплименты о том что у тебя хорошая внешность [пропущено: о] они раздражающие они раздражают людей потому что они на самом деле под собой ничего не имеют особенно если ты [пропущено: в] [пропущено: это] действительно ничего не вкладываешь а просто так их→это проговариваешь но [пропущено: на] я стараюсь давать комплименты как можно чаще потому что это приятно другим людям когда под этими комплиментами что то лежит и это просто приятнее мне потому что ты начинаешь меньше ненавидеть мир меня начинаешь больше замечать чего то хорошего и тому подобные вещи когда ты говоришь другим людям комплименты ты начинаешь больше фокусироваться на чем то хорошем и замечать больше хороших вещей в окружающих тебя людях [пропущено: ты] начинаешь меньше ненавидеть это общество что периодически бывает делать довольно тяжело и поэтому так хочется абстрагироваться от агрессии которая тебя постоянно окружает и комплименты этому довольно хорошо способствуют{пропущено: «о»; пропущено: «в»; пропущено: «это»; ошибка распознавания: «их» вместо «это»; пропущено: «на»; лишнее слово: «меня»; пропущено: «ты»}
без изменений
Δправок +0
эталонэ, самый полезный лайфхак в моей жизни - это как правильно свернуть рубашку или футболку, или подобную другую какую-то вещь. на самом деле это не очень сложно и можно в интернете найти довольно просто. ну, я не мо- не знаю, как правильно это объяснить, но нужно поднять футболку за плечики. да? э, двумя руками. потом свернуть в одну сторону рукава с небольшим отступом ткани от основной ткани, да? вот. в ту же сторону начать сворачивать снизу треть футболки и сверху треть футболки завернуть в ту же сторону. получается очень красиво свернутая футболка и если, например, у вас большинство вещей одного цвета, и они отличаются только вырезом или принтом, то это очень сильно поможет вам найти нужную вещь в гардеробе.
лучший (gigaam_v3_batch), правок 5[пропущено: э] самый полезный лайфхак в моей жизни это как правильно свернуть рубашку или футболку или подобную другую какую то вещь на самом деле это не очень сложно и можно в интернете найти довольно просто [пропущено: ну] я [пропущено: не] [пропущено: мо] не знаю как правильно это объяснить но нужно поднять футболку за плечики да [пропущено: э] двумя руками потом свернуть в одну сторону рукава с небольшим отступом ткани от основной ткани да вот в ту же сторону начать сворачивать снизу треть футболки и сверху треть футболки завернуть в ту же сторону получается очень красиво свернутая футболка и если например у вас большинство вещей одного цвета и они отличаются только вырезом или принтом то это очень сильно поможет вам найти нужную вещь в гардеробе{пропущено: «э»; пропущено: «ну»; пропущено: «не»; пропущено: «мо»; пропущено: «э»}
weighted ROVER, правок 5[пропущено: э] самый полезный лайфхак в моей жизни это как правильно свернуть рубашку или футболку или подобную другую какую то вещь на самом деле это не очень сложно и можно в интернете найти довольно просто [пропущено: ну] я [пропущено: не] [пропущено: мо] не знаю как правильно это объяснить но нужно поднять футболку за плечики да [пропущено: э] двумя руками потом свернуть в одну сторону рукава с небольшим отступом ткани от основной ткани да вот в ту же сторону начать сворачивать снизу треть футболки и сверху треть футболки завернуть в ту же сторону получается очень красиво свернутая футболка и если например у вас большинство вещей одного цвета и они отличаются только вырезом или принтом то это очень сильно поможет вам найти нужную вещь в гардеробе{пропущено: «э»; пропущено: «ну»; пропущено: «не»; пропущено: «мо»; пропущено: «э»}
без изменений
Δправок +0
эталонвостребованные в будущем профессии? да, наверное, сложно предположить. наверное, даже футурологи сейчас в шоках пребывают, типо... я не знаю. я сколько не читал раньше про то, что предполагали о будущем, говорилось о том, что будет больше места для творчества человека и прочее. а в итоге в основном замещаются как раз эти профессии и все оказалось довольно просто и примитивно, потому что данные для обучения прежде всего доступны именно для таких вещей. ну и да, роботов, конечно, сложно строить для физического труда. но что будет еще лет через двадцать? может, будет будет удешевление стоимости постройки роботов и тогда и физические профессии пропадут. черт его знает! я не знаю.
лучший (gigaam_v3_batch), правок 5востребованные в будущем профессии да наверное сложно предположить наверное даже футурологи сейчас в шоках пребывают типа→типо я не знаю я сколько ни→не считал→читал раньше про то что предполагали о будущем говорилось о том что будет больше места [пропущено: для] творчества человека и прочее а в итоге в основном замещаются как раз эти профессии и все оказалось довольно просто и примитивно потому что данные для обучения прежде всего доступны именно для таких вещей ну и да роботов конечно сложно строить для физического труда но что будет еще лет через двадцать может [пропущено: будет] будет удешевление стоимости постройки роботов и тогда и физические профессии пропадут черт его знает я не знаю{ошибка распознавания: «типа» вместо «типо»; ошибка распознавания: «ни» вместо «не»; ошибка распознавания: «считал» вместо «читал»; пропущено: «для»; пропущено: «будет»}
weighted ROVER, правок 5востребованные в будущем профессии да наверное сложно предположить наверное даже футурологи сейчас в шоках пребывают типа→типо я не знаю я сколько не считал→читал раньше про то что предполагали о будущем говорилось о том что будет больше места [пропущено: для] творчества человека и прочее а в итоге в основном замечаются→замещаются как раз эти профессии и все оказалось довольно просто и примитивно потому что данные для обучения прежде всего доступны именно для таких вещей ну и да роботов конечно сложно строить для физического труда но что будет еще лет через двадцать может [пропущено: будет] будет удешевление стоимости постройки роботов и тогда и физические профессии пропадут черт его знает я не знаю{ошибка распознавания: «типа» вместо «типо»; ошибка распознавания: «считал» вместо «читал»; пропущено: «для»; ошибка распознавания: «замечаются» вместо «замещаются»; пропущено: «будет»}

Ограничения (честно)

Оговорка: Результат 1 (диагностика 11 конфигураций восьми моделей) и БАТЧ-состав (Результат 2) — ОПИСАТЕЛЬНЫЕ IN-SAMPLE: веса и составы подобраны на ЭТОМ корпусе (488). ПОТОКОВЫЙ состав (Результат 3) и его fallback — честная 5-fold OOF на отдельной базе 489 / 20904 (равные веса 1:1:1:1). Подбор весов 1..6 — отвергнутая исследовательская ветка (преимущество 4:3:2:1 статистически не подтверждено). Выравнивание и голосование ROVER эталон НЕ читают; посчитаны только нормализованные micro / средний / медианный WER. Для подтверждения обобщения всё ещё нужен ВНЕШНИЙ корпус — это не финальное решение о деплое.