Чому ми прибрали розпізнавач, який показував кращий результат
Якийсь час у застосунку був другий російський розпізнавач, GigaAM. Він перевіряв повторно кожен російський шматок диктування після основного розпізнавача, Parakeet. За цифрами він був кращий. У житті виявився гіршим, і ми прибрали його повністю.
Що казали цифри
У нас є постійний набір тестових фраз, які люди читають уголос, і ми рахуємо, скільки помилок розпізнавач робить на них. На цьому наборі GigaAM давав на один-два пункти менше помилок на сто слів, ніж самий Parakeet. Це помітний виграш, тому ми його й додали.
Що показало живе мовлення
Набір прочитаних фраз акуратний. Людина читає речення з аркуша, говорить рівно і не затинається. Справжнє диктування не таке. Ти думаєш на ходу, робиш паузи, починаєш фразу знову.
Ми подивилися на текст, який GigaAM видавав на нашому звичайному щоденному диктуванні: 557 повторно перевірених шматків за один день. Вийшло погано, і чотирма способами:
- він вписував у текст «е-е» та «и-и-и», тобто звуки роздуму, яких ніхто не хоче бачити на сторінці;
- він рвав речення: крапка і велика літера посеред фрази;
- він обривав останнє слово там, де один шматок звуку стикується з наступним;
- у чотирьох шматках із десяти він змінював лише розділові знаки, і робив гірше.
На тестовому наборі нічого з цього не було видно, бо в ньому немає затинань і недомовлених фраз.
Що ми вирішили
Можна було підправити перевірку так, щоб тестовий набір ловив ці проблеми. Ми не стали. Людина, яка диктує щодня, побачила проблему в тексті, а це і є головна перевірка. Ми прибрали GigaAM із застосунку, з налаштувань і зі списку компонентів. Файли моделі ми теж зняли з нашого сервера завантажень. А якщо на Маку лишилася копія, застосунок видалить її під час запуску.
Урок простий. Цифра, отримана на прочитаних фразах, не переноситься на живе мовлення. Якщо з’явиться новий кандидат для російської, ми спершу перевіримо його на справжньому диктуванні, а вже потім на прочитаних фразах. Для російської у нас лишається Parakeet.
Що ми використовуємо зараз і як встановлюються моделі — на сторінці про мови та моделі.