Почему мы не взяли диктовку Apple для русского

macOS умеет распознавать русскую речь, но текст приходит без запятых, точек и вопросительных знаков. Сегодня мы подключили для русского другой распознаватель — модель Parakeet. Вот зачем.

Что Apple даёт для русского

У Apple два движка распознавания. Новый, SpeechAnalyzer, мы используем для английского. Для русского у Apple есть только старый движок диктовки, и знаки препинания он не ставит. На выходе одна длинная лента слов.

Возьмём фразу: «Привет как дела сегодня хорошая погода я хочу пойти на прогулку». Ничто не показывает, где кончается одно предложение и начинается другое. Читать можно, но медленно, а перед отправкой текст приходится править вручную.

Почему знаки препинания важны для нас

Они важны дважды. Первое — чтение: текст без знаков утомляет, а диктовка, после которой вы сами расставляете все запятые, возвращает то время, которое сэкономила. Второе — перевод. Наше приложение умеет переводить то, что вы надиктовали, а переводчику нужно видеть, где кончаются предложения. Получив бесконечную ленту слов, он угадывает, и ошибается так, что вы не заметите, пока не прочтёте оба текста.

Поэтому движок без пунктуации не годился для главного сценария: сказать по-русски и получить чистый русский текст или чистый английский.

Что мы выбрали

Parakeet TDT v3 — модель распознавания речи от NVIDIA. В ней 0,6 миллиарда параметров, она понимает русский и другие европейские языки и сама ставит знаки и заглавные буквы. На Маке мы запускаем её через библиотеку FluidAudio, которая готовит модель для чипа Apple. Модель скачивается, когда приложению впервые нужна, с huggingface.co. Сама речь остаётся на вашем Маке.

Это настоящая цена. Распознаватель не из системы — это загрузка и зависимость, которую нам поддерживать, а движок Apple был бы проще. Мы пошли на это, потому что иначе получился бы текст, который ломается уже на первой границе предложения.

Чего мы не утверждаем

Мы не сравнивали модель со всеми распознавателями на рынке. Мы сравнили её с тем, что macOS предлагает для русского, и в этом сравнении вопрос решила пропавшая пунктуация. Насколько точно она работает на вашем голосе и вашей лексике — это мы будем и дальше измерять и рассказывать, что нашли.

Сегодня: приложение скачивает нашу собственную дообученную версию Parakeet, а настройка описана в разделе языки и модели.