Мы замерили облачные распознаватели и остались на устройстве
Два крупных облачных сервиса теперь заявляют распознавание с русским и украинским: GPT-Transcribe от OpenAI и Gemini 3.5 Transcribe от Google. Нам хотелось знать, насколько они лучше модели, которая работает на вашем Маке. Мы замерили.
Как мы проверяли
Мы взяли свой набор фраз, которые читали вслух четыре человека: по 380 фраз на голос, из них 294 в украинском наборе. Сервисы получали файлы без подсказок и без списков терминов, а нашу модель Parakeet, которая работает на устройстве, мы прогнали в тех же условиях. Считали долю неверных слов без учёта знаков препинания. Это единственный случай, когда записи уходили в эти сервисы: в самом приложении так не происходит.
Доля неверных слов по всем голосам вместе:
- русский: Parakeet 13,5%, Gemini 10,0%, GPT-Transcribe 9,8%
- украинский: Parakeet 18,0%, Gemini 20,5%, GPT-Transcribe 14,6%
- английский: Parakeet 13,7%, Gemini 13,1%, GPT-Transcribe 10,6%
Что мы увидели
GPT-Transcribe оказался лучше на 3–4 пункта в каждом языке, и разрыв уверенный, а не случайность выборки. Gemini на русском и английском был близок к Parakeet. На украинском без подсказки языка он был хуже Parakeet: короткие фразы дописывал по-русски. Числа он записывает цифрами.
Одно не улучшилось. На фразах с английскими терминами внутри русской речи облачные сервисы ошибались в 17–26% слов, против 32% у Parakeet. «Антропик», «докер» и «мигрейт» у всех вышли кириллицей. Значит, словарь терминов нужен поверх любого облачного распознавателя.
Почему мы отказались
Облачный вариант стоил бы нам реальных денег за каждую минуту речи, отдельного сервера для выдачи ключей доступа, двух чужих интеграций, которые надо держать рабочими. Но главная цена — само обещание. Сегодня речь не покидает ваш Мак, и эта фраза короткая и правдивая. Три-четыре пункта точности не стоят того, чтобы от неё отказаться.
К цифрам есть и оговорка. Наши фразы читали с листа, а не говорили свободно. Мы уже обжигались на этом: одна из прежних моделей на фразах с листа была лучше на 1–2 пункта, а потом на живой диктовке показала себя хуже — писала «э-э» и рвала предложения пополам. Мы её убрали. Выигрыш на тестовом листе не всегда переносится на настоящую речь.
Что делаем вместо этого
Эти 3–4 пункта мы пытаемся добрать на устройстве: другие локальные модели, которые сразу меряем на записях настоящей диктовки, обработка звука до распознавания и дообучение Parakeet на наших записях. О том, что сработает, расскажем. А что именно уходит с вашего Мака сегодня, перечислено в разделе что уходит с вашего Мака.