Ми виміряли хмарні розпізнавачі й лишилися на пристрої
Два великі хмарні сервіси тепер заявляють розпізнавання з російською та українською: GPT-Transcribe від OpenAI і Gemini 3.5 Transcribe від Google. Ми хотіли знати, наскільки вони кращі за модель, що працює на вашому Маку. Ми виміряли.
Як ми перевіряли
Ми взяли власний набір фраз, які читали вголос чотири людини: по 380 фраз на голос, з них 294 в українському наборі. Сервіси отримували файли без підказок і без списків термінів, а нашу модель Parakeet, що працює на пристрої, ми прогнали в тих самих умовах. Рахували частку неправильних слів без урахування розділових знаків. Це єдиний випадок, коли записи йшли до цих сервісів: у самому застосунку так не буває.
Частка неправильних слів за всіма голосами разом:
- російська: Parakeet 13,5%, Gemini 10,0%, GPT-Transcribe 9,8%
- українська: Parakeet 18,0%, Gemini 20,5%, GPT-Transcribe 14,6%
- англійська: Parakeet 13,7%, Gemini 13,1%, GPT-Transcribe 10,6%
Що ми побачили
GPT-Transcribe виявився кращим на 3–4 пункти в кожній мові, і розрив упевнений, а не випадковість вибірки. Gemini на російській та англійській був близький до Parakeet. На українській без підказки мови він був гіршим за Parakeet: короткі фрази дописував російською. Числа він записує цифрами.
Одне не покращилося. На фразах з англійськими термінами всередині російського мовлення хмарні сервіси помилялися у 17–26% слів, проти 32% у Parakeet. «Антропик», «докер» і «мігрейт» у всіх вийшли кирилицею. Тож словник термінів потрібен поверх будь-якого хмарного розпізнавача.
Чому ми відмовилися
Хмарний варіант коштував би нам реальних грошей за кожну хвилину мовлення, окремого сервера для видачі ключів доступу, двох чужих інтеграцій, які треба тримати робочими. Але головна ціна — сама обіцянка. Сьогодні мовлення не залишає ваш Mac, і ця фраза коротка й правдива. Три-чотири пункти точності не варті того, щоб від неї відмовитися.
До цифр є й застереження. Наші фрази читали з аркуша, а не говорили вільно. Ми вже обпікалися на цьому: одна з попередніх моделей на фразах з аркуша була кращою на 1–2 пункти, а потім на живому диктуванні показала себе гірше — писала «е-е» і рвала речення навпіл. Ми її прибрали. Виграш на тестовому аркуші не завжди переноситься на справжнє мовлення.
Що робимо натомість
Ці 3–4 пункти ми намагаємося добрати на пристрої: інші локальні моделі, які одразу міряємо на записах справжнього диктування, обробка звуку до розпізнавання і донавчання Parakeet на наших записах. Про те, що спрацює, розповімо. А що саме залишає ваш Mac сьогодні, перелічено в розділі що залишає ваш Mac.