Що він робить

Коли слово закінчилося — пробілом, комою, крапкою, — Smart Keyboard на нього дивиться. Якщо воно набране не в тій розкладці, слово замінюється, а розкладка системи перемикається, щоб наступне вийшло правильним. «ghbdsn» стає «привіт», «руддщ» — «hello», а «тыльки», набране на російській розкладці, — «тільки». Ще він виправляє прості одруківки в правильній розкладці: «сьогдні» стає «сьогодні», «відповдь» — «відповідь». І те й інше водночас: «cmjulys», набране на англійській розкладці, — «сьогодні».

Виправив даремно — натисніть ⇧ двічі. Повернуться і слово, і розкладка, а це слово більше ніколи не виправлятиметься. Ще раз ⇧ двічі — виправлення знову на місці.

Правило, з якого почали

Пропущене виправлення коштує вам одного повторного набору. Хибне — дорожче: його треба помітити, а іноді помічаєш, коли повідомлення вже пішло. Тому ще до першого рядка коду ми поставили межу: не більше однієї хибної заміни на 10 000 правильно набраних слів. Усе, що нижче, міряли за нею.

Як він вирішує

Усе відбувається на вашому Mac. Smart Keyboard дивиться на три речі.

Перевірка правопису macOS — той самий словник, що підкреслює слова червоним. Вона відповідає на питання «чи є таке слово». Своїх словників ми в застосунок не кладемо.

Таблиці сполучень із трьох літер. Для кожної мови ми порахували, які трійки літер трапляються на початку, всередині й наприкінці слова і як часто. «ghb» на початку англійського слова майже не буває, а «при» на початку українського — на кожному кроці. Рахували на загальнодоступних фразах проєкту Common Voice. У застосунку лежать лише таблиці, 22–43 КБ на мову, самих фраз там немає.

Списки частих слів — з тих самих фраз: 300 найчастіших коротких слів кожної мови і довгий частотний список, щоб обирати між варіантами виправлення одруківки.

Коротким словам знадобилося своє правило. Перевірка правопису вважає словом майже будь-яку літеру й багато пар на кшталт «cd» чи «bc», тому для однієї-двох літер ми віримо лише спискам частих слів. Одиночну латинську літеру на англійській розкладці Smart Keyboard сам по собі не чіпає ніколи: на перевірці це перетворювало «E», «C», «J» і «R» на кирилицю від 52 до 65 разів на 10 000 слів. Така літера виправляється лише разом із сусіднім словом.

З українською й російською окрема історія. Їхні розкладки різняться лише кількома клавішами: «і» та «ы», «є» та «э», «ї» та «ъ». Вирішують словники, але в російського словника macOS є діри: він може не знати «продавцы», а український водночас знає «продавці». Тому самої відповіді словника мало — з нею мають погодитися й таблиці літер. Слова, які є в обох мовах, як-от «ті» й «ты», вирішують сусіди, і потрібно два таких слова. З одним на змішаному українсько-російському тексті виходило 15 хибних замін на 10 000 слів.

Для одруківки варіанти — підказки перевірки правопису й слова, що відрізняються від набраного одним промахом: одна літера не та, пропущена чи зайва, або дві літери стоять місцями. Свої варіанти йдуть у рахунок, лише якщо вони є в частотному списку. Перемагає найчастіший — і лише якщо він більше схожий на мову, ніж те, що ви набрали.

Як ми міряли

Частину фраз Common Voice ми відклали й нічого з них не будували: 111 373 правильно набрані слова англійською, російською й українською, плюс ті самі слова в чужій розкладці. Перевірка набирає їх клавіша за клавішею й питає справжню перевірку правопису macOS.

• Чужа розкладка. Зі слів у п’ять літер і довших виправлено 99,2% (українських — 96,4%). Короткі слова складніші: з дволітерних — 65–78%.
• Хибні заміни. 10 із 111 373 правильних слів, 0,9 на 10 000. Усі десять — слова, у які перевірка навмисно додала одруківку. Правильно написані слова не зачеплено жодного разу.
• Англійське всередині української й російської. «Slack», «PR», «API», «GitHub», «to», «is» і ще 16 слів, вставлених в українські й російські фрази: 18 400 вставок, жодної заміни.
• Одруківки. На правильному тексті: 4 хибні заміни на 50 562 англійські слова, 3 на 39 664 російські й 1 на 15 760 українських. Виправлено приблизно 83% англійських одруківок, 66% російських і 40% українських.

Потім ми перевірили правило одруківок на тексті, за яким його не підбирали: рядки інтерфейсу самого застосунку, фрази нашого перевірного набору для диктування і наші російськомовні робочі записи. Англійська й українська — жодної хибної заміни. Російська — одна на 22 756 слів: «нодах» стало «годах».

Що ми вимкнули, бо воно шкодило

Суддя для одруківок. У VerbaIDE є маленька локальна модель — наша дотренована Qwen3-1.7B, яка вже перевіряє терміни зі словника в диктуванні. Ми дали їй переглянути виправлену одруківку, коли набрано наступне слово. Псувала вона частіше, ніж рятувала: у російській зіпсувала 67 слів і врятувала 23, в англійській — 58 і 53, в українській — 8 і 2. А до того, обираючи між кількома варіантами одруківки, вона помилялася в 23–29% питань. Вимкнено і те, і те.

Для слів у чужій розкладці, де таблиці літер вагаються, та сама модель лишилася. Там вона підняла частку виправлених довгих слів з 97,7% до 99,2% (українських — з 90,6% до 96,4%) ціною чотирьох зайвих хибних замін на 111 373 слова, і всі чотири — на словах із навмисною одруківкою. 95 відповідей зі 100 вкладаються в 34 мілісекунди.

Одиночна «э», що ставала «є». На російській розкладці «э» стоїть на клавіші, яка в англійській дає лапки. Англійська фраза, що починалася з лапок не в тій розкладці, отримувала «Є» замість лапок — 20 разів на перевірці. Вимкнено.

Сміливе налаштування одруківок. Воно виправляло 92% російських одруківок, але міняло 8,8 правильного російського слова на 10 000, а на відкладеному російському тексті — 71 слово. Ми взяли суворе: 66% виправлених і менше ніж одна хибна заміна на 10 000.

Що лишається на вашому Mac

Усе. Натискання обробляються на вашому Mac. Для виправлення розкладки в пам’яті обробляється фактичний текст поля до курсора: до початку речення, максимум 16 384 одиниці UTF-16; потім знімок забувається. Останнє виправлення зберігається для скасування. Нічого з набраного не зберігається, не пишеться в журнал і нікуди не надсилається. Smart Keyboard використовує «Універсальний доступ», щоб слухати клавіші й друкувати виправлення, пропускає поля паролів і застосунки-винятки та призупиняє виправлення під час диктування.

Smart Keyboard — платна функція, вона входить у платний пакет і в пробний період на 30 днів. Що він виправляє, чого не чіпає і чого не впіймає — на сторінці Smart Keyboard.

Чому ми це зробили

За два тижні багато хто не встигає перевірити переклад і запис зустрічі на справжній роботі. Потрібно кілька дзвінків, довгий документ, звичайний робочий тиждень, а не пара пробних фраз. Місяця на це вистачає.

Що відкриває пробний період

• переклад;
• стильові пресети;
• живі субтитри;
• переклад під курсором;
• запис зустрічі.

Диктування в пробний період не входить, бо воно й так безкоштовне назавжди: і коли ви тримаєте клавішу, і коли натискаєте її коротко та вмикаєте секретаря. Коли місяць мине, платні функції закриються, а диктування залишиться.

Як його отримати

Зареєструйтеся в майстрі першого запуску. Пробний період увімкнеться сам: просити його окремо не потрібно, картка не потрібна.

Якщо ви вже на пробному періоді

У вас нічого не змінюється: строк лишається попереднім. 30 днів отримують ті, хто зареєструється від сьогодні.

Докладніше про те, що безкоштовно і що відкриває план, — у розділі акаунт і плани.

Що робить суддя

Коли в розпізнаному тексті є щось схоже на термін з вашого словника, застосунок має вирішити: це справді термін чи звичайне слово? «Redis» і українське слово, що звучить так само, — різні речі, а заміна наосліп ламає фрази, які були правильні.

Тому застосунок питає невелику мовну модель, суддю. Вона читає фразу й слово-кандидата та відповідає «так» або «ні». Раніше ми з’ясували, що питати про кожного кандидата безпечніше, ніж вірити складеному вручну списку ризикованих. Заковика в часі: питання ставиться, поки ви чекаєте на свій текст.

Що ми виміряли

Чотири голоси прочитали набір тестових фраз із термінами. Для кожної моделі ми рахували два числа: фрази, які суддя виправив (термін став на своє місце), і фрази, які він зіпсував (правильне слово замінили). Підсумок — виправлені мінус зіпсовані. «+63» означає, що на 63 фрази стало краще більше, ніж стало гірше.

• Модель на 4 мільярди параметрів: виправлено 70, зіпсовано 5, підсумок +65.
• Наша донавчена на 1,7 мільярда: 68 і 5, підсумок +63.
• Та сама модель на 1,7 мільярда до нашого навчання: 77 і 23, підсумок +54. Вона відповідала «так» майже на все.
• Донавчена на 0,6 мільярда: +58.

Усі п’ять поломок у донавченої моделі прийшли з однієї спірної фрази, пастки, яку ми залишили навмисно. Слів-пасток ми до навчання не включали, тож вимір іде на словах, яких модель не бачила. На окремому списку з 25 незнайомих термінів частка правильних відповідей «ні» зросла з 20% до 96%.

За швидкістю: одне питання займає близько 0,07 секунди на моделі в 1,7 мільярда проти приблизно 0,20 на моделі в 4 мільярди. Файл — 1,7 ГБ проти 3,3 ГБ. Тому вона нам подобається.

Для навчання ми згенерували приклади фраз, де правильна відповідь відома з того, як вони влаштовані. «+63» — це вимір на нашому тестовому наборі, а не обіцянка для вашого мовлення.

Як стоять справи

За замовчуванням вона не ввімкнена. Застосунок тепер уміє спрямовувати суддю на окрему модель через приховане налаштування, окремо від моделі стилів. 7 жовтня ми ввімкнули її на одному з наших Маків. На живому диктуванні ми її поки не міряли. Доки цього нема, у всіх інших лишається попередня схема, а коли це зміниться, ми напишемо про це тут.

Про моделі докладніше — на сторінці мови та моделі.

Що ви вмикаєте і натискаєте

Спершу ви вмикаєте в застосунку галочку «Хочу допомагати покращувати розпізнавання мовлення». Вона стоїть поруч зі згодою на статистику, але окремо від неї й за замовчуванням вимкнена. Згода на статистику її не вмикає, а сама галочка нічого не надсилає.

Потім натискаєте Control-Option-Command-B. Відкривається вікно. У ньому одне з трьох ваших останніх диктувань: його можна прослухати, видно текст і, якщо диктування було з перекладом, переклад. Можна ще написати, що пішло не так. Це за бажанням.

Тоді натискаєте «Надіслати». До цього моменту з Мака не йде нічого.

Що відбувається до і після

Доки ви не натиснули «Надіслати», звук трьох останніх диктувань лежить лише в пам’яті. На диск він не пишеться, а при виході із застосунку забувається.

Без галочки пункт меню прихований, поєднання клавіш мовчить, а надсилання заборонене. Якщо ви потім вимкнете галочку, вікно закриється, а тимчасовий звук зітреться.

Після «Надіслати» застосунок надсилає: запис цього одного диктування, розпізнаний текст, переклад, якщо він є, опис проблеми, вашу пошту, якщо ви її ввели, версії застосунку та macOS і анонімний номер встановлення. Номер — це відбиток ключа встановлення, а не ваш акаунт; він потрібен лише щоб обмежити, скільки звітів може надіслати одне встановлення. Звіт іде на api.verbaide.com. Входити в акаунт і погоджуватися на статистику для цього не потрібно.

Як довго ми це зберігаємо

Наша політика приватності каже прямо: ми зберігаємо звіт, доки не видалимо його вручну. Автоматичного видалення поки немає. Якщо хочете, щоб звіт видалили раніше, напишіть на contact@verbaide.com.

Навіщо ми про це просимо

Коли розпізнавання помиляється, єдине надійне свідчення — звук. З опису словами не зрозуміти, чи слово пробурмотіли, чи мікрофон був тихий, чи помилилася модель. Із записом ми можемо відтворити випадок і виправити його для всіх, хто каже те саме. Це єдине місце, де звук іде з вашого Мака, і лише коли ви натискаєте кнопку.

Повний перелік мережевих запитів — на сторінці що йде з вашого Mac, а наша обіцянка щодо мовлення — на сторінці приватність передусім.

Як це працює

Тримайте клавішу й говоріть. Відпустили — весь текст одразу з’являється в полі. Це миттєвий спосіб. Він може переписати текст у вибраному стилі, а обмеження за часом немає.

Натисніть клавішу коротко — запуститься секретар. Говоріть, скільки потрібно. Текст з’являється в полі шматками по ходу мовлення, а друге натискання його зупиняє. Якщо ввімкнено переклад, кожен шматок перекладається дорогою. Стилю секретар не застосовує.

Межа між двома способами — пів секунди. Коротше натискання — коротке. Довше — утримання. Обирати режим заздалегідь не треба: ви просто тиснете клавішу так, як вимагає момент.

Навіщо ми це зробили

Дві клавіші на одну справу змушували людей зупинятися й думати, яку обрати. Фраза для повідомлення в чаті просить утримання. Довга думка, лист чи потік нотаток просять короткого натискання. Це різниця в тому, як ви тиснете, а не в можливостях, тож і місце в застосунку має бути одне.

У секретаря були обмеження: 60 секунд і 15 хвилин. Обох лімітів більше немає, а сам секретар тепер безкоштовний, як і решта диктування. Окрему клавішу, пункт меню, вкладку в налаштуваннях, вигляд в історії та індикатор «батарейки» прибрано.

Довге утримання стилізується частинами

Пов’язана зміна для миттєвого способу. Коли ви довго тримаєте клавішу і ввімкнено стильовий пресет, текст раніше йшов у модель стилізації цілим. Довгий текст малій локальній моделі дається важко. Тепер застосунок ріже довге диктування на частини й стилізує кожну зі своїм запасом. Якщо стилізація однієї частини не вдалася, як сказано лишається тільки вона, решта все одно стилізується. Пробіли між частинами зберігаються.

Що робити після оновлення

Нічого. Клавіша диктування лишається там, де була. Тримайте її для фрази, натискайте коротко для секретаря. Подробиці — на сторінці гарячих клавіш.

Чому ми змінили спосіб

Перший спосіб різав звук дзвінка на шматки й порівнював відбитки голосів. На справжньому записі він не впорався. Мікрофон і решта учасників приходять змішаними в одному каналі, і голоси різних людей потрапляли в одну групу. Виходом не стали й імена: ім’я, взяте з тексту, часто дістається не тій людині.

Новий спосіб — модель Nemotron 3 Diarization від NVIDIA. «Діаризація» означає розкладання запису за тим, хто і коли говорив. Модель розрізняє до восьми голосів на одній зустрічі. Російської та української в її навчанні немає, тому ми перевірили її самі.

Як ми перевіряли

Узяли один справжній запис зустрічі: близько 72 хвилин, четверо людей. Нарізали 60 коротких шматочків по дві з половиною секунди з випадкових місць і послухали кожен. У 51 з них можна було впевнено сказати, хто говорить, їх ми й залишили.

Для кожного шматочка дивилися, який номер йому дала програма. Нова модель віднесла всі 51 до потрібної людини, тобто 51 із 51, і використала рівно чотири номери на чотирьох людей. Попередній спосіб дав 27 із 51, близько 53%, і розкидав голоси по семи номерах, у кожному з яких суміш людей.

До цього варто ставитися обережно. Це одна зустріч, невеликий набір шматочків, перевірка однією людиною і ті мови, якими йшов той дзвінок. На цілих рядках розшифровки, які довші за наші шматочки й інколи містять двох мовців, нова модель збіглася з нашим слухом у 47 випадках із 51. Інші записи ми поки не перевіряли.

Що лишається на вашому Маку

Модель — завантаження приблизно на 100 МБ з huggingface.co. Вона завантажується лише за кнопкою у вкладці «Завантаження». Сама зустріч у мережу не ходить: мітки ставляться на вашому Маку після запису.

Голосів застосунок не запам’ятовує. Номери існують лише всередині однієї зустрічі й нікого не впізнають. «Співрозмовник 2» сьогодні ніяк не пов’язаний зі «Співрозмовником 2» завтра. Голосового профілю нема, тож і зберігати, і втрачати нічого.

Про те, що виходить із застосунку і коли, написано на сторінці що йде з вашого Mac.

Що ми знайшли

Системний вхід на Маку лишився на Bluetooth-навушниках, а гучність входу стояла на 27%. Ми виміряли гучність записаних фраз. Мовлення приходило приблизно на мінус 48 децибел. На звичайному мікрофоні та сама міра тримається між мінус 20 і мінус 35. Це дуже тихий запис, і розпізнавачу майже нема за що вхопитися.

У записах це видно за хвилину. Розбирати всі зміни довелося б годину.

Того ж дня вилізло друге. Після натискання клавіші диктування з’являлася панель, потім тиша, і лише потім звук початку запису. Журнал показував, що застосунок починав запис за 0,1 секунди після натискання, тож гальмував не він, а навушники. Коли Bluetooth-навушники відкривають мікрофон, вони перемикаються з режиму музики в режим гарнітури, і це забирає час. У режимі гарнітури звук до того ж гірший, ніж під час відтворення музики.

Що робить застосунок тепер

Кожне диктування тепер міряє гучність перших півтори секунди вашого мовлення. Якщо вона надто тиха, панель шість секунд про це каже: який мікрофон слухає і яка в нього гучність входу. Запис триває далі, ми вас не зупиняємо.

Поріг ми підібрали приблизно на півтори тисячі власних записаних шматків. Попередження ловить близько трьох чвертей тієї тихої години, що в нас була, і спрацьовує даремно менш ніж на одному відсотку звичайного мовлення. Це практичне правило, а не гарантія.

Що можна перевірити самому

Якщо диктування раптом погіршало, насамперед гляньте на мікрофон.

• Відкрийте Системні параметри, потім Звук, потім Вхід. Скажіть щось і стежте за шкалою. Якщо вона ледве ворушиться, підніміть гучність входу.
• Подивіться, який пристрій вибрано. Коли ви підключаєте навушники, macOS може перемкнути вхід на них без питань.
• Якщо ви працюєте з Bluetooth-навушниками, чекайте короткої паузи, коли відкривається мікрофон, і гіршого звуку, поки він увімкнений. Вбудований мікрофон Мака позбавляє обох.

Інші підказки є на сторінці неполадок.

Сьогодні: в налаштуваннях можна обрати для диктування окремий мікрофон.

Що робить застосунок тепер

Коли доступна нова модель, застосунок показує вікно з двома кнопками: «Оновити» і «Не зараз». У вікні вказано розмір завантаження та сказано, що застосунок і далі працює на поточній моделі, доки ви не оновите. Відповідати швидко не потрібно, і поки ви думаєте, нічого не перестає працювати.

Частину рішень ми ухвалили свідомо:

• Вікно ніколи не з’являється, поки ви працюєте. Воно чекає, якщо йде диктування, секретар або живі субтитри.
• Воно з’являється приблизно за п’ять секунд після запуску або коли ви відкриваєте розділ «Розпізнавання» в налаштуваннях, у вкладці «Компоненти».
• Воно з’являється не частіше за один раз за запуск.
• Після «Не зараз» застосунок чекає тиждень і лише тоді питає знову.
• Після другого «Не зараз» він більше не питає про цю версію. Якщо ми виставимо новішу, лічильник почнеться з нуля.

У кнопок немає клавіш швидкого вибору. Під час перевірки випадковий Enter, натиснутий в іншому вікні за мить до цього, погодився на завантаження 600 МБ. Тепер потрібно натискати кнопку мишею.

Що завжди можна зробити самому

Кнопка «Оновити модель» лишається в налаштуваннях, у «Компонентах», у розділі «Розпізнавання». Якщо ви двічі натиснули «Не зараз» і передумали, кнопка на місці. Якщо ви натиснули «Оновити» й закрили застосунок на півдорозі, завантаження продовжиться під час наступного запуску без повторного запитання.

Єдиний виняток

Найперша модель встановлюється без запитання. Без моделі розпізнавання нічим диктувати, навіть у безплатному режимі, тож запитання лише заважало б. Це стосується тільки випадку, коли не встановлено взагалі жодної моделі.

Чи йде щось нове в мережу

Ні. Запитання спирається на той самий покажчик на поточну модель, який застосунок і так читав не частіше за раз на добу. Нічого про вас він не надсилає. Ваші відповіді зберігаються в налаштуваннях застосунку на вашому Маку, тому очищення кешу моделей питання не повертає.

Повний перелік того, що застосунок надсилає й коли, — у розділі що залишає ваш Mac.

Що ми зробили

Дотренування — це коли беруть готову модель і продовжують її вчити на новому матеріалі. Ми робили це на Маку, без орендованих відеокарт. У моделі близько 627 мільйонів параметрів, один прохід по приблизно 80 хвилинах звуку займає близько 12 хвилин.

Записи наші: кілька людей читали вголос сотні фраз, зокрема фрази-пастки. Наприклад, «сафарі-парк», який модель полюбляє писати як «Safari Park», і речення, повні чисел.

Яка рецептура перемогла

Ми порівняли варіанти на двох людях, яких модель не чула, по 100 нових фраз у кожного. Помилок на сто слів, менше — краще:

Переміг останній варіант: на 4,2 пункта краще за попередню версію.

Дві ідеї варто пояснити. «Спотворений звук» означає, що під час навчання ми додаємо до записів відлуння кімнати та іншу псування, щоб модель звикла до справжніх приміщень. «Суміш» означає, що дотреновану модель усереднюють із вихідною, щоб вона не забула попереднє. Якийсь час ми брали суміш 0,6, і вона виявилася шкідливою. Її підібрали на одному голосі та на першому наборі фраз, де мало складних випадків. Коли ми додали другий набір, де пасток і чисел удвічі більше, суміш лише забирала виграш.

Що не допомогло

Більше даних того самого виду. Три версії, навчені на дедалі більшому обсязі, показали однаковий результат у межах шуму. Нові фрази від тих самих людей теж не допомогли, як і сильні спотворення: вони виявилися гіршими за помірні. Допомагають нові голоси та правильна рецептура.

Як ми міряємо

Лише на голосах, яких модель не чула, і на фразах, яких вона не бачила. Якщо голос був у навчанні, число виглядає приблизно на третину кращим, ніж буде в справжньої людини. Тому ми тренуємо окрему модель без кожного з перевірочних голосів і міряємо на ній.

Дотренована модель лежить на cdn.verbaide.com, і застосунок бере її звідти. Сьогодні: з 24 вересня застосунок питає, перш ніж ставити нову версію. Докладніше — про мови та моделі.

Що йде не так

Інколи модель робить щось неприємне. Починає зі слів «Звісно, ось неформальний варіант:». Копіює ваш текст дослівно. Відкриває відповідь словом «Привіт». Природна реакція — дописати в інструкцію рядок: не починай зі вступу, не кажи «привіт».

Ми так і робили та міряли це чотири рази на трьох пресетах, на живому диктуванні. Щоразу додані заборони погіршували результат:

• Заборона на вступ «Sure, here’s…» опустила результат нижче за той, з якого ми починали.
• П’ять спроб поспіль заборонити привітання «Hey» провалилися.
• Правило без прикладу зменшило кількість чистих випадків із 19 до 7.

Наше припущення: модель чіпляється за самі ті слова, які їй веліли оминати, замість того щоб їх оминати.

Що працює

Готова пара: фраза на вході та відповідь, яку ми хочемо отримати. Два такі приклади дали на дванадцять виправлених фраз більше і лише одну, що стала гіршою.

Не кожен приклад допомагає. Приклади, вигадані з голови, дали невеликий приріст. Помітний приріст дало інше: ми брали конкретні фрази, на яких модель схибила в попередньому прогоні, і писали до кожної правильну відповідь. Виходить цикл: прогнати тест, вибрати фрази, що провалилися, перетворити їх на приклади, прогнати знову.

Ще одне, про що легко не знати. Дві найгірші звички, вступ і дослівне копіювання, проявляються лише на довгих текстах із кількома думками. На коротких фразах з одного речення їх майже не видно. Тест із коротких фраз скаже, що все добре.

Як ми оцінюємо

У нас є постійний набір фраз, поділений на дві половини. Налаштовуємо ми на одній половині. Друга лишається закритою до самого кінця, як іспит, щоб не підганяти промпт під фрази, які ми бачимо.

Кожна відповідь проходить прості перевірки без моделі: чи вціліли числа, чи залишилося питання питанням, чи не з’явилися чужі літери. Далі друга мовна модель працює суддею й відповідає на п’ять постійних запитань про кожен результат. Якщо змінити суддю, змінюються всі числа, тому кандидата та його вихідний варіант завжди оцінює той самий суддя.

Так ми скоротили інструкцію для ділового тону з 1699 до 1490 токенів, а оцінка судді зросла з 264 до 271 з 282. Промпт коротший, оцінка вища, і жодної нової заборони.

Що ми пробували

Взяли записи чотирьох голосів, 1434 фрази, і пропустили кожну фразу крізь тринадцять варіантів обробки перед розпізнаванням. Потім порівняли кількість помилок із необробленим записом.

• Вирівнювання гучності: усі записи приводяться до одного рівня. Стало гірше, приблизно на два пункти більше помилок на сто слів. Англійські фрази одна за одною записувалися кирилицею.
• Шумозаглушення RNNoise. На голосі, який і так був чистим, стало гірше.
• Шумозаглушення GTCRN. Воно лише перемішало помилки: одні зникли, інші з’явилися, а російською стало трохи гірше.
• Фільтр високих частот на 90 Гц, який зрізає низьке гудіння. Жодної різниці.

Чому так

Очищення звуку не дає розпізнавачу просто кращий запис. Воно змінює звук, а розпізнавач реагує на цю зміну так, як ми не очікували.

Найбільше здивувала гучність. Розпізнавач сам вирішує, якою мовою звучить мовлення, і гучність зсуває це рішення. Чим голосніший звук, тим сильніше модель тягне до російської, і англійська фраза з’являється кирилицею. Тихіший звук — модель відпускає, і вона повертається до мови фрази. Невеликий зсув на вході змінював абетку приблизно в 150 фразах із 1434.

Ми шукали й один ідеальний рівень гучності, але не знайшли. Підсилення звуку шкодило, а найкращий рівень у кожного голосу свій, і вони розходилися більш ніж на 15 дБ.

Що допомогло трохи

Стабільний виграш дало лише одне: зробити звук тихішим на три децибели. Це прибрало приблизно півпункта помилок на сто слів, і жоден голос не став гіршим. Якщо зробити звук набагато тихішим (на 6 дБ і більше), з’являється нова біда: російська починає зсуватися в українське написання.

Виграш невеликий, тож ми додали його лише як експеримент. У налаштуваннях диктування є перемикач «Покращити розпізнавання (експеримент)», типово він вимкнений. На живі субтитри він не впливає.

Тому шумозаглушення перед розпізнавачем ми не ставимо. Якщо захочемо покращити результат для російської та української, дивитимемося, як модель обирає мову, а не на звук.

Як ми перевіряли

Ми взяли власний набір фраз, які читали вголос чотири людини: по 380 фраз на голос, з них 294 в українському наборі. Сервіси отримували файли без підказок і без списків термінів, а нашу модель Parakeet, що працює на пристрої, ми прогнали в тих самих умовах. Рахували частку неправильних слів без урахування розділових знаків. Це єдиний випадок, коли записи йшли до цих сервісів: у самому застосунку так не буває.

Частка неправильних слів за всіма голосами разом:

• російська: Parakeet 13,5%, Gemini 10,0%, GPT-Transcribe 9,8%
• українська: Parakeet 18,0%, Gemini 20,5%, GPT-Transcribe 14,6%
• англійська: Parakeet 13,7%, Gemini 13,1%, GPT-Transcribe 10,6%

Що ми побачили

GPT-Transcribe виявився кращим на 3–4 пункти в кожній мові, і розрив упевнений, а не випадковість вибірки. Gemini на російській та англійській був близький до Parakeet. На українській без підказки мови він був гіршим за Parakeet: короткі фрази дописував російською. Числа він записує цифрами.

Одне не покращилося. На фразах з англійськими термінами всередині російського мовлення хмарні сервіси помилялися у 17–26% слів, проти 32% у Parakeet. «Антропик», «докер» і «мігрейт» у всіх вийшли кирилицею. Тож словник термінів потрібен поверх будь-якого хмарного розпізнавача.

Чому ми відмовилися

Хмарний варіант коштував би нам реальних грошей за кожну хвилину мовлення, окремого сервера для видачі ключів доступу, двох чужих інтеграцій, які треба тримати робочими. Але головна ціна — сама обіцянка. Сьогодні мовлення не залишає ваш Mac, і ця фраза коротка й правдива. Три-чотири пункти точності не варті того, щоб від неї відмовитися.

До цифр є й застереження. Наші фрази читали з аркуша, а не говорили вільно. Ми вже обпікалися на цьому: одна з попередніх моделей на фразах з аркуша була кращою на 1–2 пункти, а потім на живому диктуванні показала себе гірше — писала «е-е» і рвала речення навпіл. Ми її прибрали. Виграш на тестовому аркуші не завжди переноситься на справжнє мовлення.

Що робимо натомість

Ці 3–4 пункти ми намагаємося добрати на пристрої: інші локальні моделі, які одразу міряємо на записах справжнього диктування, обробка звуку до розпізнавання і донавчання Parakeet на наших записах. Про те, що спрацює, розповімо. А що саме залишає ваш Mac сьогодні, перелічено в розділі що залишає ваш Mac.

Що казали цифри

У нас є постійний набір тестових фраз, які люди читають уголос, і ми рахуємо, скільки помилок розпізнавач робить на них. На цьому наборі GigaAM давав на один-два пункти менше помилок на сто слів, ніж самий Parakeet. Це помітний виграш, тому ми його й додали.

Що показало живе мовлення

Набір прочитаних фраз акуратний. Людина читає речення з аркуша, говорить рівно і не затинається. Справжнє диктування не таке. Ти думаєш на ходу, робиш паузи, починаєш фразу знову.

Ми подивилися на текст, який GigaAM видавав на нашому звичайному щоденному диктуванні: 557 повторно перевірених шматків за один день. Вийшло погано, і чотирма способами:

• він вписував у текст «е-е» та «и-и-и», тобто звуки роздуму, яких ніхто не хоче бачити на сторінці;
• він рвав речення: крапка і велика літера посеред фрази;
• він обривав останнє слово там, де один шматок звуку стикується з наступним;
• у чотирьох шматках із десяти він змінював лише розділові знаки, і робив гірше.

На тестовому наборі нічого з цього не було видно, бо в ньому немає затинань і недомовлених фраз.

Що ми вирішили

Можна було підправити перевірку так, щоб тестовий набір ловив ці проблеми. Ми не стали. Людина, яка диктує щодня, побачила проблему в тексті, а це і є головна перевірка. Ми прибрали GigaAM із застосунку, з налаштувань і зі списку компонентів. Файли моделі ми теж зняли з нашого сервера завантажень. А якщо на Маку лишилася копія, застосунок видалить її під час запуску.

Урок простий. Цифра, отримана на прочитаних фразах, не переноситься на живе мовлення. Якщо з’явиться новий кандидат для російської, ми спершу перевіримо його на справжньому диктуванні, а вже потім на прочитаних фразах. Для російської у нас лишається Parakeet.

Що ми використовуємо зараз і як встановлюються моделі — на сторінці про мови та моделі.

Три способи виправити терміни

Розпізнавач працює зі звуком, тож перша думка була — підказати йому, які терміни слухати. Поруч з основною працює друга мала модель на 98 МБ: вона шукає терміни у звуці й переписує текст там, де чує один із них. Це ми називаємо підказкою. Другий спосіб — звичайний список замін, який застосовується до готового тексту, без моделі. Третій — суддя: невелика мовна модель читає речення й вирішує, чи справді термін тут доречний.

Ми перевірили всі три способи на чотирьох голосах і 1434 фразах, приблизно 57 варіантів налаштувань. Для кожного способу рахували, скільки фраз він виправив і скільки зламав.

• Підказка: виправила 86, зламала 253. І ще 2,26 секунди на фразу проти 0,33 без неї.
• Один список замін: виправив 69, зламав 16, миттєво.
• Суддя: виправив 79, зламав 10. За часом майже безкоштовно: модель прокидається, лише коли в тексті справді трапився кандидат.

Підказка зламала втричі більше, ніж виправила. Її типова помилка — співзвучне слово: російське «посмотрел» перетворюється на «Postgres». Ми пробували прибрати зі списку ризиковані слова й отримали те саме співвідношення три до одного. Тому підказку ми вимкнули, а її перемикач сховали з налаштувань. Код лишився, поруч коментар, чому вона вимкнена.

Що тепер робить суддя

Раніше суддя питав модель лише про варіанти, які ми позначили як ризиковані. Ми перевірили, що буде, якщо питати про кожного кандидата. Підсумковий виграш той самий, але ламається 6 фраз замість 10, і зникає список, який ми писали вручну й який міг застаріти. Тепер суддя питає про всіх кандидатів. Розмір моделі важливий: модель на 1,7 мільярда параметрів зламала 24 фрази проти 10 у моделі на 4 мільярди за того самого зсуву помилок у словах. Якщо дивитися лише на помилку по словах, цього не побачити.

Списки термінів для всіх

Вбудовані списки для програмістів, дизайнерів і менеджерів відкриті кожному: їх можна обирати, редагувати й створювати власні. Публічний список зі 165 термінів для розробників з ліцензією MIT ми знайшли, а для дизайнерів і менеджерів не знайшли нічого, тож ці списки писали самі. Готових даних про те, як російськомовна чи україномовна людина вимовляє англійські терміни, ми теж не знайшли, тож ця половина роботи також наша.

Яким цифрам не варто вірити

Термінів у нашому тестовому наборі мало: 259 замін зачіпають лише від 16 до 28 фраз із 380. Секунди — це час розбору файла, а не затримка, яку ви відчуєте в живому диктуванні. Один голос виявився викидом: 28% помилок у словах проти 7,5–12% в інших. Затримку живого диктування, коли суддя питає про все, ми ще не виміряли. Читайте цифри як напрям, а не як обіцянку.

Що зламалося

Ми розібралися 12 серпня. На macOS 26 (перевіряли на 26.5.2) будь-який переклад, де з одного боку українська, обриває системну службу translationd. Після цього macOS не запускає її знову до 20 хвилин. Увесь цей час не перекладається жодна пара мов, у жодному застосунку на комп’ютері, зокрема російська й англійська. Відтворити це можна і без нашого застосунку: виділити текст, натиснути праву кнопку, обрати «Перекласти».

На macOS Sequoia 15 той самий переклад працює, тож це збій саме macOS 26, а не один невдалий Mac. Він відтворився і на чужому комп’ютері. Звичайних підозрюваних ми перевірили: файли української моделі цілі, а очищення кешів, перезавантаження і зміна режиму перекладу нічого не змінювали. Звіт до Apple ми надіслали, але українська — серце того, що робить застосунок, і чекати ми не могли.

Найгірший побічний ефект. Українська й так не працювала, але одна українська спроба заодно вимикала російську й англійську на двадцять хвилин.

Що ми зробили

Ми додали власний перекладач. Він використовує відкриті моделі перекладу, а запускає їх рушій усередині застосунку. Перша версія знає англійську, російську й українську, а сховище розраховане на десять мов.

Словники завантажуються по одному на напрям, лише для мов, які ви обрали, з cdn.verbaide.com. Один напрям лежить усередині застосунку, тож переклад працює з першого запуску: з російської й української на англійську. Усі інші напрями, зокрема зворотний шлях з англійської на російську й українську, завантажуються на вимогу.

Для деяких пар прямої моделі немає — наприклад, для української та російської. Там ми йдемо через англійську, і лише коли прямого шляху немає: кожна зайва пересадка може зіпсувати сенс.

Що ми виміряли

Спершу ми спробували клас моделей менший і легший. З 20 тестових перекладів він зіпсував 8, а в шести зникли цілі речення. З «Привет, как дела? Сегодня хорошая погода, и я хочу пойти на прогулку» лишилося тільки «як справи? і я хочу піти на прогулянку». Це втрачений текст, а не обмін швидкості на якість, тому таку модель ми відхилили. Більший клас не втратив жодного речення.

На цьому Маку наш перекладач витрачав 153 мс на фразу, а перекладач Apple — 176 мс. Це один комп’ютер, а не тест на всі випадки, але він показує, що перехід нічого не коштує за швидкістю.

Перекладач Apple залишився в застосунку запасним для тих мов, де він працює. Українська через нього не йде ніколи. Подробиці про мови та завантаження — у розділі мови та моделі.

Чому «Verba» та «IDE»

«Verba» майже кожен читає як «verbal», «слова», тож за кордоном це звичайна технологічна назва. «IDE» ми взяли з інструментів розробника. Ті, для кого ми робимо застосунок, уже живуть у таких інструментах: розробники, засновники, люди з підтримки та операційних команд, які друкують цілий день. Застосунок має відчуватися як робочий інструмент для тексту, а не як іграшка.

Слоган — «The IDE for human language». В IDE пишуть код. Листи, тікети й повідомлення пишуть людською мовою, і це можна робити швидше, якщо говорити вголос.

У «IDE» є й друге прочитання: Intelligent Dictation & Expression. Цю розшифровку ми лишаємо для місць, де абревіатуру треба розкрити.

Другий сенс для українського читача

Українською «верба» — це дерево, і воно є національним символом. Обирали ми назву не лише через це, але, помітивши збіг, залишили його свідомо. Читач за кордоном бачить охайну технічну назву. Український читач бачить у ній ще один шар. Застосунок роблять люди з України, і багато хто з тих, хто ним користуватиметься, говорить російською чи українською, а працює англійською.

Чому логотип — гілка

Спочатку ми думали про справжню вербу й відмовилися. Дерево схоже на логотип еко-бренду чи косметики, а для інструмента, у якому пишуть, воно не пасує. Домовилися про абстрактну гілку верби: тонкий стебельце й кілька листків. У перших начерках листки нагадували хмаринки мовлення, а літера V складалася з двох тонких гілок. Знак має витримувати дуже малий розмір: він живе ще й у рядку меню, де в спокої намальований контуром, а під час сесії залитий.

Чого торкнулося перейменування

Перейменування — це не просто новий напис. macOS прив’язує дозволи, які ви надали (мікрофон, розпізнавання мовлення, запис звуку інших застосунків), до ідентичності застосунку, і зміна ідентичності чогось коштує. Ми хотіли заплатити цю ціну один раз і рано, поки застосунок не встановили багато людей. Тому все змінили за один прохід, а не шматками.

Застосунок робить те саме, що й раніше: друкує те, що ви кажете, у будь-яке текстове поле, показує живі субтитри з перекладом і перекладає текст під курсором, а розпізнавання й переклад ідуть на вашому Маку. Як це влаштовано — у розділі що залишає ваш Mac.

У застосунку

Застосунок бере першу з цих трьох мов зі списку мов вашої macOS. Якщо жодної з трьох там немає, вмикається англійська. У налаштуваннях можна обрати мову самому, і вона застосовується одразу, без перезапуску.

Важливо, де зберігається вибір. Він записується туди, куди пише системне налаштування мови для окремої програми («Системні налаштування», «Загальні», «Мова та регіон», «Програми»). Тому два перемикачі не можуть розійтися, а вибір переживає перезапуск без зайвого коду. «Як у системі» — це просто відсутність збереженого вибору.

Миттєве перемикання виявилося важчою половиною. Звичайний спосіб завантаження рядків у маковому застосунку читає мову під час запуску й більше не змінює. Ми завантажуємо рядки через власний об’єкт, який уміє міняти мову на ходу. Якщо рядка немає, береться англійський, а якщо й його немає — сам ключ, щоб прогалина впадала в око, а не ховалася порожнім місцем.

Першою пасткою стало меню. Вікна перемальовуються самі, а меню зберігає готовий текст. Застосунок живе в рядку меню, і якби ми про це забули, мова змінилася б усюди, крім найчастішого місця. Друга пастка знайшлася згодом: у кількох місцях зберігалася готова фраза, а не те, що треба перекладати. Результат перевірки дозволу, статус на панелі диктування, напис «завантаження» в закріпленому вікні перекладу. Кожному довелося запам’ятовувати причину повідомлення, щоб зміна мови до нього дійшла. У старих записах історії були зашиті російські слова «надиктовка» і «секретарь», тому вони лишалися російськими після зміни мови. Тепер їх зведено до нейтральних щодо мови міток.

Дві речі ми залишили навмисно. Слова, якими можна вголос назвати розділові знаки, — це дані розпізнавання, а не інтерфейс, тому разом з інтерфейсом ми їх не перекладали. А мова інтерфейсу й мова мовлення — різні речі: на англійському Маку можна диктувати українською. Одне на інше не впливає.

Тексти системних запитів на дозволи лежать в окремих файлах, бо ці вікна малює сама macOS. Після ручної зміни мови нова мова в них з’явиться з наступного запуску.

На сайті

Кожна мова тепер має власну адресу: корінь для англійської, /ru/ для російської, /uk/ для української. Текст лежить у самій сторінці, а не підставляється скриптом після завантаження, тому пошукові системи читають кожну мову окремо.

Спочатку мова на кореневій адресі обиралася за браузером. Але відвідувач з України з російським чи англійським браузером лишився б на англійській сторінці, а ми хотіли, щоб для відвідувачів з України першою відкривалася українська версія. Тож тепер сайт дивиться ще й на країну відвідувача. Коли ви раз натиснули перемикач мови, ваш вибір перемагає при всіх наступних заходах.

Пробний прогін

Перш ніж щось будувати, ми зробили одноразовий дослід. Ми написали десять правдоподібних ділових фраз російською: коротка відповідь у чаті, ввічлива відмова, прохання до колеги, кілька з англійськими термінами всередині. І прогнали їх через модель у різних тонах, зокрема навмисно крайніх на кшталт пірата чи мелодрами, щоб різницю було легко побачити.

Тут був очевидний підступ. Модель підтримує 23 мови, і російської серед них немає. Проте модель може видати гладкий текст і незнайомою мовою, вгадуючи за знайомими шматками слів, а на око гарну здогадку від справжнього розуміння не відрізнити. Тому ми домовилися вважати підозрілу гладкість приводом для сумніву, а не доказом якості.

Вердикт живого прогону: якість придатна, безкоштовно, працює без мережі. У моделі є й жорстка межа: 4096 токенів на інструкцію, вхідний текст і відповідь разом.

0 з 30

Головне питання стосувалося прямого шляху: російський текст на вході, російський текст в іншому тоні на виході. Ми порахували чесно, з журналом, що записує, яким шляхом вийшов кожен результат. Десять фраз у трьох тонах дали 30 спроб. Прямий шлях не спрацював жодного разу. Усі 30 пішли запасним, і запасний жодного разу не підвів.

Запасний шлях іде через англійську. Російський текст перекладається англійською перекладачем Apple, англійський переписується у вибраному тоні, і результат перекладається назад. Ланцюжок завершується простою страховкою: якщо будь-який крок не вдався або потрібного мовного пакета немає, ви отримуєте свій вихідний текст, а не піврезультату. А для клавіші «без перекладу» помилково ніколи не вставиться англійський текст.

Пряму спробу ми все одно залишили в коді. Російська очікується в наступному поколінні моделі, яке прийде з macOS 27. Коли це станеться, прямий шлях запрацює без жодної нашої правки. А доти він коштує частку секунди на кожну невдалу спробу, і ми з цим погодилися.

Що пішло не так під час живої перевірки

Дружній тон іноді відповідав на текст, а не переписував його: привітання, нікому не потрібний коментар, пропозиція допомогти. Найгірше це було на коротких фразах. Ми додали явну інструкцію «ти переписуєш, а не відповідаєш» і потім поставили її в усі тони, бо збій не залежав від тону. Ще одна пастка: коли модель упирається в межу довжини, вона зупиняється без помилки й віддає обірваний текст як нормальний. Ми перевіряємо, чи закінчується відповідь як речення, і якщо ні — відкочуємося.

Escape скасовує стилізацію будь-якої миті. 7 серпня на панелі диктування з’явився перемикач стилю, а інструкції для кожного тону можна редагувати.

Сьогодні: стилі працюють на невеликій моделі, яку застосунок завантажує на ваше прохання, тож модель Apple більше не потрібна.

Крок 1: російська й англійська одночасно (3 серпня)

Перше завдання — слухати змішане англійське й російське мовлення для живих субтитрів. В англійському розпізнавачі Apple російської немає взагалі. Ми перевірили перелік мов, які він підтримує на Маку: їх 30, і російської серед них немає. Російська живе в іншому розпізнавачі з того самого фреймворку — тому, що створений для диктування. Тож ми запускаємо обидва одночасно на одному звуці, а для кожної фрази вибираємо той, що певніший у почутому. Російська фраза лишається як є й не перекладається; англійська перекладається російською. На одну фразу вибирається одна мова: розпізнавач не вміє перемикатися посеред фрази, тому чуже слово всередині речення записується на слух мовою-переможницею.

У російського розпізнавача є вада, яку ми виміряли того самого дня: він не ставить розділових знаків, навіть коли їх просять. Речення приходить одним рядком без крапок. Читати таке незручно, а перекладати ще гірше: прохання «перепроверь» перетворилося на «I’ll double-check» — обіцянку замість прохання. Тому диктування ним не користується: російське диктування працює на окремій моделі, Parakeet, яка сама ставить розділові знаки. Пара розпізнавачів вище обслуговує живі субтитри.

Крок 2: диктування за поєднанням клавіш (4 серпня)

Два поєднання. Option-Пробіл вставляє в поле під курсором те, що ви сказали, як є. Option-Control-Пробіл спершу перекладає англійською. Текст вставляється одним шматком, коли ви закінчуєте. У вставки є захист: якщо в полі щось виділено або активне поле пароля, вона не затирає все підряд. Голосові розділові знаки теж працюють: назвали знак — отримали знак.

Крок 3: секретар (5 серпня)

Третє поєднання, Option-Command-Пробіл, запускає довгий сеанс. Ви говорите скільки потрібно, з паузами й відволіканнями, а кожен розпізнаний шматок одразу вставляється в те поле, де ви почали. Можна перемкнутися в іншу програму: текст і далі йде на початкове місце.

Це обіцянка, що потребує обережності. Перед кожною вставкою застосунок перевіряє, що програма-адресат досі працює, що фокус лишився в тому самому полі (а не в іншому полі тієї ж програми, наприклад у рядку пошуку), що там нічого не виділено і що система не в режимі введення пароля. Якщо фокус пішов, шматок чекає, а на панелі з’являється повідомлення — він не вставляється абиде. Сеанс завершується тим самим поєднанням, хрестиком на панелі або через 15 хвилин.

Клавішу Escape ми свідомо не перехоплюємо на весь сеанс. Інакше Escape перестав би працювати в усіх інших програмах, поки ви диктуєте, а сеанс триває хвилинами. Завершити його можна хрестиком на панелі.

Одна помилка, знайдена 5 серпня: у чат-застосунках на Electron вставка мовчки не спрацьовувала, якщо розкладка клавіатури була не латинська. Тепер на мить вставки ми перемикаємося на латинську розкладку.

Сьогодні: обидва способи злилися в одне диктування. Тримайте клавішу — фраза цілком, натисніть коротко — секретар. Обидва безкоштовні.

Що Apple дає для російської

В Apple два рушії розпізнавання. Новий, SpeechAnalyzer, ми використовуємо для англійської. Для російської в Apple є лише старий рушій диктування, і розділових знаків він не ставить. На виході одна довга стрічка слів.

Візьмімо фразу: «Привет как дела сегодня хорошая погода я хочу пойти на прогулку». Ніщо не показує, де закінчується одне речення й починається інше. Читати можна, але повільно, а перед надсиланням текст доводиться виправляти вручну.

Чому розділові знаки важливі для нас

Вони важливі двічі. Перше — читання: текст без знаків втомлює, а диктування, після якого ви самі розставляєте всі коми, повертає той час, який заощадило. Друге — переклад. Наш застосунок уміє перекладати те, що ви надиктували, а перекладачеві треба бачити, де закінчуються речення. Отримавши нескінченну стрічку слів, він вгадує, і помиляється так, що ви не помітите, доки не прочитаєте обидва тексти.

Тому рушій без пунктуації не годився для головного сценарію: сказати й отримати чистий текст або чисту англійську.

Що ми обрали

Parakeet TDT v3 — модель розпізнавання мовлення від NVIDIA. У ній 0,6 мільярда параметрів, вона розуміє російську та інші європейські мови й сама ставить знаки та великі літери. На Маку ми запускаємо її через бібліотеку FluidAudio, яка готує модель для чипа Apple. Модель завантажується, коли застосунку вперше потрібна, з huggingface.co. Саме мовлення лишається на вашому Маку.

Це справжня ціна. Розпізнавач не із системи — це завантаження й залежність, яку нам підтримувати, а рушій Apple був би простішим. Ми пішли на це, бо інакше вийшов би текст, що ламається вже на першій межі речення.

Чого ми не стверджуємо

Ми не порівнювали модель з усіма розпізнавачами на ринку. Ми порівняли її з тим, що macOS пропонує для російської, і в цьому порівнянні питання вирішила відсутня пунктуація. Наскільки точно вона працює на вашому голосі й вашій лексиці — це ми й далі вимірюватимемо та розповідатимемо, що знайшли.

Сьогодні: застосунок завантажує нашу власну дотреновану версію Parakeet, а налаштування описане в розділі мови та моделі.

Як це працює

Ви затискаєте поєднання клавіш і наводите курсор на англійський текст. Типово це Option і Command. Біля курсора з’являється невелика плашка з трьох блоків: оригінал дрібним шрифтом, під ним російський переклад, а третім — словникова стаття до слова під курсором. Слово шукаємо англійською, а не за його перекладом: тлумачення англійського слова корисніше. Системний словник сам зводить слово до основної форми, тож за «caching» знаходиться «cache».

Якщо ви вже виділили фразу й курсор стоїть усередині виділення, перекладається все виділене, а не одне речення. Саме всередині: інакше старе виділення в іншому місці тексту перебивало б усе, на що ви наводите потім, і було б незрозуміло, чому перекладено не те. Дуже довге виділення обрізається до 600 символів по межі слова: виділити весь документ через Command-A можна, але перекладати його цілком повільно й марно.

Типово режим вимкнений. Йому потрібен дозвіл «Універсальний доступ», а просити дозвіл у людини, яка про цю функцію не питала, ми не хочемо.

Як читати текст, не дивлячись на екран

Очевидний спосіб — розпізнавати картинку екрана. Тоді в рядку меню назавжди засвітився б фіолетовий індикатор запису екрана. Спершу ми перевірили, що віддає системний інтерфейс доступності. У браузері, редакторі коду й месенджері, які ми пробували, він дає речення точно в позиції курсора. Запис екрана не знадобився.

Найважче було з браузерами. Якщо виділення захоплює заголовок і абзац, інтерфейс доступності повертає один плаский рядок, і заголовок злипається з наступним текстом. Перше виправлення читало шрифти виділення й збирало структуру за розмірами. Воно працювало, але було обхідним шляхом. Кращим джерелом виявився буфер обміну: браузери кладуть туди текст з повною розміткою. Тому застосунок надсилає Command-C активній програмі, читає копію з розміткою й повертає попередній вміст буфера. Копію він звіряє з тим, що повернув інтерфейс доступності, щоб не показати текст з іншого вікна. Заголовки, списки та жирний шрифт зберігаються.

Перекладач не зберігає позначки на зразок «##» і дефісів списку. Ми знімаємо їх, перекладаємо текст і ставимо на місце. Якщо перекладач повернув іншу кількість рядків, показуємо його відповідь як є.

Закріплене вікно

Шпилька в кутку плашки перетворює її на звичайне вікно. Воно не зникає, його можна розтягнути, виділяти текст мишею та шукати виділене слово в словнику. Кожен блок має власні кнопки «дрібніше» і «більше», розмір запам’ятовується. Кнопка з динаміком читає блок уголос. Голос ми обираємо за абеткою, а не системним визначником мови: він сприйняв слово «масштаб» за українське, а українського голосу на Маку немає, і озвучення мовчки не спрацювало б. Текст, де є бодай одна кирилична літера, читається російським голосом.

Що він уміє

Застосунок живе в рядку меню. У меню — перелік програм, які можна слухати, і мікрофони. Програми, що зараз мовчать, зі списку не зникають: відеодзвінок ще не почався, вкладка браузера на паузі, а обрати їх треба наперед. Ті, що відтворюють звук, стоять першими.

Субтитри з’являються у вікні поверх усіх інших. Його можна перетягнути за тло й розтягнути за кутик, місце і розмір запам’ятовуються. У вікні можна показувати лише англійську, лише російську або обидві одразу — англійський рядок угорі. Шрифти, кольори та прозорість тла налаштовуються в окремому вікні.

Коли ви натискаєте «Зупинити», сесія зберігається повністю. Вікно «Нещодавні транскрибації» тримає останні 50 сесій, будь-яку можна скопіювати текстом. Сесія, в якій ніхто нічого не сказав, не зберігається.

Два рішення

Як перехопити звук однієї програми. Звичайний шлях — фреймворк запису екрана. Ми його не взяли: він просить дозвіл на запис екрана й тримає в рядку меню індикатор запису весь час роботи. Ми користуємося системним способом підключитися до звуку одного процесу. У нього власний дозвіл і немає екранного індикатора. Браузери й месенджери грають звук із кількох службових процесів, тому ми групуємо їх за програмою, якій вони належать, і слухаємо всі разом.

Не чекати кінця фрази. Людина говорить речення чотири-вісім секунд, і порожній екран увесь цей час виглядає як поломка. Тому ми показуємо текст, що росте. Розпізнавання від Apple у швидкому режимі віддає новий текст приблизно раз на секунду; без цього режиму він приходив раз на 3,8 секунди. Останні слова ще блимають і виправляються, але це краще, ніж чекати.

Переклад приходить пізніше за розпізнавання, і тут була головна пастка. Текст надходить пачками, а перше оновлення пачки часто — уривок на кшталт «So». Ми чекаємо 150 мілісекунд і перекладаємо найсвіжіше оновлення. Кожне оновлення має номер, а переклад старішого тексту відкидається — запізніла відповідь не затре новий рядок.

Що в комплекті

Того ж дня з’явилися значок застосунку та інсталятор: образ диска з короткою інструкцією всередині й готовий рецепт для встановлення через Homebrew. Поки що застосунку потрібна macOS 26 — він користується новим розпізнаванням мовлення від Apple. Просить три дозволи: звук інших програм, мікрофон і розпізнавання мовлення.

Ця версія розуміє лише англійську й перекладає лише російською. Наступний крок — текст під курсором миші.