Менший суддя для термінів вашого словника

Розпізнавач пише незвичні слова так, як вони чуються. Скажіть «Redis» в українській фразі, і можна отримати «редіс». Для цього у VerbaIDE є словники термінів: списки назв і того, як їх зазвичай чують неправильно. Цього тижня ми навчили маленьку модель ухвалювати остаточне рішення, і вона виявилася майже не гіршою за модель, більшу за неї понад удвічі.

Що робить суддя

Коли в розпізнаному тексті є щось схоже на термін з вашого словника, застосунок має вирішити: це справді термін чи звичайне слово? «Redis» і українське слово, що звучить так само, — різні речі, а заміна наосліп ламає фрази, які були правильні.

Тому застосунок питає невелику мовну модель, суддю. Вона читає фразу й слово-кандидата та відповідає «так» або «ні». Раніше ми з’ясували, що питати про кожного кандидата безпечніше, ніж вірити складеному вручну списку ризикованих. Заковика в часі: питання ставиться, поки ви чекаєте на свій текст.

Що ми виміряли

Чотири голоси прочитали набір тестових фраз із термінами. Для кожної моделі ми рахували два числа: фрази, які суддя виправив (термін став на своє місце), і фрази, які він зіпсував (правильне слово замінили). Підсумок — виправлені мінус зіпсовані. «+63» означає, що на 63 фрази стало краще більше, ніж стало гірше.

• Модель на 4 мільярди параметрів: виправлено 70, зіпсовано 5, підсумок +65.
• Наша донавчена на 1,7 мільярда: 68 і 5, підсумок +63.
• Та сама модель на 1,7 мільярда до нашого навчання: 77 і 23, підсумок +54. Вона відповідала «так» майже на все.
• Донавчена на 0,6 мільярда: +58.

Усі п’ять поломок у донавченої моделі прийшли з однієї спірної фрази, пастки, яку ми залишили навмисно. Слів-пасток ми до навчання не включали, тож вимір іде на словах, яких модель не бачила. На окремому списку з 25 незнайомих термінів частка правильних відповідей «ні» зросла з 20% до 96%.

За швидкістю: одне питання займає близько 0,07 секунди на моделі в 1,7 мільярда проти приблизно 0,20 на моделі в 4 мільярди. Файл — 1,7 ГБ проти 3,3 ГБ. Тому вона нам подобається.

Для навчання ми згенерували приклади фраз, де правильна відповідь відома з того, як вони влаштовані. «+63» — це вимір на нашому тестовому наборі, а не обіцянка для вашого мовлення.

Як стоять справи

За замовчуванням вона не ввімкнена. Застосунок тепер уміє спрямовувати суддю на окрему модель через приховане налаштування, окремо від моделі стилів. 7 жовтня ми ввімкнули її на одному з наших Маків. На живому диктуванні ми її поки не міряли. Доки цього нема, у всіх інших лишається попередня схема, а коли це зміниться, ми напишемо про це тут.

Про моделі докладніше — на сторінці мови та моделі.