Хто говорить: мітки мовців у записі зустрічі
Розшифровку зустрічі важко читати, коли всі рядки виглядають однаково. Тепер застосунок позначає, хто говорить: решта учасників дзвінка стають «Співрозмовник 1», «Співрозмовник 2» і так далі. Функцію поки позначено як експериментальну.
Чому ми змінили спосіб
Перший спосіб різав звук дзвінка на шматки й порівнював відбитки голосів. На справжньому записі він не впорався. Мікрофон і решта учасників приходять змішаними в одному каналі, і голоси різних людей потрапляли в одну групу. Виходом не стали й імена: ім’я, взяте з тексту, часто дістається не тій людині.
Новий спосіб — модель Nemotron 3 Diarization від NVIDIA. «Діаризація» означає розкладання запису за тим, хто і коли говорив. Модель розрізняє до восьми голосів на одній зустрічі. Російської та української в її навчанні немає, тому ми перевірили її самі.
Як ми перевіряли
Узяли один справжній запис зустрічі: близько 72 хвилин, четверо людей. Нарізали 60 коротких шматочків по дві з половиною секунди з випадкових місць і послухали кожен. У 51 з них можна було впевнено сказати, хто говорить, їх ми й залишили.
Для кожного шматочка дивилися, який номер йому дала програма. Нова модель віднесла всі 51 до потрібної людини, тобто 51 із 51, і використала рівно чотири номери на чотирьох людей. Попередній спосіб дав 27 із 51, близько 53%, і розкидав голоси по семи номерах, у кожному з яких суміш людей.
До цього варто ставитися обережно. Це одна зустріч, невеликий набір шматочків, перевірка однією людиною і ті мови, якими йшов той дзвінок. На цілих рядках розшифровки, які довші за наші шматочки й інколи містять двох мовців, нова модель збіглася з нашим слухом у 47 випадках із 51. Інші записи ми поки не перевіряли.
Що лишається на вашому Маку
Модель — завантаження приблизно на 100 МБ з huggingface.co. Вона завантажується лише за кнопкою у вкладці «Завантаження». Сама зустріч у мережу не ходить: мітки ставляться на вашому Маку після запису.
Голосів застосунок не запам’ятовує. Номери існують лише всередині однієї зустрічі й нікого не впізнають. «Співрозмовник 2» сьогодні ніяк не пов’язаний зі «Співрозмовником 2» завтра. Голосового профілю нема, тож і зберігати, і втрачати нічого.
Про те, що виходить із застосунку і коли, написано на сторінці що йде з вашого Mac.