Кто говорит: метки говорящих в записи встречи
Расшифровку встречи трудно читать, когда все строки выглядят одинаково. Теперь приложение отмечает, кто говорит: остальные участники звонка становятся «Собеседник 1», «Собеседник 2» и так далее. Функция пока помечена как экспериментальная.
Почему мы поменяли способ
Первый способ резал звук звонка на куски и сравнивал отпечатки голосов. На настоящей записи он не справился. Микрофон и остальные участники приходят смешанными в одном канале, и голоса разных людей попадали в одну группу. Выходом не стали и имена: имя, взятое из текста, часто достаётся не тому человеку.
Новый способ — модель Nemotron 3 Diarization от NVIDIA. «Диаризация» значит раскладывание записи по тому, кто и когда говорил. Модель различает до восьми голосов на одной встрече. Русского и украинского в её обучении нет, поэтому мы проверили её сами.
Как мы проверяли
Взяли одну настоящую запись встречи: около 72 минут, четыре человека. Нарезали 60 коротких кусочков по две с половиной секунды из случайных мест и послушали каждый. В 51 из них можно было уверенно сказать, кто говорит, их мы и оставили.
Для каждого кусочка смотрели, какой номер ему дала программа. Новая модель отнесла все 51 к нужному человеку, то есть 51 из 51, и использовала ровно четыре номера на четырёх людей. Прежний способ дал 27 из 51, около 53%, и разбросал голоса по семи номерам, в каждом из которых смесь людей.
К этому стоит относиться осторожно. Это одна встреча, небольшой набор кусочков, проверка одним человеком и те языки, на которых шёл тот звонок. На целых строках расшифровки, которые длиннее наших кусочков и иногда содержат двух говорящих, новая модель совпала с нашим слухом в 47 случаях из 51. Другие записи мы пока не проверяли.
Что остаётся на вашем Маке
Модель — загрузка примерно в 100 МБ с huggingface.co. Она скачивается только по кнопке во вкладке «Загрузки». Сама встреча в сеть не ходит: метки ставятся на вашем Маке после записи.
Голоса приложение не запоминает. Номера существуют только внутри одной встречи и никого не опознают. «Собеседник 2» сегодня никак не связан с «Собеседником 2» завтра. Голосового профиля нет, поэтому и хранить, и терять нечего.
О том, что уходит из приложения и когда, написано на странице что уходит с вашего Mac.