VAD (voice activity detection) — лёгкий классификатор, который смотрит на короткие кусочки звука, обычно по 10–30 миллисекунд, и говорит по каждому: речь это или не речь. Распознавания слов он не делает — вся работа сводится к одному бинарному ответу, зато очень быстро и на процессоре.
#Зачем он в цепочке
Возьмём восемь часов записи с микрофона. При частоте дискретизации 16 кГц, моно, 16 бит на отсчёт один час несжатого звука занимает:
16 000 × 2 байта × 3600 с ≈ 115 МБ в час
≈ 920 МБ за восьмичасовой день
Реальной речи в таком дне небольшая доля: остальное тишина и шум. Допустим, VAD оставил 20% — на диск ляжет около 185 МБ вместо 920. Доля у каждого своя, но порядок экономии именно такой.
Экономия места — не единственная выгода. Распознавание дешевеет пропорционально: модель обрабатывает пятую часть материала. В архив попадает меньше лишнего — отброшенное никогда не сохранялось. Меньше мусора в расшифровке: модели распознавания на тишине склонны выдумывать фразы. И наконец, в голосовом режиме именно VAD определяет, что вы закончили говорить.
#Настройка, которую замечают все
У детектора есть порог агрессивности. Чем он выше, тем больше отбрасывается — вместе с началами слов. Типичная жалоба «первое слово фразы обрезано» лечится не сменой модели, а двумя параметрами: понижением порога и добавлением подушки в 200–300 миллисекунд до и после обнаруженной речи. Слишком мягкая настройка даёт обратное: в архив идут шумы, а распознавание выдумывает на них фразы.
#Где путают
Заблуждение первое: VAD — это распознавание ключевого слова. Детектор речи отвечает «здесь есть голос», активационное слово — «здесь произнесли конкретную фразу». Второе требует своей модели и работает поверх первого.
Заблуждение второе: VAD — это шумоподавление. Он не улучшает звук, а режет его на «речь» и «не речь». Шумоподавление — отдельный этап, и он ставится раньше, чтобы детектору было легче.
Заблуждение третье: VAD отличает вашу речь от чужой. Не отличает — для него любой голос является речью. Разделение говорящих делает диаризация, и она работает уже после детектора.
Заблуждение четвёртое: раз тишина не сохраняется, приватность обеспечена. Обеспечено сокращение объёма, а не приватность: сохраняется-то как раз речь, включая чужую. Требования к записи разговоров с другими людьми обсуждаются отдельно — в тексте про запись звука и закон.
#Частые вопросы
#Нужен ли VAD, если запись идёт вручную и коротко?
Для диктофонной заметки на минуту — нет. Он нужен там, где запись идёт долго и фоном: доля тишины велика, а объём растёт постоянно.
#Насколько VAD нагружает компьютер?
Практически незаметно. Современные компактные детекторы работают на процессоре в реальном времени и по нагрузке несопоставимы с распознаванием речи, не говоря о языковой модели. Соотношение стоимости этапов — в справке про ASR и TTS.
#Сколько места займёт год записей?
Зависит от доли речи, формата и того, храните ли вы аудио после расшифровки. Оценки по сценариям — в тексте про то, сколько места занимает год записи.
#Можно ли хранить только расшифровку и удалять звук?
Можно, и это самый экономный вариант: текст занимает на несколько порядков меньше. Плата — невозможность переслушать спорный фрагмент и перепроверить расшифровку; практическая сторона обсуждается в разборе голосовых заметок и расшифровки.
Остальные термины — в глоссарии терминов ИИ.