Нейронные сети. Уровень 3: обработка звука и речи

Голос стал полноценным интерфейсом к корпоративным системам: колл-центры расшифровывают звонки, протоколы совещаний ведутся автоматически, голосовые ассистенты принимают заявки, а датчики на производстве следят за состоянием оборудования по звуку. Модели вроде Whisper, wav2vec 2.0 и отечественных разработок для русской речи сильно снизили порог входа. Но для надёжной работы в реальных условиях, с шумом, акцентами, профессиональной лексикой и требованиями к скорости, одних готовых API недостаточно.

Курс построен по маршруту «сигнал, признаки, модель, метрика, сервис». Вы превратите звук в спектрограммы и соберёте конвейер подготовки данных, обучите классификаторы на CNN, LSTM и аудио-трансформерах, дообучите предобученную модель распознавания речи на своих данных, соберёте конвейер расшифровки с диаризацией и оценкой по WER, найдёте события в длинной записи, синтезируете речь и очистите запись от шума. В заключительном модуле лучшая модель оборачивается в сервис с тестами и подключается к сценарию на low-code платформе Nodul. Практика идёт на Python, PyTorch, torchaudio и librosa, для русского языка используются открытые наборы данных и модели.

Результат курса: набор рабочих ноутбуков и мини-проект, в котором аудио превращается в полезный результат: транскрипт с репликами по ролям, список событий или голосовая команда. Вы будете понимать, когда хватит готовой модели, а когда нужно дообучение, как измерять качество и как не нарушить закон. Запись голоса содержит персональные данные, а при идентификации по голосу ещё и биометрические, поэтому отдельная часть курса посвящена требованиям 152-ФЗ и работе в закрытом контуре.