Вернуться к статье
Программный комплекс для совмещения раздельно записанных видео- и аудиодорожек по артикуляции диктора
Подсистемы программного комплекса и набор их внешних зависимостей
Подсистема | Функция | Зависимости |
Предобработка видео | Локализация лица, выделение области губ, нормализация | OpenCV, MediaPipe |
Предобработка аудио | Загрузка, ресэмплирование, вычисление мел-спектрограммы, сегментация | Librosa, soundfile |
Синхронизация | Пакетное вычисление эмбеддингов, матрица сходств, постобработка | PyTorch, NumPy |
Обучение и оценка | Цикл обучения, валидация, расчёт retrieval-метрик | PyTorch, scikit-learn |
Графический интерфейс | Главное окно, выбор файлов, прогресс, визуализация результата | PyQt6, Matplotlib |
Сбор датасета | Автоматическая загрузка обучающих видеоматериалов по запросам | yt-dlp |