Чтобы перевести ролик, недостаточно заменить слова на другой язык. Сначала нужно достать звук, распознать речь, проверить текст, сделать перевод, подобрать голос и собрать результат в удобном формате.
Я реализовал этот процесс в Telegram-боте. Пользователь отправляет текст, голосовое сообщение, аудио или видео и получает расшифровку, перевод и озвученную дорожку без перехода между несколькими сервисами.
Что работает сейчас
Бот принимает в том числе пересланные медиафайлы, переводит их в MP3 и спрашивает исходный язык. Для русской речи можно исправить распознанный текст перед переводом. Для английской — проверить подготовленный русский вариант перед озвучкой.
Поддерживаются английский, вьетнамский и тайский языки. Можно использовать штатные голоса или собственный голосовой профиль через Fish Audio. Текст результата возвращается отдельным файлом с пронумерованными фразами, чтобы его было удобно проверять.
Как устроена система
FFmpeg готовит аудио, Deepgram распознаёт речь, языковая модель переводит и адаптирует текст, а сервис синтеза создаёт новую дорожку. На каждом смысловом этапе оставлена точка проверки человеком.
Что это дало
Повторяющаяся цепочка превратилась в один диалог. Такой сервис можно использовать для роликов, интервью и коротких видео, когда важна не массовая безусловная публикация, а быстрый управляемый перевод.
Ограничения
Финальный видеомонтаж и синхронизация губ не входят в этот Telegram-сценарий. Голосовой профиль и перевод также требуют проверки: имена, термины и авторские формулировки нельзя оставлять без контроля.