У нейросети для генерации видео HeyGen появился новый инструмент, который переводит видео, сохраняя оригинальный голос и синхронизирует движения губ. Отлично подходит для перевода видео креативов под другие гео.
HeyGen — это видеоплатформа для создания различных бизнес-видео с помощью генеративного ИИ. Подробно его работу с примерами видео разбирали в статье: https://cpa.rip/services/heygen/
HeyGen Video Translate
Сейчас рассмотрим их инструмент нейропереводов Video Translate by HeyGen, бета версия которой стала доступна всем желающим по адресу https://labs.heygen.com/video-translate. Нейронка в пару кликов переводит речь с видео, клонирует голос и стиль + синхронизирует движения губ.
Поддерживаемые языки
- Ввод: английский, испанский, французский, китайский, немецкий, итальянский, португальский, голландский, хинди, японский. Хотя на сайте и не значится, но сервис успешно переводит видео с русской озвучкой.
- Вывод: английский, испанский, французский, хинди, итальянский, немецкий, польский, португальский.
Доступно 2 варианта акцента Английского:
Сразу после регистрации на баланс начисляется 1 кредит, который можно потратить на тестовую генерацию.
Тарифы
Минимальное пополнение баланса $29 – за которые получите 15 кредитов.
1 кредит = 1 минута видео (длительность видео округляется до 30 секунд).
Требования к видео
- На лице не должно быть никаких препятствий.
- Лицо должно быть видно в каждом кадре. Больших углов лица следует избегать.
- Старайтесь избегать фоновой музыки и шума, поскольку они могут ухудшить качество вывода звука.
- Старайтесь избегать присутствия нескольких людей.
- Разрешение должно быть от 480×480 до 1920×1920.
- Клип продолжительностью не менее 30 секунд.
- Продолжительность не больше 5 минут.
- Вес файла не больше 500Mb.
- Поддерживаемые форматы: mp4, quicktime, webm.
На данный момент сервера нейросети перегружены и из-за большой очереди генерацию приходится ждать довольно долго:
Сервис активно дорабатывается – в процессе написания данной статьи добавили возможность переводить только аудио:
Примеры перевода и озвучки видео
Для теста возможности нейросети переозвучили пару видео:
