Новая нейросеть Dubbing от ElevenLabs делает перевод и озвучку аудио и видео на 29 языках. Сервис позволяет клонировать голос с видео и озвучить им любой текст. На данный момент нейросеть бесплатна. Проверили работу сервиса на примере нескольких видеокреативов.
В отличии от нейросети для озвучки видео HeyGen Video Translate, данный сервис поддерживает больше языков и генерирует озвучку всего за одну минуту. Но не умеет синхронизировать движения губ.
Тарифы
На момент написания, сервис работает бесплатно и накладывает вотермарк на видео.
При этом в FAQ на сайте заявлено следующее:
- Оплата только за минуты дубляжа
- 2000 characters за минуту для видео с водяными знаками
- 3000 characters за минуту без водяных знаков
Генерация дубляжа
Можно сразу перейти на сайт нейросети https://elevenlabs.io/dubbing, залить видео и получить нужную озвучку:
Для перевода большего количества видео необходимо пройти быструю регистрацию, например через Google:
- Сразу после регистрации откроется личный кабинет
- Для озвучки видео нажмите Create new dub
- Далее задайте имя проекта
- Выберите язык исходника, можно оставить автоопределение
- Выберите язык для перевода
- Загрузите видео. Доступна загрузка из разных источников: с компьютера, Youtube, TikTok, по прямой ссылке и т.д.
- Нажмите Create
- Дождитесь завершения генерации
Готовое видео можно просмотреть или скачать
Требования к видео
В сервис можно загружать видео весом не больше 100MB и продолжительностью до 45 минут.
Поддерживаются разные форматы аудио и видеофайлов, включая MP3, MP4, WAV и MOV. Можно напрямую дублировать контент с таких платформ, как YouTube, Vimeo, TikTok и X.
Примеры дубляжа
Для проверки качества перевода и озвучки взяли несколько видео с Telegram-канала с подборкой арбитражных креативов Is it really legal?
Генерация одного креатива занимает всего около одной минуты. И в целом получаются достойные результаты дубляжа. Голос клонируется полностью, включая стиль, тембр, интонацию и сохраняется его узнаваемость. Также на следующем примере видно, что сервис справляется даже когда на видео присутствует несколько голосов:
Пример 1:
- Исходный язык: русский
- Перевод на: итальянский
Пример 2:
- Исходный язык: русский
- Перевод на: польский
Пример 3:
- Исходный язык: русский
- Перевод на: турецкий
С учетом всех возможностей, скорости работы и бесплатности, данный сервис отлично подходит для переозвучивания видеокреативов для масштабирования своих связок на другие ГЕО.
