Новая нейросеть Dubbing от ElevenLabs делает перевод и озвучку аудио и видео на 29 языках. Сервис позволяет клонировать голос с видео и озвучить им любой текст. На данный момент нейросеть бесплатна. Проверили работу сервиса на примере нескольких видеокреативов.

В отличии от нейросети для озвучки видео HeyGen Video Translate, данный сервис поддерживает больше языков и генерирует озвучку всего за одну минуту. Но не умеет синхронизировать движения губ.

Содержание

1. Тарифы

2. Генерация дубляжа

2.1. Требования к видео

3. Примеры дубляжа

Тарифы

На момент написания, сервис работает бесплатно и накладывает вотермарк на видео.

При этом в FAQ на сайте заявлено следующее:

Оплата только за минуты дубляжа
2000 characters за минуту для видео с водяными знаками
3000 characters за минуту без водяных знаков

Генерация дубляжа

Можно сразу перейти на сайт нейросети https://elevenlabs.io/dubbing, залить видео и получить нужную озвучку:

Для перевода большего количества видео необходимо пройти быструю регистрацию, например через Google:

Сразу после регистрации откроется личный кабинет
Для озвучки видео нажмите Create new dub

Далее задайте имя проекта
Выберите язык исходника, можно оставить автоопределение
Выберите язык для перевода
Загрузите видео. Доступна загрузка из разных источников: с компьютера, Youtube, TikTok, по прямой ссылке и т.д.

Нажмите Create
Дождитесь завершения генерации

Готовое видео можно просмотреть или скачать

Требования к видео

В сервис можно загружать видео весом не больше 100MB и продолжительностью до 45 минут.

Поддерживаются разные форматы аудио и видеофайлов, включая MP3, MP4, WAV и MOV. Можно напрямую дублировать контент с таких платформ, как YouTube, Vimeo, TikTok и X.

Примеры дубляжа

Для проверки качества перевода и озвучки взяли несколько видео с Telegram-канала с подборкой арбитражных креативов Is it really legal?

Генерация одного креатива занимает всего около одной минуты. И в целом получаются достойные результаты дубляжа. Голос клонируется полностью, включая стиль, тембр, интонацию и сохраняется его узнаваемость. Также на следующем примере видно, что сервис справляется даже когда на видео присутствует несколько голосов:

Пример 1:

Исходный язык: русский
Перевод на: итальянский

Пример 2:

Исходный язык: русский
Перевод на: польский

Пример 3:

Исходный язык: русский
Перевод на: турецкий

С учетом всех возможностей, скорости работы и бесплатности, данный сервис отлично подходит для переозвучивания видеокреативов для масштабирования своих связок на другие ГЕО.