Нейросеть elevenlabs.io пополнилась новым инструментом Speech to Speech, который умеет изменять голос и даже клонировать чужой голос с помощью дополнительного инструмента VoiceLab. Посмотрим как это можно применить в аффилейт маркетинге и арбитраже трафика на примере работы с креативами.
Примеры замены голоса
Нейросеть можно использовать для озвучки креативов с нуля, без необходимости найма актеров или для замены голоса на имеющихся креативах. Ниже пару примеров.
Пример Text to Speech + клонирование голоса
Клонировали голос оригинальной озвучки Морфеуса и сделали синтез речи Text to Speech. Также применили технологию дипфейк из этой статьи: https://cpa.rip/services/facefusion-deepfake/
Пример Speech to Speech
Замена голоса на креативе:
- 00:00 — Оригинальный голос.
- 00:34 — Голос 1.
- 00:55 — Голос 2.
Возможности нейросети Elevenlabs
Нейросеть Elevenlabs — это комбайн для работы с голосом: умеет клонировать (VoiceLab), синтезировать речь (Text to Speech), дублировать на разные языки (dubbing).
Наш обзор нейросети dubbing от Elevenlabs.io, которая переводит и дублирует на разные языки видео- и аудиозаписи с сохранением голоса: https://cpa.rip/services/elevenlabs-dubbing/.
Нейросеть изменяющая голос Speech to Speech — это дополнение к уже имеющемуся инструменту Text to Speech, которое сильно расширяет возможности и область применения нейросети Elevenlabs.
На сегодняшний день модель Eleven Multilingual v2 поддерживает 29 языков, включая русский:
Также имеется большое количество готовых голосов озвучки. У каждого из них есть теги с информацией о языке, стиле и интонации:
Тарифы
- Free — 0
- Starter — $5 ($1 в первый месяц) +включает быстрое клонирование голоса.
- Creator — $22 ($11 в первый месяц) +включает профессиональное клонирование голоса.
- Independent Publisher — $99
- Growing Business — $330
Бесплатный тариф включает в себя 10000 символов (кредитов) для генерации.
Для оплаты можно использовать карту выпущенную в карточных сервисах из нашей подборки: https://cpa.rip/finance/bank-cards/
Работа со Text to Speech
Для синтеза речи из произвольного текста, используйте режим Text to Speech.
- Выберите «Text to Speech»
- Выберите один из стандартных голосов озвучки или созданный самостоятельно в инструменте VoiceLab.
- В поле «Text» впишите текст для озвучки
- Нажмите «Generate»
Генерация занимает всего несколько секунд. Готовую озвучку можно прослушать и скачать в формате mp3, нажав кнопку загрузки:
При каждой новой генерации, ударения и интонация немного меняется, и при необходимости можно генерировать повторно, пока не получится нужный результат. Также можно подкрутить дополнительные настройки:
Работа со Speech to Speech
Speech to Speech новый и более интересный инструмент, он меняет голос у оригинальной озвучки.
- Выберите «Speech to Speech»
- Выберите один из стандартных голосов озвучки или созданный самостоятельно в инструменте VoiceLab.
- В поле «Audio» загрузите звуковой или видео файл. Максимальный вес — 50Mb. Или запишите свой через микрофон. Для достижения лучшего результата используйте чистый звук без посторонних фоновых шумов.
- Нажмите «Generate»
Генерация также происходит за считанные секунды и сразу можно скачать готовый результат замены голоса.
Копировать голос в Elevenlabs
Перейдем к самому интересному инструменту — VoiceLab. В нем есть возможность быстро скопировать чужой голос (голосовой DeepFake), синтезировать голос, задав различные параметры, или использовать голоса из огромной библиотеки сообщества.
Рассмотрим как клонировать голос. Перейдите на страницу VoiceLab, нажав в левом боковом меню «Voices» или «Add Voice» возле списка стандартных голосов на странице «Speech»:
- Откроется инструмент VoiceLab
- Нажмите «Add Generative or Cloned Voice»
- Ранее созданные голоса можно использовать, нажав кнопку «Use» или выбрав в списке голосов на странице «Speech».
- Выберите «Instant Voice Cloning» для мгновенного клонирования голоса
- Задайте имя
- В поле загрузите референс голоса, который собираетесь клонировать или запишите свой через микрофон.
- При необходимости заполните дополнительное текстовое описание
- Согласитесь с условиями и нажмите «Add Voice».
Длина записи голоса должна быть не меньше одной минуты, без посторонних шумов и загружаемый файл не больше 10Mb. Мы пробовали клонировать голос на основе 4х секундной записи и тоже получили хороший результат.
Все, клонированный голос можно использовать для озвучки текста в Text to Speech или для изменения голоса в Speech to Speech.
Не используйте клонированные чужие голоса в незаконных или мошеннических целях и если это нарушает авторские права.
