Нейросеть elevenlabs.io пополнилась новым инструментом Speech to Speech, который умеет изменять голос и даже клонировать чужой голос с помощью дополнительного инструмента VoiceLab. Посмотрим как это можно применить в аффилейт маркетинге и арбитраже трафика на примере работы с креативами.
Примеры замены голоса
Нейросеть можно использовать для озвучки креативов с нуля, без необходимости найма актеров или для замены голоса на имеющихся креативах. Ниже пару примеров.
Пример Text to Speech + клонирование голоса
Клонировали голос оригинальной озвучки Морфеуса и сделали синтез речи Text to Speech. Также применили технологию дипфейк из этой статьи: https://cpa.rip/services/facefusion-deepfake/
Пример Speech to Speech
Замена голоса на креативе:
- 00:00 – Оригинальный голос.
- 00:34 – Голос 1.
- 00:55 – Голос 2.
Возможности нейросети Elevenlabs
Нейросеть Elevenlabs – это комбайн для работы с голосом: умеет клонировать (VoiceLab), синтезировать речь (Text to Speech), дублировать на разные языки (dubbing).
Наш обзор нейросети dubbing от Elevenlabs.io, которая переводит и дублирует на разные языки видео- и аудиозаписи с сохранением голоса: https://cpa.rip/services/elevenlabs-dubbing/.
Нейросеть изменяющая голос Speech to Speech – это дополнение к уже имеющемуся инструменту Text to Speech, которое сильно расширяет возможности и область применения нейросети Elevenlabs.
На сегодняшний день модель Eleven Multilingual v2 поддерживает 29 языков, включая русский:
Также имеется большое количество готовых голосов озвучки. У каждого из них есть теги с информацией о языке, стиле и интонации:
Тарифы
- Free – 0
- Starter – $5 ($1 в первый месяц) +включает быстрое клонирование голоса.
- Creator – $22 ($11 в первый месяц) +включает профессиональное клонирование голоса.
- Independent Publisher – $99
- Growing Business – $330
Бесплатный тариф включает в себя 10000 символов (кредитов) для генерации.
Для оплаты можно использовать карту выпущенную в карточных сервисах из нашей подборки: https://cpa.rip/finance/bank-cards/
Работа со Text to Speech
Для синтеза речи из произвольного текста, используйте режим Text to Speech.
- Выберите “Text to Speech”
- Выберите один из стандартных голосов озвучки или созданный самостоятельно в инструменте VoiceLab.
- В поле “Text” впишите текст для озвучки
- Нажмите “Generate”
Генерация занимает всего несколько секунд. Готовую озвучку можно прослушать и скачать в формате mp3, нажав кнопку загрузки:
При каждой новой генерации, ударения и интонация немного меняется, и при необходимости можно генерировать повторно, пока не получится нужный результат. Также можно подкрутить дополнительные настройки:
Работа со Speech to Speech
Speech to Speech новый и более интересный инструмент, он меняет голос у оригинальной озвучки.
- Выберите “Speech to Speech”
- Выберите один из стандартных голосов озвучки или созданный самостоятельно в инструменте VoiceLab.
- В поле “Audio” загрузите звуковой или видео файл. Максимальный вес – 50Mb. Или запишите свой через микрофон. Для достижения лучшего результата используйте чистый звук без посторонних фоновых шумов.
- Нажмите “Generate”
Генерация также происходит за считанные секунды и сразу можно скачать готовый результат замены голоса.
Копировать голос в Elevenlabs
Перейдем к самому интересному инструменту – VoiceLab. В нем есть возможность быстро скопировать чужой голос (голосовой DeepFake), синтезировать голос, задав различные параметры, или использовать голоса из огромной библиотеки сообщества.
Рассмотрим как клонировать голос. Перейдите на страницу VoiceLab, нажав в левом боковом меню “Voices” или “Add Voice” возле списка стандартных голосов на странице “Speech”:
- Откроется инструмент VoiceLab
- Нажмите “Add Generative or Cloned Voice”
- Ранее созданные голоса можно использовать, нажав кнопку “Use” или выбрав в списке голосов на странице “Speech”.
- Выберите “Instant Voice Cloning” для мгновенного клонирования голоса
- Задайте имя
- В поле загрузите референс голоса, который собираетесь клонировать или запишите свой через микрофон.
- При необходимости заполните дополнительное текстовое описание
- Согласитесь с условиями и нажмите “Add Voice”.
Длина записи голоса должна быть не меньше одной минуты, без посторонних шумов и загружаемый файл не больше 10Mb. Мы пробовали клонировать голос на основе 4х секундной записи и тоже получили хороший результат.
Все, клонированный голос можно использовать для озвучки текста в Text to Speech или для изменения голоса в Speech to Speech.
Не используйте клонированные чужие голоса в незаконных или мошеннических целях и если это нарушает авторские права.
