Липсинк нейросети для синхронизации движения губ

Подборка нейросетей для синхронизации движения губ с речью по технологии липсинк (Lip Sync) с примерами. В списке есть как полностью бесплатные решения, так и сервисы с тестовым балансом или тестовым периодом.

Липсинк — автоматическая синхронизация движения губ на видео с аудиодорожкой, в результате которой получается видео с реалистичной мимикой, соответствующей произносимым словам.

Lip Sync от KlingAi

Инструмент Lip Sync от нейросети KlingAi. Функцию синхронизации губ можно использовать двумя способами, создать сценарий с преобразованием текста в речь или загрузить аудиофайл речи. Видео должны быть не более 10 секунд и высокого качества.

• Ссылка: https://app.klingai.com/global/video-to-lip/new 

Пример синхронизации:

LatentSync

Бесплатная нейросеть для синхронизации губ LatentSync.

• Ссылка: https://huggingface.co/spaces/fffiloni/LatentSync

Пример синхронизации:

Sync

Нейросеть для синхронизации движений губ SyncSo. Липсинк поддерживается для загруженной аудиозаписи, а также озвучка для текста, введенного вручную. Предоставляется тестовый период.

• Ссылка: https://sync.so/

Пример синхронизации:

Vozo AI

Липсинк ИИ Vozo AI дает возможность переписывать, переозвучивать и синхронизировать видео. Функции: редактирование речи на основе текста, клонирование голоса, синхронизация губ для нескольких говорящих, перевод видео на более чем 30 языков.

После регистрации начисляется 30 кредитов. Далее 100 кредитов 19$.

• Ссылка: https://www.vozo.ai/lip-sync

Пример синхронизации:

Lipsync AI

Lipsync AI инструмент от нейросети Gooey.AI. Предназначен для синхронизации движений губ. При регистрации начисляется 500 кредитов бесплатно.

• Ссылка: https://gooey.ai/Lipsync

Пример синхронизации:

Magic Hour

Бесплатный инструмент Al Lip Sync от нейросети MagicHour AI. В несколько кликов добавляет реалистичное движение губ.

• Ссылка: https://magichour.ai/products/lip-sync

Пример синхронизации:

SadTalker

Китайская нейросеть для анимации лиц и синхронизации движения губ с аудиодорожкой. Работает только с изображениями. Имеет большое количество функций настройки генерируемого видео. Бесплатные кредиты обновляются каждые 10 часов.

• Ссылка: https://sadtalker.org/ru/playground

Пример синхронизации:

Озвучку для липсинка можно сгенерировать нейросетью из нашей подборки сервисов озвучки текста: https://cpa.rip/services/texttospeech/.