Марк Цукерберг на своей странице Facebook рассказал о новой нейросети для генерации видео.
Нейросеть Make-A-Video AI генерирует короткие беззвучные фрагменты видео на основе текстовых описаний наподобие генерации изображений в Dall-E.
Система использует изображения с описаниями, чтобы узнать, как выглядит мир и как его часто описывают. Он также использует немаркированные видео, чтобы узнать, как движется мир.
Все эти видео были сгенерированы системой ИИ, которую создала наша команда в Meta. Мы называем это Make-A-Video Вы даете ему текстовое описание и оно создает видео для вас. Мы дали ему описания типа: «плюшевый мишка рисует автопортрет», «ленивец в вязаной шляпке, пытающийся разобраться в ноутбуке», «космический корабль, приземленный на марсе» и «робот, серфиющий на волне в океане». Это довольно удивительный прогресс. Генерировать видео гораздо сложнее, чем фото, потому что помимо правильного генерации каждого пикселя система также должна предсказывать, как они будут меняться со временем. Make-A-Video решает этот вопрос, добавив слой необузданного обучения, который позволит системе понять движение в физическом мире и применять его к традиционному генерации текста к изображению.
Возможности:
- Генерация видео по текстовому описанию
- Добавление движения к статическим изображениям
- Получение новых интерпретаций существующего видео
Ограничения:
- Не более 5 секунд
- 16 кадров в секунду
- Разрешение 768×768
Пример работы нейросети:
По ссылке https://forms.gle/dZ4kudbydHPgfzQ48 можно оставить заявку на получение доступа.
Комментарии