Яндекс презентовал революционную нейросеть для создания видео

Команда Яндекса представила бета-версию своей нейросети YandexART (Vi), которая предназначена для создания коротких пятисекундных видео. По информации от пресс-службы компании, новая модель способна воссоздавать плавные движения объектов, что позволяет реализовать такие сцены, как бег собаки, падение листа с дерева или взрыв фейерверка.

Нейросеть YandexART (Vi) может быть использована как обычными пользователями для создания уникальных анимированных заставок на телефон, так и профессионалами, такими как блогеры и мультипликаторы. Доступ к ней уже открыт через приложение «Шедеврум».

В предыдущем году компания представила первую версию данной модели, что позволило пользователям получать анимацию, где двигалась только камера, но не объекты в кадре. Однако при генерации очень часто объекты подвержены значительным изменениям от кадра к кадру. С помощью YandexART (Vi) разработчики достигли более высокой реалистичности движений и смогли учесть связь между кадрами, благодаря чему видео стали более цельными и плавными. Для этой цели нейросеть тренировалась на видео с движущимися объектами, такими как едущие автомобили и крадущиеся коты.

Модель работает следующим образом: пользователь вводит текстовое описание того, что должно быть в кадре, например, «Носорог танцует хип-хоп в сумрачном лесу». На основе этого запроса нейросеть создает стартовое изображение для анимации, а затем последовательно превращает цифровой шум в тщательно подобранные кадры, обеспечивая их плавную замену.

YandexART (Vi) открывает новые горизонты как для любителей, так и для профессионалов в сфере видеопроизводства, делая процесс создания анимации доступным и увлекательным.