Нейросеть научили строить видео по одному кадру

Сотрудники лаборатории компьютерных наук и искусственного интеллекта за год показали нейросети 2 миллиона случайных роликов из интернета. Изучая видео, алгоритм запомнил логику движения объектов, чтобы на ее основе предугадывать движения объектов на статичных кадрах, пишет Motherboard. После этого она могла на основе одного кадра создать короткое видео на 32 кадра, в котором предполагала, как должны двигаться объекты: например, по кадру с волнами она генерировала ролик с приливом.

Чтобы проверить качество видео, исследователи устроили эксперимент, в котором показали созданные видео другой нейросети. Она должна была определить, является ли ролик настоящим. Оказалось, что первая нейронная сеть, зная условия задачи, специально создавала в роликах размытый фон, чтобы запутать оценивающую сеть.

Тогда авторы проекта разделили генерируемое видео на два потока: статичный фон и передний план с подвижными объектами. После этого настоящие и сгенерированные видео сначала показали людям, которых нашли на сайте Mechanical Turk, а потом спросили их, какое из них выглядит более реалистичным. Сгенерированные видео называли реалистичным на 20 % чаще.

Исследователи считают, что на основе проделанной работы в будущем возможно создать систему, которая позволит роботам предугадывать движения людей, чтобы не нанести им вред.