Нейросеть сочинила рождественскую песню по фотографии

Команда ученых из университета Торонто разработала нейросеть, способную сочинять песни о предметах, показанных на фотографиях, пишет N+1. Искусственный интеллект в режиме реального времени генерирует мелодию, а затем подбирает к ней нужные слова.

Как отмечается, авторы использовали ранее созданную ими нейросеть, которая изначально предназначалась для сочинения поп-песен: благодаря обучению на примере базы данных, состоящей из 100 часов музыки, программа могла придумывать простые мелодии с темпом 120 ударов в минуту. При этом алгоритм учитывал распространенные для поп-музыки последовательности аккордов, а также добавлял в композицию ударные.

Теперь ученые усовершенствовали существующую программу, научив ее понимать, как те или иные слова связаны с предметами, изображенными на загруженных фотографиях: для этого они использовали снимки с метками, подсказывающими нейросети, что именно перед ней находится.

Чтобы протестировать работу программы, ученые загрузили в нее снимок рождественской елки, а получившуюся песню опубликовали в виде минутного ролика. По словам авторов, в будущем они намерены научить нейросеть играть на большом количестве инструментов и создавать более сложные песни.