Днепровский музыкант создал нейросеть, генерирующую джазовые импровизации

Мультиинструменталист из Днепра Jol Tai — основатель и единственный бессменный участник проекта The Orchestra of Mirrored Reflections, сочиняющего и играющего дарк-джаз. Коллектив выступает на локальных фестивалях, вроде Jazz Koktebel, Hedonism, Intercity Live.

Jol Tai создал нейросеть NeuroNet как раз накануне июньского онлайн-фестиваля Intercity Live, где и выступил с ней впервые. Сейчас музыкант доработал и усовершенствовал алгоритм. Обучал он его на соло известных трубачей Чета Бейкера и Майлза Дэвиса.

«Мы играем дарк-джаз, и его прообраз как раз можно найти у Чета Бейкера и Майлза Дэвиса. Плюс они оба трубачи, а саксофон было бы сложнее сделать „синтетическим“ по звучанию, — объясняет Jol Tai в комментарии Bird in Flight. — Нейросеть, которую мы создали, сама по себе не слушает и не играет музыку как таковую, она оперирует midi-нотами, то есть как бы очень быстро пишет на основании заданных правил новую партию, а уж озвучивать это можно любым инструментом.

Некоторые компоненты системы мы и раньше использовали на живых выступлениях The Orchestra of Mirrored Reflections, например виртуального барабанщика, импровизирующего сбивки. Но тогда было проще — вариантов ритма меньше и обучать алгоритм легче.

Когда же я стал собирать алгоритм для фестиваля Intercity, столкнулся с проблемой длительности и группировки нот, пауз. В общем, на фестивале все звучало смазанно, хаотично, да и на отладку было всего 15 минут. Теперь я планирую использовать алгоритм для выставок или инсталляций и, конечно же, дорабатывать его — это эволюционный процесс».

Помимо группы Jol Tai также занимается проектом Mirrored Reflections Lab, который он придумал, чтобы находить и исследовать новые средства выразительности. По сути это подразделение, которое создает интерактивные инсталляции и системы для генерирования музыки. Так что увидеть работы Mirrored Reflections Lab можно в галереях и на выставках.

Например, три года назад лаборатория сделала инсталляцию для Музея украинской живописи в Днепре на тему декоммунизации: 3D-бюст Ленина «следил» за посетителями.

«Самое сложное и интересное — найти баланс между хаосом бесконечной генерации и мелодичностью человеческого восприятия. В этом и суть исследования — понять, что могут машины, а что присуще человеку. Вдохновение, фантазию и интонацию не запрограммируешь», — считает Jol Tai.

И добавляет: «Нейросети сейчас на хайпе, это нормально. Алгоритмы делают много черной работы, а мы, как художники, исследуем с их помощью себя, свои когнитивные процессы, свои границы. Главное — пореже называть это искусственным интеллектом и не думать, что за этими математическими алгоритмами стоит что-то, что осознает себя и мир даже на уровне микроба, — за алгоритмами пустота.

Даже немузыкант, скорее всего, отличит исполнение живого человека от нейросети. Вопрос ведь в том, что именно делает нас человеком: тонкость, осмысленность, нюансы, чувства, динамика… Я знаю, как запрограммировать все переменные, мелочи, даже ошибки и придыхания, но в этом всем все равно не будет самосознания. Это лишь иллюзия».