У тебя что-то на лице: Что такое фейс-хакинг и почему скоро редкое шоу обойдется без него

По разделу «Работы» на сайте Нобумичи Асаи можно понять, что до 2014 года он занимался почти только видеомаппингом и виртуальной реальностью. Так или иначе это сводится к созданию видеопроекции на плоские или не очень сложные выпуклые поверхности вроде стен зданий. Он высвечивал головной офис Subaru, делал экскурсии по виртуальной реальности из автобуса в павильоне, залитом видеопроекцией, создавал голограммы и лазерную графику. Летом 2014 года Асаи занялся онлайн-видеомаппингом лица — тем, что сейчас обозначается термином face-hacking и обещает революцию в исполнительских искусствах.

Формально нового в этом не так много: еще в 1969 году компания Disney на открытии одного из аттракционов использовала 16-миллиметровый фильм для проекции отрубленных голов на их аналоговые заготовки. Компания Уолта Диснея и запатентовала первое устройство в области 3D-маппинга. Теперь же для такого рода объемной видеопроекции применяют радикально другие технологические и программные способы, выводящие этот вид графического искусства на новый уровень.

Фейс-хакингу в его современном виде чуть меньше трех лет. В августе 2014 года Нобумичи Асаи официально запустил проект «OMOTE» (что с японского переводится как «лицо» или «маска») и записал видеоролик, демонстрирующий возможности проецирования динамического изображения на движущееся лицо. В феврале 2016-го совместно с Intel Асаи выпустил работу «Connected Colors», в которой использовал более изощренную (и более «природную») видеографику: она то расходилась волнами по лицу модели, то заполняла его как татуировка. Это все выглядело выразительно, но существовало только в качестве экспериментальных работ на видео.

В том же месяце проходила 58-я церемония «Грэмми», где Intel совместно с Асаи в качестве технического и креативного директора впервые продемонстрировали фейс-хакинг вживую на большую аудиторию. В первые минуты выступления Леди Гаги с трибьютом Дэвида Боуи на ее лице растекалось что-то похожее на лаву, затем у глаза сформировался узнаваемый красный зигзаг, после чего на лице появился паук. Правда, на видео очевидно торможение проекции по отношению к резко движущемуся лицу исполнительницы: на тот момент технология была еще не так точна.

Заметный прогресс можно было увидеть уже этой весной. В марте Асаи выпустил очередную работу с фейс-видеомаппингом «INORI» — в ней приняли участие две японские танцовщицы, составляющие популярный дуэт AyaBambi. Качество и динамичность видеографики сильно продвинулись вперед, а в своих движениях объекты маппинга стали более свободны: даже при резких поворотах головы вбок или вверх проекция не затормаживает и не срывается с контура. К тому же в этой работе «площадкой» для маппинга стали сразу два человека; в некоторые моменты проекция на лица синхронная, в некоторые — нет. В дополнение к этому видео был записан ролик о том, как все было сделано.

В общем виде технология выглядит следующим образом. Прежде всего необходимо создать 3D-модель лица, на которое будет осуществляться проекция. Нобумичи Асаи, в частности, делает человеку разные виды макияжа, фиксирует его на фото, а затем с помощью фотограмметрии уточняет параметры «лицевого ландшафта» для создания объемной цифровой модели. Имея 3D-модель и видеографику, созданную специально под нее, лицо очищают от макияжа и клеят на него несколько инфракрасных маркеров. После этого пять инфракрасных камер готовы фиксировать движения лица и сопоставлять их с компьютерной моделью. Дальше все зависит только от мощностей компьютера, способных с высокой скоростью обрабатывать сенсорный трекинг.

Самое интересное касается проектора, формирующего графику на лице. Та высокая точность при быстром перемещении маркеров, которую можно было видеть в видеоработе «INORI», была достигнута благодаря коллаборации с лабораторией Ishikawa Watanabe Токийского университета. Там еще в 2015 году разработали революционный проектор DynaFlash, который впервые в мире был способен учитывать изменение и движение плоскости, на которую падает проекция. На демонстрационном видео понятно, о чем идет речь: если растянуть или перевернуть плоскость, то же самое произойдет и с проекционным изображением. Главной особенностью DynaFlash является кадровая частота — он способен проецировать видео со скоростью 1 000 кадров в секунду. Именно эта его характеристика в сочетании с трекинг-системой Асаи позволила создать технологию проекции на объекты, движущиеся с высокой скоростью.

Все это работает прежде всего на революцию в сфере исполнительских искусств — это история для тех, кто любит пошутить про «аналоговых людей на сцене». Использование плоскостной видеопроекции в театре, по самому большому счету, уже отпраздновало столетний юбилей; теперь дело за визуальной деантропоморфизацией исполнителей на сцене. Онлайн-видеомаппинг уже имеет свои примеры в театре. В шекспировской «Буре», которую в прошлом году поставила британская RSC, актер мог управлять собственным аватаром, который выводился на объемные плоскости через видеопроекцию. Схема управления была создана с помощью разработок Intel и технологии трекинга движений.

Тяжело представить, какие возможности фейс-маппинг и вообще динамическая видеопроекция на тело открывают для современного танца и перформативных искусств. Как раз время вспомнить, что в большинстве постсоветских театров самые крутые спецэффекты до сих пор обеспечиваются поворотным кругом и актерами, подвешенными на тросах.