Афиша NEU-theatre. Фото: Светлана Дегтярева

Нейротехнологии как искусство: как создаются постановки нейротеатра

В конце июня этого года на фестивале Geek Picnic прошло первое в России представление NEU-theatre – постановка носила характер танцевального перфоманса. Новая форма театрального искусства основана на считывании импульсов мозговой активности актеров с помощью нейроинтерфейсов и их передаче в зал с помощью света, цвета, музыки и ритма. Постановка – один из ярких примеров набирающего в мире популярность течения Art&Science, объединяющего науку и искусство. Проект, который предстал перед посетителями фестиваля современных технологий, науки и искусства, был создан в рамках Института Art&Science Университета ИТМО междисциплинарной командой. ITMO.NEWS поговорил с магистрантом Высшей школы светового дизайна Университета ИТМО Дарьей Чиримисиной, работавшей над концепцией постановки, и узнал, в чем принципиальное отличие нового театрального жанра, а также какие задачи решают создатели постановок.

В основе нейротеатра лежит изучение процессов биоэлектрогенеза (процесса генерации электроэнергии живыми существами). Один из таких процессов – нервный импульс, постоянно генерируемый мозгом человека. В обычной жизни действие электрических импульсов проявляются в виде набора ощущений – зрительных, осязательных, обонятельных. Деятели искусства научились фиксировать и расшифровывать эти импульсы, после чего представлять их с помощью театральных выразительных средств.

Сегодня активное развитие нейроинтерфейсов связано с появлением новых технических возможностей: оборудование стало доступным, и стали появляться эксперименты с этим инструментарием еще и в области Art. Изначально нейроинтерфесы были направлены на решение проблем медицинского характера (снятие электроэнцефалограммы беспроводным методом).

Первое представление нейротеатра на фестивале Geek Picnic. Фото: Светлана Дегтярева
Первое представление нейротеатра на фестивале Geek Picnic. Фото: Светлана Дегтярева

В чем отличие жанра нейротеатра от других театральных жанров, использующих новые технологии?

Принципиальное отличие жанра в том, что мы извлекаем эмоции актера изнутри и выносим их в окружающую среду. Получается, происходит полное отсутствие вербализации, нет посредника в виде слов, мы вычленяем прямиком из мозга человека эмоции и показываем, что он испытывает в данный момент времени. Эти эмоции управляют ходом постановки: получается некая цикличная реакция, когда актер видит свою реакцию на окружающую действительность в визуализированном виде, меняется, изменяя также и то, что его окружает. Это непрерывный процесс. 

Получается, что один спектакль не может повториться дважды?

Спектакли никогда не повторяются, так как человек в любую секунду времени воспринимает окружающий мир по-разному: сегодня он уже не такой, каким был вчера. Общая структура постановки похожа, так как мы репетируем, тренируемся, но музыкальное и звуковое сопровождение – то, что актеры чувствуют в данный момент, никогда не будут повторяться.

Как вы подходите к выбору актеров? Вас интересуют какие-то конкретные типажи?

Человек должен быть открытым. Он не должен замыкаться в себе, должен довольно легко уметь управлять своим состоянием, а также уметь переходить из одного состояния в другое. Когда проходили репетиции, мы раскрывали личность каждой из актрис, потому что в постановке все неслучайно. Те цвета, которые воспроизводились в сферах, использовались, потому что они характеризуют девушек, их вкус, внутренний мир.

Первое представление нейротеатра на фестивале Geek Picnic. Фото: Светлана Дегтярева
Первое представление нейротеатра на фестивале Geek Picnic. Фото: Светлана Дегтярева

На репетициях мы просили актрис войти в определенное состояние, вспомнив о чем-то положительном, а затем о чем-то негативном, и записывали их показатели. Эта корреляция между негативными и позитивными эмоциями и была нам важна. Человек должен легко уметь переступать эту грань двух крайних состояний, именно такие люди подходят для работы.

Расскажите, как проходят сами репетиции?

На репетициях мы тренируем нейросеть. Дело в том, что ее надо постоянно тренировать. Более того, обучать ее нужно под конкретного человека. Модуль, связанный с определенной нейросетью одной из актрис, нельзя надеть сейчас на другого человека и получить нужный нам эффект, потому что нейросеть уже натренирована под конкретного человека. Стабильно месяц или полтора нейросеть нужно учить работать с одним человеком и именно с его эмоциями. Если мы захотим ввести нового героя, придется обучать нейросеть под другого человека.

Кто вошел в команду, которая работала над постановкой, представленной на Geek Picnic?

Над проектом работали медиахудожники Юрий Дидевич и Сергей Благодетелев, я была их помощником. В качестве актрис выступили девушки из танцевальной компании STAGE DFT, а научным консультантом стал Александер Вяльямяэ (School of Digital Technologies, Tallinn University). Все вместе мы работали над проектом два месяца.

Команда организаторов и артистов нейротеатра. Фото: Светлана Дегтярева
Команда организаторов и артистов нейротеатра. Фото: Светлана Дегтярева

Какие нейроинтерфейсы были задействованы в постановке?

Мы использовали нейроинтерфейс Muse. Это уже готовый продукт, который находится в открытом доступе, однако принципы работы с ним были эксклюзивны. Muse способен считывать длины волн, исходящих из мозга человека, а также их качество. Всего у нас есть пять категорий волн: альфа, бета, гамма, тета, дельта. Разница между ними (между волнами левого и правого полушарий) обычно не учитывается, мы же работали по обратной системе. То есть альфа-бета асимметрия давала нам тот результат, который пришедшие могли увидеть на Geek Picnic.

Обычно волны просто замеряют (частоту, постоянную и так далее), а мы работали именно на их корреляции. Эту разницу мы привязывали к определенным состояниям девушек, которые были определены для каждой индивидуально.

Какая картина представала перед зрителем?

Действо разворачивалось под куполом, в центре которого была расположена квадратная сцена. Зрители заходили, девушки в это время сидели в медитативных позах. Когда зрители рассаживались, начинала звучать музыка, которая полностью генерировалась из состояния мозга актрис.

В руках у них были шары – как только у них появлялась активность, когда они открывали глаза, шары загорались определенным светом, девушки начинали танцевать, взаимодействуя друг с другом и с объектами в их руках, слышать музыку, которая исходит из их головы, – получился некий танцевальный перфоманс. Также была проекция на куполе.

Эмоции актеров отражались в маленькой сфере, которая у каждой девушки была индивидуальная, также был общий шар, который соединял все эмоции воедино и в ритме передавал графику состояний. Все действие длилось 10-12 минут.

Что сейчас происходит с постановкой, совершенствуете ли вы ее дальше?

Юрий Дидевич хотел бы продолжить исследования и развивать театр вместе с Университетом ИТМО. Это касается и технологий, и актерской игры. Особенно интересно Юрию работать с купольным пространством, потому что художнику интересна работа с пространством купола, его сферичностью. В данном случае это некий круг пространства и синестетический шар.

Первое представление нейротеатра на фестивале Geek Picnic. Фото: Светлана Дегтярева
Первое представление нейротеатра на фестивале Geek Picnic. Фото: Светлана Дегтярева

На каких площадках можно демонстрировать такие перфомансы? В России этот формат пока не развит, как он воспринимается аудиторией?

Сфера широка. Такие постановки можно показывать как в выставочных пространствах, так и в рамках коммерческих проектов. Соединением «нейро» и «арта» в России действительно мало кто занимается. Юрий Дидевич – один из немногих представителей в нашей стране. Нам хочется эту тему продвигать в массы и делать более ориентированной на человека. Причем человека неподготовленного, чтобы он мог надеть на себя эту гарнитуру и узнать о себе то, чего раньше не знал. Конечная цель – работать с рядовым человеком. 

Если говорить о реакции, то постановка, которую мы представили посетителям Geek Picnic, была первым опытом демонстрации такой формы.  Однако отклик мы получили сразу же: после представления люди хотели надеть гарнитуру на себя, спрашивали, как ее можно применять и будут ли такие вещи ориентированы на обычных людей, не актеров.

Появится ли у людей возможность общаться с собой и окружающим пространством через гарнитуру, или пока что эта сфера исключительно для профессионально обученных людей?

Да, такая возможность появится, я сейчас этим занимаюсь. Идея в том, чтобы любой человек мог зайти на площадку и увидеть некую пьесу, нарратив которой подчинен именно состоянию этого человека. Пьеса развивается по принципам, которые он заложит туда неосознанно.

Как эволюционирует театр с приходом новых технологий? Есть мнение, что мы возвращаемся в интерактив, когда граница между происходящим на сцене и за ее пределами, стирается.

Это действительно так. Причем в нейротеатре появляется интерактив нового уровня. Здесь можно извлекать эмоции актера прямиком из его головы, то есть мы совсем отходим от посредников. Происходит уже более прямое воздействие на зрителя. Кроме того, зритель сам влияет на атмосферу, в которой находятся актеры, соответственно, влияет на постановку.

Фото: Светлана Дегтярева
Фото: Светлана Дегтярева

Какие еще черты нейротеатра отличают его от других жанров театрального искусства? Например, как обстоит дело с декорациями?

Декорации более минималистичные, все становится генеративными, происходящим в режиме реального времени. Это касается даже музыкального сопровождения. Последняя международная тенденция, где театр использует новые технологии, – поставить в центр внимания человека. С приходом и развитием технологий люди стали забывать о том, что в центре происходящего должен быть сам человек, а технологии — это лишь инструмент для нашего самопознания и самовыражения. 

Перед тем, как показать постановку, вы рассказываете зрителю о том, что его ожидает или предлагаете самостоятельно осознать весь процесс?

Это жанр, про который надо рассказывать. Перед постановкой нужно обязательно объяснять, что это такое, принцип строения и прочее. Если человек просто заходит в купол и смотрит на происходящее, он не понимает, что именно происходит, потому что действия там нет, все абстрактно, выполнено в стиле современного Art, когда что-то происходит, но кульминации и развязки в классическом понимании нет. Однако и кульминацию, и развязку можно сделать в будущем, когда речь пойдет о постановке полноценного спектакля длительностью в 40 минут. В версии для Geek Picnic все эти фазы развития действия тоже присутствовали, но в уменьшенном масштабе. Целью было показать сам принцип работы.

Редакция новостного портала
Архив по годам:
Пресс-служба