Нейроинтерфейсы и биосенсоры для театра: как наглядно показать человеческие эмоции

Каким образом использовать новейшие цифровые технологии, чтобы позволить зрителям в театре «видеть» чувства актеров? Могут ли актеры общаться не с помощью слов или жестов, но с помощью собственных эмоций? Все это становится возможным благодаря использованию нейроинтерфейсов и биосенсоров, с помощью которых современный театр пытается понять, как люди взаимодействуют и будут взаимодействовать друг с другом в цифровом мире. Возможности использования технологий в театре изучали участники международной летней школы «Экспериментальный интерактивный дизайн: проектирование носимых устройств для перформативного искусства». Школа была организована Таллинским университетом, Высшей школой светового дизайна Университета ИТМО при поддержке Новой сцены Александринского театра. Свои «выпускные» работы участники школы показали в виде открытых представлений. 

Летняя школа «Экспериментальный интерактивный дизайн: проектирование носимых устройств для перформативного искусства»

Летняя школа

Международная летняя школа была полностью проведена преподавателями Таллинского университета в рамках государственной программы празднования 100-летия Эстонской республики EV100. Представители Высшей школы светового дизайна (CLD) Университета ИТМО и Лаборатории новых медиа Новой сцены Александринского театра стали организаторами площадок для лекций и воркшопа, а также занимались продвижением школы в интернете. В Летней школе приняли участие практикующие дизайнеры, медиахудожники, инженеры мультимедиа, IT-специалисты – студенты и выпускники различных российских, белорусских и эстонских вузов, а также Лаборатории новых медиа Новой сцены Александринского театра.

В течение недели участники школы изучали инструменты для создания интерактивного дизайна, в том числе для применения в нейротеатре. Это новый вид театрального искусства, который использует нейроинтерфейсы и биосенсоры для считывания активности мозга, которая может представляться с помощью изображений или звуков. Зрители как бы «видят» эмоции, чувства и, может быть, даже оттенки мыслей актеров. Используя современные технологии, театр выражает художественную мысль о том, как цифровизация будет влиять на человеческие отношения и взаимодействия.

Летняя школа «Экспериментальный интерактивный дизайн: проектирование носимых устройств для перформативного искусства». Фото предоставлены Высшей школой светового дизайна
Летняя школа «Экспериментальный интерактивный дизайн: проектирование носимых устройств для перформативного искусства». Фото предоставлены Высшей школой светового дизайна

Участники Летней школы могли обучиться у экспертов в этой области, узнать о существующих прототипах нейротеатра и придумать свои способы усовершенствовать их. Все студенты должны были создать собственный проект с использованием программного обеспечения Max MSP, Isadora, Python, Arduino, исполнительных устройств и различных датчиков мозговой активности и физиологии периферических нервов. В этом им помогали специалисты в области физиологии, интерактивного дизайна, физиологических вычислений, проектировщики компьютерных систем. Свои групповые работы студенты представили на Новой сцене Александринского театра.

Проекты участников

Всего было представлено четыре работы. В первой студенты пытались выразить художественную мысль о том, что все люди влияют на эмоциональное состояние друг друга, даже не прибегая к словам. Для этого два актера с нейроинтерфейсами, которые считывали их мозговую активность, сначала посмотрели ряд видео: один смотрела видео с положительной тональностью, а другой – с отрицательной. На большом экране зрители видели визуальное отображение эмоций актеров в виде геометрических фигур: более плавная и ровная соответствовала настроению актера, который смотрел позитивные видео, а более резкая и угловатая – другому актеру. Затем первый актер пытался своим поведением улучшить настроение второго, и изменения эмоций обоих актеров зрители могли отслеживать в меняющихся формах фигур: в конце концов обе фигуры стали плавными и ровными.

Создатели другого перформанса пытались найти ответ на вопрос, почему же танец как вид искусства так популярен на протяжении всей человеческой цивилизации? Какие чувства и эмоции он вызывает? Профессиональный танцор исполнил несколько танцев, при этом не всегда его движения соответствовали музыке: под бодрую и веселую музыку его движения были тревожны. За этим несоответствующим музыке танцем следили зрители с нейроинтерфейсами, и их мозговая активность показывалась на экране в виде разноцветных пятен. Позднее создатели проекта пояснили, что танцор действительно смог повлиять на настроение зрителей: несмотря на жизнерадостную музыку, зрители испытывали тревожность, что показала их мозговая активность.

В третьем представлении актеры попытались показать будущее, в котором люди будут выбирать друг друга для отношений не в итоге какого-либо общения, а скорее по соответствию их эмоциональных состояний. Для выражения этой художественной мысли четыре актера попытались синхронизировать свои мысли, которые были вызваны некоторыми изображениями и музыкой. В последнем проекте основными действующими лицами стали сами зрители: один из участников выполнял различные задания, а второй наблюдал за этим. Компьютер фиксировал их мозговые сигналы и в соответствии с их характеристиками распределял их в четыре группы эмоций. Каждой группе соответствовали определенные слова. Когда участники перформанса испытывали какую-либо эмоцию, компьютер определял, какие слова ей соответствуют, и выводил их на большой экран. Таким образом актеры из зала как бы писали стихи своими эмоциями. 

Сотрудничество Университета ИТМО с Таллинским университетом

В Летней школе также приняли участие студенты Университета ИТМО: Дарья Чиримисина, выпускница магистерской программы «Световой дизайн» и аспирантка Университета ИТМО первого года обучения, а также Екатерина Святлович, магистрантка второго года обучения. В CLD они будут развивать научные исследования влияния света и современных медиатехнологий на здоровье человека и смогут использовать для этого полученные на школе знания.

«Большая доля исследований в сфере светового дизайна посвящена теме влияния света на здоровье и благополучие человека. Нейроинтерфейсы являются объективными инструментами оценки влияния света на психоэмоциональное состояние человека. Эти инструменты уже активно интегрируются в исследования многих международных вузов и прогрессивных магистерских программ по световому дизайну – Университетом Ольборга, Королевским технологическим институтом. Наше подразделение также видит необходимость использования данных инструментов в научно-исследовательской деятельности. Соответственно, совместная с Таллинским университетом международная летняя школа – это, в первую очередь, возможность познакомиться с опытом международных и российских коллег для дальнейшей совместной научно-исследовательской деятельности», – прокомментировала тьютор CLD Екатерина Тимченко.

Кроме того, в этом году CLD выиграла грант академической мобильности Erasmus+ совместно с Таллинским университетом. Также вместе с партнерами в CLD разработали проект и выиграли грант на три года в рамках программы Erasmus Partnership по теме исследования влияния света на здоровье человека. В гранте принимают участие шесть вузов: Университет Ольборга (Дания), Королевский технологический институт (Швеция), Университет прикладных наук города Висмар (Германия), Университет ИТМО, Университет Вулвергемптона (Великобритания), Университет Томас Джефферсон (США). Одним из ассоциированных партнеров выступает команда Таллинского университета. Международная группа ученых будет искать новые подходы и методы исследований влияния света на здоровье человека с помощью современных медицинских и цифровых технологий.

Редакция новостного портала
Архив по годам:
Пресс-служба