VR/AR-технологии: оказаться на сцене с оркестром, увидеть двигающихся животных в туристическом буклете и управлять музейными экспонатами без прикосновений

На прошлой неделе в Университете ИТМО состоялась ежегодная международная конференция EVA SAINT PETERSBURG Electronic Imaging & the Visual Arts, организаторами которой выступили Центр дизайна и мультимедиа и кафедра Графических технологий Университета ИТМО. Мероприятие представляет собой дискуссионную площадку для ученых гуманитарных и технических специальностей, где они обсуждают различные кейсы пересечения культуры и технологий. Одной из основных тем для обсуждения стали технологии виртуальной и дополненной реальности, использующиеся в целях популяризации культуры и искусства.

Первым докладчиком стал профессор Берлинского института техники и экономики HTW Berlin Юрген Сик. Спикер рассказал о проектах, которые он реализует вместе с группой коллег в Германии и Африке. Описанные проекты ярко продемонстрировали возможности VR/AR-технологий в целом спектре приложений: в виртуальных музеях и галереях, в приложениях в области культурного наследия, для культурного туризма и путешествий, в цифровых театрах, в музейном менеджменте с использованием информационно-коммуникационных технологий и т. д.

Виртуальная реальность в музейной среде

Добавление в коммуникацию между человеком и экспонатом  мультимедиа технологий становится все более распространенным. По словам специалистов, это удобно и не угрожает музейным экспонатам. Яркий пример – использование голографических дисплеев. Так, коллеги Юргена Сика создали голограмму музейного экспоната – пирамиды, а стекло, отделяющее посетителя от экспоната, наделили функциями технологии Touch Screen. Этот интерактивный экран позволяет посетителям взаимодействовать с экспонатом – вращать объект на управляемом проигрывателе с помощью простых жестов. На двух экранах отображается дополнительная информация об объекте в зависимости от угла поворота.

Таким образом, различные фрагменты информации могут быть связаны с разными углами поворота одного объекта или, если несколько объектов помещены на поворотный стол, к различным объектам. Даже освещение внутри корпуса регулируется в зависимости от угла поворота экспоната, а дополнительная подсветка может использоваться для выделения деталей.

Пользователи могут взаимодействовать с экспонатом, вращая его в реальном времени и рассматривая его со всех сторон. Большой монитор в фоновом режиме позволяет встроить объект в его «естественную среду». Например, если футбольный трофей выставлен на экран, изображение полностью заполненного стадиона во время финала, поставленного на фон, создаст аутентичную атмосферу. 

Юрген Сик
Юрген Сик

Также Юрген Сик рассказал о приложении-помощнике туристу, которое с помощью технологий виртуальной реальности помогает посетителю музея сориентироваться в музейной инфраструктуре и найти необходимые зоны: выход, туалет, кафе и другие.

Музыка

По словам профессора, с недавних пор в Concert Hall Berlin концертом можно насладиться из необычного места – находясь рядом с играющими музыкантами. Концерт с элементами дополненной реальности позволяет слушателю детально рассмотреть, что происходит на сцене, а всплывающие над музыкантами обозначения подскажут последовательность и интенсивность игры музыкальных инструментов. Концертный зал оснащен несколькими камерами, которые позволяют пользователям выбрать нужную точку просмотра музыкального действа, а технологии виртуальной реальности – увидеть концерт онлайн, постоять на сцене рядом с дирижером и взглянуть на зал со сцены.

Kishikishi

Kishikishi – один из специальных проектов, созданный в сотрудничестве с коллегами из Намибии. Это книга для детей Африки, которая расширяет опыт чтения тем, что включает, помимо традиционных книжных элементов, контент дополненной реальности: невидимые элементы, которые можно обнаружить с помощью смартфона.  Здесь же читающий сможет встретить аудио, 2D-анимацию и интерактивные головоломки для детей. Как только пользователь подносит смартфон к книге, она оживает: на ее страницах растут деревья, передвигаются животные и детально прорисовывается африканский ландшафт. Простое меню навигации позволяет детям с легкостью ориентироваться в виртуальной книжной модели.

Книга Kishikishi
Книга Kishikishi

Digital-маркетинг

Для того, чтобы сделать рекламные буклеты для туристов, желающих посетить Намибию, более живыми и зрелищными, специалисты решили вновь внедрить digital-контент: картинки, видео и анимацию. Использование информационных технологий и новых элементов виртуальной реальности позволили усилить образ дикой жизни в Намибии и вывести маркетинг на качественно новый уровень. Подобно книге Kishikishi, буклеты включают интерактивную визуализацию африканского ландшафта: покупатель может увидеть, как с разворота на разворот перебегают слоны и перелетают бабочки, а на некоторых участках можно узнать интересные факты о животных  – например, увидеть гонку животных и узнать, кто быстрее передвигается – слон или носорог.

Himba браслеты

Браслеты с национальными узорами африканского народа Химба стали еще одним африканским проектом. Украшения наглядно демонстрируют расширение функций дизайна с помощью внедрения технологий дополненной реальности: 3D-анимации и видеосканирования. Вдохновение для узоров и конструкций создатели черпали от животных, пейзажей и богатой истории Намибии. Браслеты отражают традиционное искусство региона наряду с собственным уникальным видением художников. Сканируя браслет через смартфон, на окружности украшения можно увидеть как представителя народа Химба, так и дикого зверя.

В рамках интерактивной зоны конференции каждый участник мог познакомиться со студенческими проектами в сфере VR/AR. Университет ИТМО был представлен проектом Студенки кафедры Графических технологий по программе «Компьютерные технологии в дизайне» Валерии Вагаповой. В рамках дипломного проекта студентка создала локацию для гарнитуры виртуальной реальности HTC Vive и интерпретировала часть картины Иеронима Босха «Сад земных наслаждений».

«Мы взяли один из символов картины – фонтан, который находится на одном из триптихов, и сделали авторскую трактовку этой работы для гарнитуры виртуальной реальности HTC Vive. Мы поместили фонтан в космическое пространство и сделали его интерактивным. Пользователь, находясь в космическом пространстве, видит фонтан, к которому применены различные эффекты (из фонтана льется вода и т.д.), а вокруг фонтана взору зрителя открывается система звезд, по которой он может перемещаться. Мы создали вольную интерпретацию работы художника на базе виртуальной реальности с возможностью для пользователя путешествия вокруг одного из главных объектов художественного произведения», рассказал Артем Смолин, заведующий кафедрой графических технологий, ведущий инженер Центра дизайна и мультимедиа Университета ИТМО.

Также на конференции были представлены проекты выпускников кафедры информационных систем в искусстве СПбГУ. Юрий Булавин представил проект IT-Sound – систему автоматической генерации музыки по определенным параметрам настроения пользователя, которые можно задать в системе. За долю секунды перед пользователем появляется уникальное музыкальное произведение, у которого есть начало, кульминация и конец. Мелодия генерируется по алгоритму в соответствии с канонами теории музыки, и двух одинаковых мелодий быть не может. Кроме того, студенты СПбГУ представили стартап Timemelody – виртуальный музей музыкальных инструментов, где в музейном зале можно услышать любой из представленных инструментов, записанных специальным способом: объемный трехмерный звук меняется в зависимости от изменения положения пользователя в виртуальном пространстве. Уникальная особенность проекта - возможность перенестись в среду, которая соответствует духу инструмента и эпохе его распространения.   

Редакция новостного портала
Персоны
  • Артем Смолин

    Ведущий инженер центра дизайна и мультимедиа, заведующий кафедрой графических технологий

     

Архив по годам:
Пресс-служба