Когда цифровые технологии объединяются с живой игрой актеров, результат превосходит ожидания. Этот необычный опыт нельзя заменить любыми отдельными средствами медиа. Ниже предоставлен краткий обзор новых медиа технологий, которые стали возможными именно благодаря применению современных технологий.

Дополненная реальность (AR) и смешанная реальность (MR)

Как известно, технологии дополненной реальности (AR, Augmented Reality) и смешанной реальности (MR, Mixed Reality) накладывают цифровой контент на настоящее изображение физического мира. Это позволяет пользователям смотреть на мир через планшет, смартфон или шлем/очки виртуальной реальности (Head-mounted display, HMD — специальное периферийное устройство, используемое в системах виртуальной реальности). Например, речь идет про такие устройства как Magic Leap, Microsoft Hololens, Meta или Google Glass.

Подобный шлем-дисплей дополненной реальности выступает в качестве платформы для творчества. Хотя с другой стороны, все эти гаджеты еще находятся в зачаточном состоянии. Большинство головных гарнитур до сих пор присоединяются к компьютеру кабелем, имеют низкую разрешающую способность экрана и ограниченный угол просмотра. Кроме того, это устройство требует определенного времени на освоение.

И даже с такими ограничениями, художники и дизайнеры находят убедительные причины, чтобы интегрировать эту новую технологию в коммуникационную архитектуру общения. Лента Journey to the Center of the Natural Machine («Путешествие к центру природных машин»), которая была показана на кинофестивале Sundance в 2017 году, продемонстрировала силу мультиплеерного взаимодействия с дополненной реальностью. В процессе показа пользователи могут влиять на развитие сюжета фильма и видеть одну и ту же голограмму человеческого мозга. Но это не все: разработчики намекают на возможности применения AR для интерактивного опыта и совместной работы в области науки, бизнеса, образования и инженерии.

ВЫБОР FST. 29 СЕНТЯБРЯ — 5 ОКТЯБРЯ 2018

Другим AR-проектом на кинофестивале Sundance в 2017 году стал фильм «Дуэт в смешанной действительности». Проект использует возможности Microsoft Hololens — первого и единственного беспроводного шлем-дисплея. Версия Microsoft Hololens для разработчиков была выпущена 30 марта 2016 года. Это устройство не соединенное кабелем с компьютерной системой, что позволяет пользователю свободно перемещаться в пространстве. Hololens проецирует голограммы в среду вокруг пользователей через голографические линзы и сенсоры. Объемный звук увеличивает для пользователя ощущение присутствия. Через комбинацию точки зрения, голосовых команд и жестов пользователь может взаимодействовать и управлять голограммами.

Фильм Marjorie Prime, созданный стартапом 8i и впервые показанный на кинофестивале Sundance в январе 2017 года, рассказывает историю семьи, которая использует «умную», построенную с помощью искусственного интеллекта, голограмму умершего родственника, чтобы легче перенести потерю. Хотя задумка кажется слишком футуристическим, и основные технологии для этого уже существуют: в виде инструментов 3D-сканирования, программного обеспечения для распознавания речи и машинного обучения. Сама концепция была показана в конце 2016 года, а команда Marjorie Primeteam представила функциональную голограмму человека во время премьерной вечеринки в рамках фестиваля Sundance.

ЦИФРОВЫЕ МЕДИА: НОВЫЕ МОДЕЛИ СОЗДАНИЯ И ПОТРЕБЛЕНИЯ

Дополненная реальность, что обеспечивается через смартфон, сейчас является единственным доступным видом AR для массового рынка, поскольку шлем-дисплей, как и прежде, нацелен на разработчиков. Но осенью 2017 года компания Apple сделала мощный шаг в направлении того, чтобы сделать технологию AR массовым продуктом. Для этого она открыла общий доступ к новой платформе ARKit, чипсета A11 Bionic и новой мощной камеры на iPhone 8 и iPhone X. Благодаря таким действиям Apple миллионы пользователей Apple могут немедленно получить доступ к AR «на ладони».

В свою очередь, компания Google анонсировала ARCore в 2017 году конкурента Apple ARKit. Недавно Samsung и Google объявили о партнерстве с целью интеграции архитектуры ARCore в телефоны Samsung Galaxy. Напомним, что год назад Google уже экспериментировала с AR, когда запустила проект Tango. Однако на рынке на данный момент есть всего два устройства, поддерживающие эту технологию. Партнерство Google и Samsung ARCore гарантирует, что, как и в случае Apple ARKit, инструменты AR попадут в руки миллионов пользователей Android.

С момента выхода на рынок, технология AR постепенно приближалась к массовому использованию. В 2009 году программы AR были использованы: для маркетинга (кампания Blippar), с целью популяризации культурных туристических мест и музеев (Музей Лондона), для просмотра звезд на небе (Google Sky), наложение макияжа (ModiFace), воспитание детей (Happy Atom, Mardles) и перевода с других языков (Google Translate).

В июле 2016 года компания Niantic выпустила свою чрезвычайно популярную игру Pokémon Go. В первый же месяц эту игру скачали 500 миллионов раз и это число росло и в дальнейшем. В один из дней в эту игру играло одновременно 4,2 миллиона южнокорейских пользователей. После Pokémon Go в Niantic Labs планируют выпустить игру Harry Potter: Wizards Unite. Компания работает над новым продуктом совместно с Warner Bros Выпуск запланирован уже в 2018 году.

В новой игре о Гарри Поттере используется более продвинутая технология Google Tango. Она позволяет смартфону выйти за рамки простого наложения цифрового контента в реальный мир в определенной географической локации. Гаджеты с поддержкой Tango способны подгонять размер виртуальных объектов под реальность окружающей среды. Это похоже на проекцию объекта в режиме реального времени, которая может создаваться где угодно, но при том не нужный проектор.

Интересным и перспективным направлением в развитии технологий дополненной реальности является также генерация микровибраций или тактильной связи с устройством, который отображает цифровой контент AR.

«По сути, мы анализируем различные частоты вибрации, которые могут возникать во время движения объекта по определенному пути. Определив эти формы и частоты, мы можем предсказать, как объект будет реагировать в новых ситуациях», — комментирует Эйб Дэвис (Abe Davis), ведущий исследователь в соответствующем проекте MIT.

Среди других примеров AR планшетов или смартфонов: Priya's Shakti, Future Delta, Ingress, Maguss, VR Rave, and Hidden Cash ARG..

Другие формы AR. Широкомасштабная экранная система дополненной реальности уже нашла место в маркетинге и индустрии развлечений, например, речь идет о известный видеоролик с автобусной остановкой Pepsi в 2014 году. Голограммы, которые не требуют телефона, планшета, экрана или шлема виртуальной реальности, могут стать настоящим будущим AR . Уже известны несколько технологических стартапов, которые работают над созданием голограммы, для которых не нужен шлем или очки ВР, среди них — HoloLamp.

Несколько других компаний разрабатывают технологию «аудио AR» — это новое интересное направление для продуктов, использующих функцию геолокации в сочетании с набором определенных специфических показателей и инструментов для генерации индивидуального слухового контента, который дополняет реальный мир. Например, Зак Либерман (Zach Lieberman) использует ARKit и OpenFrameworks от Apple, чтобы создавать в реальном времени звуковую карту и визуализировать звуки в AR. Проект использует сенсоры iPhone и камеру для создания карты комнаты и генерирует сильные и короткие звуковые сигналы перед пользователем, исходя из шума окружающей среды. Пока что это рудиментарный опыт, и все же эксперимент Либермана дает намек на будущее звука, музыки и истории в AR.

Data Storytelling

Направление Data storytelling — истории на основе данных — использует коллекции данных, чтобы генерировать истории о человеческий опыт и нашу среду. Современные технологии и культура социальных сетей создали базу для рассказчиков, которые дают оценку действий и эмоций человечества с позиции «птичьего полета», а также обеспечивают понимание комплексных научных концепций и их динамической публикации для аудитории. Это было невозможно еще в 20-м веке по причине ограниченных коммуникаций.

Пять лет назад рассказ на базе визуализации данных была нишевой мастерством, но сейчас она рассматривается как фундаментальная квалификация для журналистов. Поскольку сложность нашей интеллектуальной архитектуры связи развивается, и данные становятся более точными и всеобъемлющими, журналисты могут анализировать эти данные и предоставлять общий обзор человеческой истории.

ИИ В ИНДУСТРИИ РАЗВЛЕЧЕНИЙ И МЕДИА

Визуальные коммуникации начинают превосходить общения на базе текстовой информации, поэтому журналисты должны адаптироваться к такому новому стилю своих читателей. Марк Цукерберг подтвердил это движение до визуальных историй на ежегодной встрече Facebook в 2015 году, когда он раскрыл аналитику поведения пользователей в социальных сетях. Она показала их миграцию от текстовых сообщений до статических изображений и далее — до подвижных изображений (видео) как основного способа общения.

Искусство и мастерство среды существуют в том, как рассказчик генерирует данные, создает соответствующие визуализации, и выбирает процесс донесения до зрителя. Рассказчик стоит перед задачей контекстуализировать данные внутри языковой и эстетической конструкции. В своем интервью пионер цифровых медиа Анн Гринберг обращает внимание на то, что построение микроданных и систем захвата и поиска метаданных — это очень творческая работа. Визуализация данных является полезным инструментом, но требует тщательной обработки. Если все сделано правильно, результаты являются превосходными. Если же плохо, то получим «бессмысленный шум».

Наиболее выдающиеся работы по визуализации данных включают We Feel Fine, I Want You to Want Me, Artificial Killing Machine, Derive и Dear Data.

Сегмент имерсивных данных. Направление data storytelling входит в новую захватывающую фазу экспериментов благодаря участию таких компаний, как Virtualitics, LLC, предоставляют средствам массовой информации возможность интегрировать аналитику данных в VR и AR. Инструменты сочетают визуализацию данных с обработкой естественных языков и искусственным интеллектом.

Другая интересная область исследования в секторе визуализации данных издательской среды — это «окружающий пользовательский интерфейс». С ростом популярности Интернета вещей во все более связанном среде данные возможно отображать различными способами, не только на экране. Объекты вокруг нас могут быть разработаны для выражения данных более интегрированным, эстетически привлекательным способом. Этот набор событий гармонично сочетается с попытками сделать смарт-объекты похожими на аналоговые, или же движением маркетингового комьюнити в своем мышлении в направлении от информационной возрастной модели к подключения потребителей с возрастной моделью на базе опыта.

Творчество

Игры в альтернативной реальности, квест-румы (escape room, также называется квест-рум — это интеллектуальная игра, в которой игроков закрывают в помещении, из которого они должны выйти, найдя определенные предметы и решив головоломки) и иммерсивные театры — все эти направления обеспечивают новые впечатления и ощущения для зрителей.

Мир, описанный в сценарии, накладывается на физическую реальность, и это позволяет зрителям окунуться именно в тот мир, что создан в сценарии. Как правило, для того, чтобы мотивировать и привлечь аудиторию, используется определенная конструкция игрового действа. The Quinn Experiments, Pandemic, и Sleep No More — это примеры известных увлекательных впечатлений, которые изменили наш способ взаимодействия с театром.

Искусство и искусственный интеллект

Хотя искусственный интеллект (AI, Artificial Intelligence) стал частью повседневной жизни многих людей еще в 2011 году — после того, как в iPhone появился цифровой помощник Siri, именно в прошлом году удалось достичь значительного прогресса в этой области. Например, на базе IBM Watson был выпущен первый трейлер фильма, который отредактировали с помощью искусственного интеллекта. Многие из этих достижений были обусловлены тем, что алгоритмы AI способны лучше анализировать визуальные данные (например, распознавать лица и выявлять изображения) и обрабатывать естественный язык.

Поскольку эти умные алгоритмы теперь способны эмулировать человеческое мышления, рассуждения и принятия решений, а также распознавать эмоции, художники начали экспериментировать над совместным творчеством вместе с машинами. Художники всегда использовали технологию как инструмент для создания своего видения мира, но разница заключается в том, что теперь этот инструмент имеет влияние на конечный результат не больший, чем сам человек.

New Dimensions in Testimony стал прорывным проектом в этой категории в 2016 году, поскольку предоставил представления о перспективах когнитивных вычислений в определенном сюжете. В проекте использовано современное программное обеспечение для естественной речи, которое позволило аудитории устно общаться с записанным 3D-изображением человека, который выжил во время Холокоста. Голограмма, которая работала с помощью сложного алгоритма, была способна отвечать на вопросы аудитории в режиме реального времени, что создавало впечатление реалистичного общения.

Эта форма AI может быть использована многими способами. Представьте себе, каким может стать семейный фотоальбом или мемуары в будущем, когда эти голограммы смогут давать вербальные ответы на вопрос, рассказывать определенные истории из прошлого, искать заданные изображения или звуки, а также помочь вам окунуться в определенную среду. Фактически в будущем мы сможем сидеть за кухонным столом с фотоальбомом и рассказывать истории о жизни» вместе с теми, кто уже давно умер.

Развитие и популяризация технологии машинного обучения вызывает дебаты о том, как назвать искусство, которое свидетельствует про экзистенциальный кризис среди художников. Подобно дебатов, происходивших во время роста генерации YouTube, где каждый желающий мог вдруг стать видеооператором и режиссером, поколения AI теперь задает вопрос: «В чем роль художника?».

Если машина может творить в области визуального искусства, монтировать видео, писать сценарии (например, Sunspring) или музыку (например, daddy's Car), то зачем тогда художник? Обычно принято считать, что все умные алгоритмы фактически не создают ничего нового, они лишь используют в качестве сырья оригинальные материалы, созданные человечеством за тысячелетия творчества, и далее находят там шаблоны и образцы для создания современных ремиксов и мешапов. Однако некоторые утверждают, что этот процесс аналогичен тому, что делают художники, напоминая при том о переводе семи рассказов на новый лад или создание музыки на базе 12 нот, что актуально по крайней мере для западной музыки. Ахмед Елгаммал (Ahmed Elgammal) в лаборатории Art & AI в Университете Рутгерса генерировал художественные произведения с помощью базы данных WikiArt, и результат оказался чрезвычайно похожим на произведения, где авторами являются люди. Более того, даже не все респонденты смогли обнаружить разницу.

Mr Shadow: песня, которая была создана искусственным интеллектом

Сотрудничество, а не конкуренция: а может машины не конкурируют с людьми в искусстве, а лишь помогают им и улучшают результаты? Вполне возможно, что системы AI способны сотрудничать с людьми с целью создания симбиотического суперинтеллекта, считает профессор информатики и главный исполнительный директор Института искусственного интеллекта Орен Эциони (Oren et zioni).

Эн Гринберг (Ann Greenberg), исследователь интерактивных и генеративных медиа, объясняет, что в программе Sceneplay [сейчас Entertainment AI] каждый фрагмент сценария делится на малейшие частицы: редактирование списка решений, углы съемки, фильтры, время суток, описание персонажей и тому подобное. Эти данные используются для запуска серии суфлеров, автоматических записывающих устройств и редакторов, все из которых генерируются от одного и того же фрагмента кода. Пользователь выбирает тип медиа (ситком, музыкальное видео, и т. п), потом роль, которую он хочет играть (главный герой, ведущий исполнитель), и исполняет произведение вместе с машиной, которая точно подсказывает, что надо делать. Если вы действуете и говорите так, как подсказывает вам суфлер, тогда созданное вами видео (сделанное с помощью этого SmartScript, то есть с помощью машины) автоматически совпадает с другими пользователями и дает пользователю ощущение работы в ансамбле. Если вы не будете следовать рекомендациям со стороны машины, тогда ваши действия не будут совпадать со всеми другими, следовательно согласованного проекта не будет. По сути, хотя с одной стороны вы являетесь марионеткой, но с другой — частью общего опыта.

В 2017 году художник Мемо Актен (Memo Akten) запустил проект Learning to See: Hello World! . Эта интерактивная инсталляция применяет прямую трансляцию для демонстрации того, как работает машинное обучение. Используя мощную нейронную сеть, проект быстро сравнивает шаблоны и «вытягивает» из них изображение. Ars Electronica также выступает на переднем крае поддержки художников, которые работают с AI. Среди других примеров генеративного искусства: MESOCOSM, word.camera, Flock, Flippaper, and Close Your, RIOT (использует распознавание лица, чтобы вычислять пользователей, которые агрессивно демонстрируют протест).

Жестовые интерфейсы

В 2006 году медиа-ученый Джон Андеркоффлер (John Underkoffler) и его стартап Oblong Industries представили систему Gspeak с программой для редактирования TAMPER, которая позволила редакторам создавать кинематографический мир через жестовий интерфейс. Идея возникла во время мозгового штурма под руководством Алекса Макдауэлла (Alex McDowell), при подготовке истории мира для отчета Minority Report 2002 году.

Сейчас жестовий интерфейс переходит от идеи к изобретению, к совместным инновациям со стороны других рассказчиков в этой области. Вот дополнительные примеры качественных жестовых проектов: CLOUDS, Treachery of Sanctuary и Shadow Monsters.

Физический кинематограф и Интернет вещей

Эти кинематографические работы отодвигают пределы формы и пространства, поскольку используют актеров, диалоги и совместное производство таким образом, что это позволяет расширить возможности физического кинематографа. Артисты и зрители начинают интегрировать себя в картину, используя умные объекты, переносные устройства, карту проекций с трекинг-сенсорами, а также связанные и интеллектуальные среды.

«Перед небольшой аудиторией [Бьорк (Bjork)] исполняла произведение Vulnicura's Quicksand, одетая при этом в удивительную маску и окруженная камерами и проекционным освещением. Камеры фиксировали то, что происходило перед аудиторией, а дальше компьютеры добавляли несколько цифровых эффектов. Это была не виртуальная реальность, а скорее дополненная реальность — безупречная проекция виртуального мира в реальный, без обязательного ранее шлема VR...».

«БУДУЩЕЕ» ДЖЕННИФЕР ГИДЛИ

Интеллектуальные среды. Эти пространства, которые создают художники, имеют комбинацию двух или более имерсивных и интеллектуальных технологий, а также некоторые аналоговые инструменты, которые усиливают физический опыт. Речь идет про сенсоры, которые вызывают соответствующие ощущения, например позволяют пользователям «прикоснуться» к VR/AR-контенту через инфракрасное излучение или 3D-очки с обзором на 360 градусов. В случае становятся и аналоговые элементы, такие как вентиляторы и разнообразные звуки.

Примеры: Be Boy Be Girl, Birdly, Cyrano: Alex in Wonderland, Just a Reflektor, Lyka, can't Get Enough of Myself , Tableau, Peg Mirror, Lyka's Adventure, OMW, Fru, The Quinn Experiment, Postcards to My Younger Self, и Magic Dance Mirror.

Виртуальная реальность

Виртуальная реальность (VR, Virtual Reality) включает в себя набор технологий, которые погружают зрителей или игроков полностью в виртуальный мир. Некоторые из подходов для создания VR включают:

  • моноскопическое или стереоскопическое видео с обзором в 360 градусов,
  • легкая полевая камера для съемки панорамного видео 360 градусов,
  • объемное увлечение или фотограметрия, которая фиксирует состояние VR, объекты, ландшафты или структуру среды в режиме реального времени,
  • границы и формы окружающего помещения,
  • гипер-реальность (интерактивная виртуальная реальность с полным погружением, где виртуальные объекты можно почувствовать на ощупь, а не только увидеть),
  • VR с синхронизированным просмотром,
  • социальная VR.

Все указанные выше форматы могут быть интерактивными.

Известно, что популярность имерсивных театров (то есть тех, что погружают зрителя в другую реальность) растет. Так, недавно команда The Willows, расположенная в Лос-Анджелесе, создала захватывающее сочетание интерактивного театра с определенными специализированными локациями.

«Рост популярности квест-комнат и имерсивных театров наверное можно назвать тенденцией. Но я думаю, что виртуальная реальность (VR) важна для кино и телевидения так же, как и для театра», — заявил продюсер Джастин Фикс (Justin Fix).

Многие респонденты заявили, что они в восторге от перспектив виртуальной реальности. На самом деле, эффект от размещения зрителя внутри виртуальной реальности очень отличается от того, что чувствует зритель в интерактивных документальных фильмах и во время других экспериментов, которые мы наблюдали в течение последних нескольких лет.

Когда респондентов спросили, что они ожидают от среды VR, вот какие пункты отметили:

  • способность выйти за пределы человеческого восприятия реальности. Например, речь идет о том, чтобы выйти в открытый космос, стать деревом, посмотреть на мир глазами животного
  • или уменьшиться до размера молекулы;
  • мгновенно транспортироваться через время и пространство;
  • почувствовать социальный простор в виртуальной реальности;
  • находиться в непосредственном взаимодействии с цифровыми исполнителями и исполнителями, которые улучшены за счет цифровой подсистемы;
  • снизить барьеры для эмпатии.

«Это первый раз, когда я думаю, что технология действительно открывает людей, — считает Гарвардский студент Маделейн Вудс (Madeleine Woods). — Вы можете побывать в шкуре любого человека мира, увидеть то, что никогда не видели. Я думаю, что можно понять людей намного лучше, когда ходить в их обуви и в их одежде, и это то, что действительно обеспечивает новая технология».

В 2014-2015 годах во время волны экспериментов с VR исследователи анализировали перспективы «превращения» на другого человека или животное, погружение в анимационный мир, а также мгновенной телепортации до удаленных и недоступных мест или же интимных пространств.

В 2016 году состоялись успешные эксперименты с абстракцией, пространством, медитацией, астрономией и квантовой физикой, метафизикой и другими сферами, которые обеспечивают опыт реальности, что никогда нельзя было встретить в «человеческой жизни». Погружение в VR достигло нового уровня в режиме реального времени, предоставляет аудитории возможность быть в одной комнате с исполнителем, взаимодействовать с виртуальным контентом, с живой игрой актера в виртуальном пространстве. Примеры подобных экспериментов включают в себя Unreal Engine experience и To Be With Hamlet.

В 2017 году, через 40 лет после того, как родилась технология, VR находится на пороге первой волны действительно успешного «убийственного контента», о чем свидетельствует: первый фильм VR, который номинирован на Оскар (Pearl); первая лента VR, которая отмечена специальной наградой от Академии кинематографических искусств и наук (Carne y Arena); первый фильм VR, который получил премию Emmy (Henry) в 2016 году. В этом году победителей было еще больше: Collisions (Выдающийся новый подход: документальный материал) и The People's House (Выдающаяся оригинальная интерактивная программа). Кроме того, студия Disney Pixar выпустила свою дебютную работу в сегменте VR — Coco VR. IMAX открывает свой первый Центр имерсивных медиа, также немало университетов и колледжей создают курсы по имерсивным медиа.

На кинофестивале Sundance в 2017 году было представлено большое количество полностью реализованного и совершенного материала (отрасль VR в конце концов прошла демонстрационную фазу). В связи с критическими обзорами, контент и формат исследований, выполненных за предыдущие четыре года, наконец-то начал давать результат. Среди примеров таких работ: Dear Angelica, Zero Days VR, Life of Us, Out of Exile, Orbital Vanitas, Sky is a Gap, Chocolate, Mindshow и Asteroids.

Основатель Magic Leap Рони Абовиц (Rony Abovitz) считает, что AR/VR/MR имеют потенциал для улучшения качества жизни в самых различных сферах, ведь наш мозг развит так, что он хорошо воспринимает эксперименты с пространством, хотя еще придется пройти долгий путь. Тем не менее, конечные результаты могут сильно повлиять на работу в архитектуре, образовании, медицине и других отраслях.

Источник

Читайте также:

ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ УЖЕ ГОТОВА МАНИПУЛИРОВАТЬ ВАШИМИ ЭМОЦИЯМИ

 

БУДУЩЕЕ СМИ – ЭТО СНОВА ПОДПИСКА, А НЕ РЕКЛАМА И КЛИКИ

 

ТИМ УРБАН: МЕНЯ ЗАХВАТИЛИ ИДЕИ, КОТОРЫЕ МЕНЯЮТ МИР