Дополненная реальность. Часть I: на стыке двух миров

С появлением компьютеров реальность обогатилась еще одним слоем – виртуальным. Ныне ВР (виртуальная реальность) – вещь обыденная. Компьютерные игры, интерактивные обучающие системы, виртуальные музеи и многие другие приложения позволяют человеку взаимодействовать с полностью виртуальными мирами. И надо заметить, что порой без ВР не обойтись. Судите сами: на объекты ВР не действуют реальные физические законы, разработчики вольны придавать им любые свойства и создавать любые правила для взаимодействия с ними. Можно ли в реальности уместить в карман музей с тысячами экспонатов? Облететь вокруг планеты, затратив на все путешествие 15 минут? Конечно же нет.

Вот только жить в ВР человек не может, даже если очень хочет, – самая технически совершенная иллюзия нарушится при первом же физическом неудобстве. Увы, ничем, кроме информации, полностью информационная вселенная одарить человека не может, как и удовлетворить его физические потребности. Так, может быть, можно совместить преимущества виртуальных миров с деятельно­стью в реальном мире? С недав?
них пор можно, и называется это дополненной реальностью.

Дополненная реальность, или ДР (от англ. augmented reality, AR), определяется как система, совмещающая виртуальные объекты с реальным миром и обеспечивающая их взаимодействие. Звучит как фантастика? Тем не менее такие системы существуют, и для того, чтобы попробовать их в деле, достаточно обладать смарт?
фоном или компьютером с веб­камерой.

Волшебное окно

Современный смартфон или планшет – готовая аппаратная платформа для ДР­системы, по­этому распространение ДР началось именно с них. Выглядит это следующим образом: вы запускаете ДР­приложение, смотрите на окружающий мир через камеру устройства и видите на дисплее не только то, что существует на самом деле, но и интегрированные в картинку виртуальные объекты – от простейших плашек с текстовой информацией до полноценных трехмерных предметов.

Возможно, все изложенное покажется вам детской игрой, но задумайтесь о том, как это можно использовать! Вы видите улицу с несколькими офисными зданиями, но не знаете, где обосновалась нужная вам компания? Посмотрите на нее с помощью смартфона и увидите на каждом строении его адрес и список расположенных внутри организаций с контактной информацией. Заблудились? Задайте маршрут, поднимите смартфон на уровень глаз и следуйте по виртуальной дорожке из желтого кирпича. Забор мешает обзору? Виртуальное отверстие в нем позволит рассмотреть все, что вас интересует. Вкратце все возможные способы применения ДР можно свести к нескольким сценариям.

Предоставление расширенной информации о реальных объектах. ДР в данном случае играет роль «шестого чувства» человека.

Удобная индикация полезной информации. Следовать по маршруту можно, постоянно сверяясь с картой, а вести машину приходится, периодически бросая взгляд на приборную панель, но гораздо удобнее, если вся информация будет постоянно находиться в поле зрения – маршрут прямо на дороге или над нею, а показания спидометра и тахометра – на лобовом стекле автомобиля.

Виртуальное взаимодействие с реальными людьми. К примеру, многопользовательская ДР­система позволит оставить там, где нужно, виртуальную метку, которую увидят другие пользователи, причем только те, для кого эта метка предназначена.

Обучение. Виртуальная отвертка продемонстрирует, в каком порядке закручивать реальные болты на реальной крышке блока цилиндров, и такая демонстрация будет гораздо эффективнее любого устного объяснения или даже видеоурока.

Интерактивные игры. Виртуальные объекты и персонажи в реальном окружении обеспечивают гораздо более глубокий уровень погружения в игру.

Точки соприкосновения

Сшить ВР с настоящей реальностью так, чтобы не было видно стежков, – задача нетривиальная. Аппаратура ДР­системы должна уметь очень многое.

- Позиционирование: Чтобы определить, что именно находится в вашем поле зрения, ДР­система должна точно знать ваши координаты. Без GPS­ или ГЛОНАСС­приемника не обойтись, и, желательно, чтобы он был оборудован системой дифференциальных по?

правок, повышающих точность по­зиционирования. Также необходим магнетометрический датчик (компас): важно знать не только свою позицию, но и в каком направлении смотрит камера.

- Качественный видеоввод:Для точной идентификации объектов в поле зрения необходимо иметь четкую картинку высокого разрешения, поступающую с видеокамеры в реальном времени.

- Удобный и качественный видеовывод: Дисплей современного мобильного гаджета вполне пригоден для этого, но будущее, без сомнения, за видеоочками и прочими видами наголовных дисплеев.

- Определение изменения поля зрения: Теоретически по изменению картинки можно определить, как движется камера. На практике ничего путного таким способом не добиться – нужно как минимум две камеры и изрядные процессорные мощности, чтобы точно рассчитать перемещение в трех измерениях. При этом задача успешно решается несложным трехосевым акселерометром (датчиком ускорения), который устанавливается практически в каждый смартфон и планшет. Главная задача программного обеспечения ДР­системы сводится к тому, чтобы сориентироваться в реальном мире, определив, где и как надо разместить виртуальные объекты и корректно отслеживать изменения положения наблюдателя. Для этого разработчики используют несколько способов, разной трудоемкости и эффективности.\

маркер для системы дополненной реальности обычно представляет собой простую контрастную картинку

Привязка к маркеру

Самый распространенный среди мобильных приложений метод. Заключается в том, что виртуальные объекты привязываются к маркеру – реальному объекту, известному ДР­системе и уверенно ею распознаваемому. Сам маркер обычно представляет собой контрастную картинку, которую можно распечатать на принтере и разместить там, где вы хотите уви?
деть виртуальные объекты. Определив расположение маркера в кадре, ДР­система принимает плоскость, на которой он находится, за опорную, и помещает виртуальные объекты на ней. Немаловажной особенностью является то, что показания акселерометра системе анализировать не надо: все эволюции ракурса однозначно определяются по маркеру – к примеру, сдвиг маркера в кадре вправо означает движение камеры влево и т. д. Обработка видеопотока тоже упрощается: всего­то нужно выделить контрастный маркер, а прочие объекты можно отбросить. Крупнейшим недостатком данного метода является именно необходимость размещения маркеров на всех реальных объектах, которые потребуется дополнять виртуальными. Кроме того, при большом удалении от интересующих вас объектов или в условиях низкой освещенности ДР­система не сможет распознать маркеры и будет неработоспособна.

Привязка к 3D-модели

Имея в памяти ДР­системы трехмерную модель окружения, привязать к ней картинку с видеокамеры не так сложно, и маркеры уже не понадобятся. В этом случае очень пригодятся все возмож?
ные датчики: GPS/ГЛОНАСС­приемник, акселерометр и компас, –
с их помощью система установит примерное расположение пользователя и ракурс и, спроектировав эти данные на модель, сможет более или менее точно расставить виртуальные объекты. Точность, правда, будет невелика, но для некоторых задач (скажем, для вывода информационных меток) ее вполне достаточно. Обратите внимание, что современные навигационные программы в любом случае содержат трехмерные модели местности, а некоторые программы даже могут использовать их для построения дополненной реальности.

Распознавание произвольных образов и геометрии пространства

Полноценная ДР­система широкого профиля должна уверенно распознавать как образы реальных объектов, так и определять геометрию пространства в кадре, для чего нужен мощный процессор и замысловатое программное обеспечение. На текущем уровне развития техники это все еще весьма нетривиальная задача.

Одним из флагманов в сфере распознавания образов в реальном времени является исследовательская группа Active Vision Group, входящая в департамент технических наук Оксфордского университета. Еще в 2008 году ее сотрудники создали программно­аппаратный комплекс, достаточно успешно решающий задачу распознавания произвольно расположенных прямоугольных изображений. Система определяет границы картинок, их положение в пространстве и находит соответствие хранящимся в памяти образам.

Другой проект, темой которого является определение геометрии пространства, пока не может по­хвастаться весомыми результатами. Построенная система достаточно корректно определяет положение ключевых точек (углов и ребер объектов, выступов и т. д.), но сформировать из них трехмерную модель окружения, увы, не может, даже определение плоскостей работает нестабильно.

Несмотря на скромные результаты, именно за такими системами будущее. Лишь полная свобода от маркеров и предварительно заданных моделей окружения позволит полноценно срастить настоящую реальность с реальностью виртуальной.