Классификация VR/AR. Часть 1. Объемная визуализация.

Термины и определения

На сегодняшний день вопросы человеко-компьютерного взаимодействия частично рассмотрены в ГОСТ 26387-84 “Система человек-машина. Термины и определения” и ГОСТ Р ISO 9241 — «Эргономика человеко-машинного взаимодействия» в серии 200: «Способы человеко-машинного взаимодействия».

Также комитетом ISO планируется издание целой группы стандартов, относительно использования физических устройств ввода: устройств ввода для сред формирования виртуальной реальности, устройств с обратной связью, тактильных взаимодействий и т.д. В списке на данный момент неопубликованных и дорабатываемых частей стандарта ISO 9241, представляют интерес следующие части:

• ISO 9241 Part 153 Virtual reality
• ISO 9241 Part 420 Selection procedures for physical input devices Under preparation
• ISO 9241 Part 421 Workplace test and evaluation methods for the use of physical input devices
• ISO 9241 Part 900 Introduction to tactile and haptic interactions
• ISO 9241 Part 910 Framework for tactile and haptic interactions
• ISO 9241 Part 920 Guidance on tactile and haptic interactions Under preparation
• ISO 9241 Part 930 Haptic and tactile interactions in multimodal environments
• ISO 9241 Part 940 Evaluation of tactile and haptic Interactions
• ISO 9241 Part 971 Haptic and tactile interfaces to publicly available devices

В настоящее время нет единого определения термина “виртуальная реальность”, так как в различных источниках VR определяется по-разному. В целом, виртуальная реальность – модельная трехмерная (3D) окружающая среда, создаваемая компьютерными средствами и реалистично реагирующая на взаимодействие с пользователями [6], а система формирования виртуальной реальности – это система, обеспечивающая генерацию модели реальности в соответствии с математической моделью этой реальности при помощи программных средств [66]. Суть заключается в том, что при подаче на основные органы восприятия пользователя (зрительные, слуховые, тактильные, обонятельные, или более полно – Под органами восприятия имеются ввиду физиологические характеристики человека: Зрительный анализатор, Слуховой анализатор, Кожный анализатор, Кинестетический анализатор, Вестибулярный анализатор, Вкусовой анализатор, Обонятельный анализатор) программно-управляемых воздействий, а также при обеспечении реалистичной реакции моделируемой среды на производимые действия, появляется эффект личного участия пользователя в наблюдаемой виртуальной среде.

В результате дальнейшего изучения вопроса классификации VR/AR в указанных источников было установлено, что система формирования виртуальной реальности, в общем случае, состоит из следующих составляющих систем: вычислительной, объемной (чаще бинокулярной) визуализации, формирования звуковой картины, позиционирования и имитации воздействия среды [44;82;30]. Классификация систем VR показана на рисунке 4.5.3.

4.5.1. Объемная визуализация

Объемная визуализация позволяет воспринимать большее количество информации по сравнению с плоским изображением. Объемное изображение содержит информацию не только об типе, цвете, форме, освещении и других свойствах объекта, которые удается передать и на плоском изображении, но и целый ряд других характеристик, например, структура материалов, влажность поверхности и т.д.

В настоящее время для создания условий объемного восприятия в системах виртуальной реальности используются самые разные подходы, из которых наибольшее развитие и распространение получил подход, использующий стереоскопию, в силу его простоты. Однако стереоскопическая визуализация не является единственным способом бинокулярной визуализации объемных сцен. Тот же эффект можно получить, используя голографическую визуализацию, а также визуализацию на объемных носителях (так называемые системы с 3D-разверткой), например дисплей Perspecta volumetric.

Использование голографии для объемной визуализации имеет большие перспективы и одновременно большие препятствия в виде трудностей технологического характера. В частности, необходимо иметь разрешающую способность носителя изображения, соизмеримую с длиной волны; для визуализации динамических сцен в голограммы необходимо переносить огромные объемы информации и т.д. Поэтому голографические системы для объемной визуализации применяются достаточно редко (только для статических сцен). Принцип визуализации системах c 3D-разверткой основан на построении изображения 3D-объекта лазерным лучом на подвижном носителе. В качестве подвижных носителей использовались самые разные объекты – колеблющиеся мембраны, зеркала, вращающиеся поверхности (плоские, винтовые и т.п.). Проводились и проводятся опыты по непосредственной объемной визуализации в жидкостях и газах, содержащих мелкие частицы, рассеивающие свет (пар, дым, аэрозоли, взвеси в жидкостях и т.п.) [21;22]. Практически в системах виртуальной реальности для объемной визуализации чаще всего применяется именно стереоскопия. Далее будет рассмотрен именно стереоскопический метод в силу возможности его практического использования в программном и техническом обеспечении современных имитаторов.

Рисунок 4.5.3. Классификация систем формирования виртуальной реальности

В качестве вычислительной системы может использоваться как обыкновенный персональный компьютер, так и вычислительный кластер. Система объемной визуализации – совокупность устройств, визуально передающих наблюдателю окружающую виртуальную среду с учетом глубины пространства. Суть объемной визуализации состоит в оценке различий величины проекций одноименных точек пространства на сетчатке левого и правого глаза (бинокулярное зрение). В обычных условиях уверенная оценка глубины пространства с помощью бинокулярного зрения не превышает 90 – 140 метров, более далекие планы оцениваются за счет анализа перспективы. Стереоизображение – это, по сути, два изображения, которые разделяются для левого и правого глаза. Величина различия проекций одноименных точек задается параллактической составляющей. Величина параллактической составляющей на изображении, проецируемой оптической системой глаза на сетчатку, не должна превышать для зрителя предельного значения физиологического параллакса. Максимальный эмоциональный эффект достигается при таком построении пространства изображения, когда полностью задействован диапазон бинокулярного зрения. Построение далекой перспективы не может быть построено только с помощью параллактической составляющей, а создается методом комбинации элементов изображения – монофрагментов, для обеспечения непротиворечивой подсознательной оценки перспективы.

4.5.2. Стереоскопическая визуализация

В основу стереоскопического принципа бинокулярной визуализации положен тот факт, что изображение на сетчатке глаза является двумерным. Поэтому можно ожидать, что, если предоставить глазам два изображения некоторой объемной сцены, полученные с двух точек наблюдения, соответствующих расположению оптических центров глаз, то центральный отдел зрительного анализатора должен в конечном итоге создать у наблюдателя иллюзию наблюдения объемной сцены. На самом деле так и происходит, причем, как оказалось, реконструктивные возможности зрительного анализатора чрезвычайно мощны. Об этом свидетельствуют некоторые эксперименты Б.Джулеса [40].

Глаза человека видят не одинаково. Если поочередно смотреть левым и правым глазом на близко расположенный предмет, то будет заметна разница восприятия объекта, т. е. объект будет визуально смещаться влево и вправо. Точно также любая наблюдаемая точка на объекте воспринимается зрительным аппаратом в виде пары точек. Видимость двух точек может расцениваться по разному — или как две разных точки (объекта) или как одна точка. При фиксировании зрения на одну реальную точку видимые глазами пара точек расцениваются как одна реальная. Ощущая мышечное усилие, необходимое для поворота глаз, можно определить угол, под которым пересекаются визирные оси глаз при «совмещении» точек. Обычно угол пересечения зрительных осей называется стереоскопическим параллаксом или углом конвергенции. При взгляде на бесконечно удаленные объекты угол конфергенции равен 0, при чтении книги (20-30 см.), угол составляет примерно 15 градусов. Изображения полученные с помощью виртуальных камер (имитирующих бинокулярное наблюдение) в пакете трехмерного моделирования, представленные на рисунке 4.5.4., показывают разницу проекции для левой и правой камеры, при этом различие увеличивается при приближении камер к объекту съемки.

Механизм восприятия стереоскопического изображения несколько отличается от механизма бинокулярного зрительного аппарата. Зрительный аппарат человека видит изображения с левого и правого глаза на конвергированных осях, т.е. глаза направлены на определенную точку на объекте. При естественном бинокулярном наблюдении мозг корректирует искажения, вызванные различным расстоянием от левого и правого глаза до объекта, но при просмотре искусственно синтезируемого стереоскопического изображения механизм коррекции отсутствует. По этой причине, при синтезе стереоскопического изображения «камеры» должны быть расположены на параллельных осях, а не на конвергированных (рисунок 4.5.5.).

Также стоит обратить внимание на расстояние между объективами виртуальных камер (базис съемки). Мнение о том, что это расстояние всегда должно быть равно расстоянию между глазами наблюдателя является ошибочным. Дело в том, что синтезированное изображение, наблюдаемое, например при помощи проектора или на мониторе, сильно отличаются масштабом. Если не учитывать масштаб наблюдаемого стереоскопического изображения, иначе если изображение больше или меньше реального, соответственно объемное изображение кажется слишком миниатюрным или, наоборот, огромным. Для учета масштаба изображения, предоставляемого наблюдателю, необходимо корректировать расстояние между объективами виртуальных камер — с увеличением масштаба необходимо уменьшать расстояние между камерами.

Учет указанных отличий восприятия стереоскопического изображения от естественного бинокулярного механизма восприятия позволяет обеспечить комфортное восприятие объема. Более подробную информацию, а также точные расчеты параметров стереокиносъемки на параллельных осях для проекции на экран (справедливо и для шлем-дисплейных систем), можно найти в специальной литературе и справочниках по стереоскопической съемке [69;60;31;4]. В России научные исследования стереоскопического восприятия проводятся ОАО «НИКФИ» (http://www.nikfi.ru/).

При совмещении изображения для левого и правого глаза точки объекта имеют горизонтальный сдвиг – горизонтальные параллаксы. Наличие горизонтальных параллаксов являются причиной конвергенции зрительных осей при наблюдении изображения, что и создает объемное восприятие (подобно бинокулярному). Наличие вертикального параллакса крайне не желательно и приводит к сильной утомляемости наблюдателя.

Горизонтальный параллакс может быть «нулевым», «положительным» или «отрицательным». Если точка левого изображения на экране расположена левее одноименной  точки правого изображения, то такой параллакс будет положительным. Если же точка левого изображения расположена правее одноименной точки  правого изображения – такой параллакс будет отрицательным. Знак параллакса влияет на то, где будет восприниматься точка, перед экраном или за ним. Объект с положительным параллаксом воспринимается в пространстве «за экраном», а точки с отрицательным параллаксом будут восприниматься как-бы перед экраном. Точки не имеющие параллакса воспринимаются на плоскости экрана.

При синтезе стереоскопического изображения нужно учитывать, что удаленные объекты должны наблюдаться на параллельных зрительных осях, т. е. в естественных условиях механизм бинакулярного зрения «работает» на расстоянии примерно 90 – 40 метров (более далекие планы оцениваются за счет анализа перспективы). Несоблюдение этого правила приводит к расхождению (дивергенции) зрительных осей и вызывает сильную утомляемость и головные боли при работе с имитатором.

Также необходимо учитывать допустимую глубину пространства. Также как в фотографии, допустимая глубина пространства зависит от расстояния до объекта и фокусного расстояния объектива камеры. Чем ближе объект — тем меньше глубина пространства; чем больше фокусное расстояние объектива, тем глубина пространства меньше, и наоборот (по аналогии с глубиной резкости). «Неестественная» глубина пространства также вызывает расхождение (дивергенцию) зрительных осей. Примерные значения оптимальных величин базисов при синтезе изображения виртуальными камерами и соответствующих им глубин стереоскопического восприятия приведены в таблице 4.5.7. [69]. Для расчета параметров «камер» существует множество специализированного ПО, например Inition StereoBrain Calculator компании Inition [108].

Общим выводом является тот факт, что система формирования стереоскопического изображения должна учитывать множество параметров для возможности точной настройки.

Таблица 4.5.1. Значения оптимальных величин базиса съемки при синтезе стереоскопического изображения

4.5.3. Техническая реализация стереоскопического метода

Одной из основных технологических проблем стереоскопии является создание условий для разнесения изображений стереопары по разным оптическим каналам, предназначенным соответственно для левого и правого глаза, – сепарация полей стереопары. Для этой цели применяются различные оптические схемы, из которых наиболее распространенными являются, пространственная, временная, поляризационная, а также цветовая (анаглифическая).

4.5.3.1. Цветовая сепарация

Самой простой и доступной технологией получения стереоизображения является цветовое разделение. Для объяснения принципа данного метода можно представить рисунок, состоящий из красных и синих полос на черном фоне, красные полосы исчезают, если смотреть на них сквозь синий светофильтр, а синие полосы исчезают если смотреть сквозь красный светофильтр. Специальные очки для просмотра данного типа стереоизображения имеют соответствующие светофильтры (красный и синий), обычно для левого изображения используется красный цвет, для правого – синий. Преимущества метода цветового разделения – низкая стоимость, простота реализации (не требуется специального оборудования). Недостатки – искажения в отображении цветов, плохое качество стереоскопии (часть изображения, предназначенного для одного глаза, становится видимой для другого), и следовательно, быстрая утомляемость.

4.5.3.2. Шлем-дисплейные системы (пространственная сепарация)

Самым известным устройством, в котором используется пространственная сепарация, являются шлем-дисплейные системы. Изображения, образующие стереопару, располагаются на двух разных носителях либо на одном носителе, но разделенном на две половинки. Принципиальным является то, что изображения не перекрываются и могут независимо подводиться к глазам по разным оптическим каналам.

Основной недостаток этой схемы до последнего времени заключался в том, что из-за больших геометрических размеров носителей изображения (дисплеев) расстояние между геометрическими центрами изображений существенно превышало межзрачковое расстояние. Это приводило к необходимости применения зеркальных систем для сведения оптических осей. В настоящее время, благодаря развитию LCD/OLED-технологий появилась возможность миниатюризации дисплеев. При этом в системах остается актуальной задача размещения мнимого 2D-изображения 3D-сцены на комфортном расстоянии (28-52 см), то есть, по-прежнему, необходима дополнительная линзовая система (рисунок 4.5.10).

Шлем-дисплейные системы также отличаются значением охватываемого поля зрения (FOV). Этот показатель используется для определения, какую часть поля зрения человека занимает формируемое изображение. Охватываемое зрительное поле человека составляет примерно 200 градусов по горизонтали на 150 градусов по вертикали. Для шлем-дисплейных систем обычно указывается показатель FOV по диагонали, т. е. угол по диагонали. Показатели FOV (по диагонали) современных шлемов составляют более 100 градусов. Для сравнения, промышленные авиатренажеры имеют fields-of-view до 220º по горизонтали и до 80º по вертикали (CAE Tropos-6000).

4.5.3.3. Временная сепарация

В системах с временной сепарацией на одну проекционную плоскость (экран дисплея или проектора) последовательно выводятся правое и левое изображения стереопары, синхронно с выводом изображений, последовательно открываются и перекрываются правое и левое поля зрения, т. е. при формировании на экране монитора изображения правого кадра, затемняется левое поле зрения, при воспроизведении левого кадра затемняется правое поле. Для перекрытия используются высокоскоростные оптические затворы, чаще всего жидкокристаллические, размещенные в очковой оправе. Для синхронизации применяется специальная электронная или электронно-оптическая схема. Основной недостаток систем с временной сепарацией заключается в их сложности, так как необходимы дополнительные устройства и синхронизация их работы. Общим недостатком метода временной сепарации являются побочные изображения, известные также как «тени» или «духи». При использовании CRT мониторов или проекторов причина состоит в большом времени послесвечения зелёного люминофора. Вследствие послесвечения, часть изображения, предназначенного для одного глаза, становится видимой для другого; пользователь при этом видит зелёные тени от ярких объектов. В настоящее время CRT мониторы и проекторы постепенно вытесняются более прогрессивными технологиями, ведется разработка специальным образом перестроенных DLP-проекторов, что практически полностью решает указанную проблему.

На текущий момент на рынке доступно множество устройств, использующих метод временной сепарации. Например, затворные стереоочки производства компании NVIDIA, рассчитанные на использование со 120-Гц мониторами, телевизорами или проекторами (рисунок 4.5.15). Похожими очками комплектуются многие современные телевизоры и плазменные панели. Также существуют и другие конструкции, например, shutter-очки “Панорама” производства корпорации СТЕЛ [3] (рисунок 4.5.14).

4.5.3.4. Поляризационная сепарация

Системы с поляризационной сепарацей часто называют системами «пассивного стерео». Они чаще всего используются для аудиторной стереовизуализации на больших экранах. Используются два или более проектора, снабженные поляризационными ориентированными ортогонально фильтрами. Оба изображения одновременно проецируются на экран из специального материала, обладающего минимальной степенью деполяризации. Для прямой (зрители и проекторы находятся по одну сторон от экрана) и обратной (по разные) проекции используются разные материалы. Используются очки (широко применяемые в стерео-кинотеатрах) с поляризационными фильтрами, ориентированными параллельно соответствующим фильтрам проекторов, вследствие чего каждый глаз получает предназначенное для него изображение. Применяется несколько видов поляризации: L-поляризация (одна плоскость поляризации расположена горизонтально, другая – вертикально), V-поляризация (L-поляризация под углом 45 градусов к горизонтали), а также циркуляционная поляризация, при которой, в отличии от линейной (как L, так и V), эффект разделения изображений не зависит от ориентации головы наблюдателя. Достоинствами поляризационных стерео-систем является возможность наблюдения стереоизображения одновременно большим числом зрителей, а также относительная простота и дешевизна изготовления большого количества поляризационных стерео-очков (в частности, по сравнению с ЖК-затворами). Основной проблемой поляризационных систем являются побочные изображения, известные также как «тени» или «духи». Время послесвечения люминофора не играет решающей роли, причина удвоения изображения состоит в деполяризующих свойствах экрана, которые могут быть уменьшены, но не устранены полностью.

Способность проекционных систем для формирования изображения на больших экранах часто используется для создания более сложных конфигураций чем один проекционный экран [117;124;114]:

• панорамные системы визуализации (рисунок 4.5.18.), имеющие охват до 180 градусов (позволяет задействовать периферийное зрение);
• системы для проецирования на купол или сферу (рисунок 4.5.19.);
• так называемые «комнаты» (cave) — проецирование осуществляется на различные стены «комнаты» – от 2 до 6 (рисунок 4.5.20.);
• так называемые «стены» (VR wall) — проекция осуществляется на плоскость, состоящую из большого числа фрагментов — экранов обратной проекции или панелей (рисунок 4.2.23.). Позволяет увеличивать размер изображения без потери качества (разрешающей способности изображения).

Как правило, для синтеза изображений для сложных систем используются кластерные вычисления и методы

Также стоит отметить возможность использования зеркального сведения ракурсов при помощи полупрозрачного зеркала. В основу метода положен тот факт, что изображение современных мониторов является поляризованным (обычно угол поляризации составляет 45 градусов), это дает возможность использовать полупрозрачное зеркало для сведения двух ракурсов изображения (с двух мониторов), при этом изображения для левого и правого глаза имеют различные углы поляризации, что, в свою очередь, дает возможность использования очков с поляризационными фильтрами для обеспечения условий объемного восприятия. Данный принцип используется в продукции фирмы Planar [131] и StereoPixel [27]. В принципе, данная возможность позволяет создавать и более сложные конструкции с большим количеством граней.

4.5.3.5. Цветовая сепарация

В системах с цветовой сепарацией используется особенность восприятия дополнительных цветов зрительным анализатором человека. В частности, при использовании пар “красный-синезеленый”, “пурпурный-зеленый”, “желтый-синий” и т.д., фильтрация приводит к маскировке одного из цветов пары. Благодаря этой особенности на одном и том же носителе можно с перекрытием разместить два изображения, образующих стереопару, но окрашенные в дополнительные цвета. Анаглифические стереоизображения нужно рассматривать через цветные фильтры, пропускающие световые пучки дополнительных цветов, к разным глазам (так называемые красно-синие или красно-зеленые очки). Достоинством этой схемы является предельная простота устройства наблюдения стереопары-анаглифа (достаточно двух разноцветных стекол или прозрачных пленок). Недостатком является то, что при наблюдении возникает ощущение искаженной цветовой гаммы [134].

4.5.3.6. Автостереоскопические системы

В последние годы все большее распространение системы, в которых оптические пучки, соответствующие полям стереопары, разделяются в пространстве таким образом, что достигают левого и правого глаз без использования дополнительного оборудования. Это так называемые автостереоскопические системы. Исследования и экспериментальные разработки автостереоскопических систем были начаты в 60-х годах. Наиболее глубокие и всесторонние исследования принципов функционирования таких систем были проведены Валюсом Н.А. и Т.Окоси [31;4]. В настоящее время наиболее распространены два варианта автостереоскопических систем – линзо-растровые и апертурно-растровые.

Если образовать изображение из чередующихся вертикальных растровых полосок, на каждой из будет размещен фрагмент изображения, предназначенный для одного из глаз, и, кроме этого, перекрыть «чужое» изображение струнами апертурной решетки, то глаза увидят предназначенные поля стереопары. Основным недостатком технологии является тот факт, что наблюдатель должен находится в строго определенном месте перед экраном. Именно по этой причине сейчас разрабатываются технологии, обеспечивающие правильное восприятие стереоизображения для зрителей, находящихся в различных позициях относительно экрана (как правило за счет формирования нескольких пар изображений для разных зрителей на одном экране, но потерей разрешающей способности)

Список литературы указан в монографии автора

Какое оборудование использует наша компания для проектов? Отвечаем – HTC Vive Pro2/Cosmos, Pico Neo3/Pro, Pimax 8K X