S3D и WibbleWobble

Для любопытного геймера
Популярное описание технологии, того, как она устроена и как работает. Если вам это неинтересно, читать не обязательно — это сухой материал.

Как игра рисует 3D
Обычный способ создания 3D-изображения в игре — отрендерить сцену дважды: отдельно для левого и правого глаза, виртуально смещая камеру относительно центра сцены. Это ресурсозатратно и требует встроенной поддержки со стороны игрового движка. Далеко не каждая игра на это способна. WibbleWobble предлагает два разных пути, и разница между ними принципиальна — она определяет и качество изображения, и набор артефактов.

Путь первый: ReShade Client — синтез стерео из плоского кадра
Игра рендерит один обычный вид. Эффект SuperDepth3D ReShade берёт этот кадр вместе с буфером глубины сцены и реконструирует из него вторую точку обзора, смещая пиксели в соответствии с глубиной. Игровой движок ничего не знает о стерео. Это дёшево с точки зрения производительности и работает почти с любой игрой на DX11/DX12. Плата за это — артефакты, присущие самому методу. Они описаны ниже, в разделах «Недостатки».

Путь второй: OpenVR Client — настоящее 3D-рендеринг
WibbleWobble регистрирует себя в SteamVR как виртуальный VR-шлем. Игра с поддержкой VR или с VR-модом рендерит сцену дважды с двух камер, разнесённых на межзрачковое расстояние, точно так же, как это делает настоящий шлем. IPD, разрешение на каждый глаз и фокусное расстояние задаются в VR Config. Здесь WibbleWobble ничего не синтезирует: он берёт готовую стереопару и выводит её на экран покадрово, синхронизируя затворные очки. Это стоит дороже по производительности, но 3D-геометрия абсолютно корректна. Никаких дыр по контурам, никакого «картонного» эффекта; каждый глаз получает свои собственные отражения и блики. По сути, это способ играть в VR-игры на обычном мониторе с 3D-очками, но без шлема.

Репроекция — механизм расширения поля зрения
Репроекция работает в обоих режимах, включая монокулярный. Высокопроизводительный шейдер берёт игровой кадр и отображает его на геометрию вашего рабочего пространства: на один монитор, или на четыре монитора, или на изогнутый экран. Благодаря трекингу головы (OpenTrack) изображение смещается вслед за вашей головой, и мониторы начинают действовать как окно в виртуальный мир — эффект «VR-аквариума». Цель репроекции — получить правильный масштаб мира и правильное поле зрения (FOV) для многомониторного использования. Репроекцию можно полностью отключить (Client Config -> Reprojection: Disabled) и использовать только стереовыход, BFI и апскейлер — обычный сценарий для одного дисплея.
* Надо сказать, что автор проекта был чрезмерно оптимистичен насчёт идеи «расширения мира» на несколько панелей. Даже мощным видеокартам не хватает производительности для этого. Вам повезёт, если скорости хватит для одного 4K-дисплея. С несколькими дисплеями это не сработает...

FOV (Field of View): угол обзора. Он определяет, какой сектор мира захватывает виртуальная камера в кадре. Измеряется в градусах, отдельно по вертикали и по горизонтали. Малый FOV (40-50°) выглядит как телеобъектив: узкий сектор с крупными объектами. Большой FOV (100-120°) — широкоугольный, как у экшн-камеры. Вы видите много по сторонам, но края растянуты, а объекты кажутся дальше и меньше. Это ключевой параметр в WibbleWobble. Программа должна знать угол, под которым игра нарисовала кадр, чтобы правильно спроецировать его на ваш физический монитор. Именно поэтому в Game Config есть два поля, FOV Vertical и FOV Horizontal, с одним требованием: значение должно совпадать с заданным в самой игре. Измените одно значение — и другое пересчитается автоматически в соответствии с соотношением сторон окна.

Если FOV:
слишком большой мир выглядит как игрушечный, а масштаб объектов искажается
слишком низкий мир кажется гигантским, и всё нависает над вами
в 3D глубина ломается вместе с масштабом, и начинается напряжение глаз

Отслеживание головы как «окно в мир»
Используя метод OpenTrack, обработчик приложения отслеживает положение головы и смещает проекцию так, чтобы монитор отображал виртуальное окно в 3D-сцену. Это создаёт эффект параллакса. Когда вы двигаете головой, изображение слегка смещается, как если бы вы действительно смотрели через окно.

Чересстрочный стереовыход
Приложение получает кадры от игры с переменной частотой по мере их готовности, «как получится». Затем клиент подстраивает частоту кадров для воспроизведения на 60 Гц. Источником стереопары может быть SuperDepth3D, VR-мод или готовый 3D-контент. WibbleWobble принимает его в формате side-by-side или checkerboard (Client Config -> Source Format) и декодирует в FrameBufferDecode. Затем рендерер преобразует его в поток с чередованием кадров 120 Гц, синхронизируя затворные очки. Поддерживаются следующие эмиттеры: NVIDIA 3D Vision, Open3DOLED, DLP-проекторы, 3D Ready и самодельный Arduino/VESA ИК-эмиттер.

Борьба с размытием движения и перекрёстными помехами
Размытие движения — это размытие, создаваемое дисплеем. Современные LCD и OLED-панели удерживают пиксель подсвеченным в течение кадра — режим sample-and-hold. Пока пиксель остаётся подсвеченным и зафиксированным в одном положении, глаза инстинктивно продолжают следить за движущимся объектом. В результате изображение «размазывается» уже на самой сетчатке, хотя каждый отдельный кадр на дисплее идеально резкий. Чем дольше пиксель остаётся подсвеченным, тем сильнее размазывание. Этот дефект скрывает мелкие детали и дополнительно ухудшает изображение в 3D-режиме.

Чтобы уменьшить время свечения пикселя, WibbleWobble предоставляет два инструмента:
Вставка чёрного кадра — вставка чёрного кадра между полезными (параметр Black Frame Insertion Interval в Client Config).
CRT Beam Simulator от Blur Busters — шейдер, имитирующий развёртку электронного луча CRT: он гасит изображение строка за строкой, а не целым кадром. Он даёт лучший результат, но требователен к дисплею: нужна гамма 2.2 или 2.4, отключённые ABL/APL и OLED в режиме SDR. На панелях FALD и MiniLED он работает плохо из-за инерции подсветки.

Эти два режима нельзя включать одновременно. При использовании CRT Sim параметр Black Frame Insertion Interval в Client Config должен быть равен нулю. Отдельно стоит подчеркнуть, что игра может работать с меньшей частотой, чем дисплей выводит кадры, и программа заполняет недостающие кадры до частоты дисплея. Но это не генерация новых промежуточных изображений — это повтор уже готовых. Иными словами, здесь нет той плавности, которую обеспечивает метод ресемплинга.

Перекрёстные помехи — это эффект, при котором изображение, предназначенное для одного глаза, частично достигает другого глаза. В результате зритель видит двойные контуры или полупрозрачных «призраков» рядом с объектами. Это ухудшает качество 3D-изображения и снижает ощущение глубины. Для борьбы с этим встроена поддержка вставки чёрного кадра и симулятора CRT-луча Blur Busters. Для комплексного подавления перекрёстных помех используется хитрый режим: изображение игры отрисовывается на 60 Гц, очки получают синхронизацию на 120 Гц, а вывод на экран идёт на 240 Гц с повторением кадров.

При всех своих достоинствах этот метод имеет ограничения, о которых следует сказать отдельно. Они проистекают не из какого-либо несовершенства программы, а из выбранного принципа работы. Вторая стереоточка зрения не рендерится из модели сцены, а реконструируется из уже готового кадра и карты глубины. Если в исходном кадре нет данных о том, что скрыто за объектами переднего плана, взять их неоткуда.

Дыры на краях объектов — дисокклюзия
Это главный дефект метода. Когда программа смещает точку зрения для второго глаза или для поворота головы, часть фона, скрытая краем объекта переднего плана в исходном кадре, должна стать видимой. Но эти пиксели никто не рендерил — их физически не существует. Программе нечем заполнить пробел, поэтому она либо растягивает краевые пиксели, создавая «резиновый» размазанный ореол вдоль контуров, либо подставляет «правдоподобную», но обычно неверную заплатку. Чем сильнее смещение точки зрения, тем шире полосы ореола. Это не ошибка реализации, а ограничение самого метода: нельзя извлечь из одного изображения то, что скрыто за объектами и не видно на нём.

Движение головы усиливает искажения
В обычном стерео расстояние между точками обзора мало и постоянно — равно расстоянию между зрачками. Но с «окном в мир» голова перемещается на десятки сантиметров в разных направлениях, поэтому относительный сдвиг точки обзора во много раз больше естественного, и дыры и размазывание растут. Получается так: сидишь неподвижно — артефактов почти нет, но и 3D-эффект слабый; двигаешься много — эффект есть, но всё по краям объектов размазано и плавает.

Графика опирается на карту глубины
Программе нужна корректная информация о расстоянии до каждой точки сцены. Игра не всегда её предоставляет, или предоставляет не всю. Прозрачные поверхности — вода, стекло, дым, огонь, листва — обычно не имеют детальной глубины, или движок её вообще не создаёт. В результате объекты оказываются на неверном расстоянии: вода прилипает не туда, дым двоится, частицы висят в воздухе в разных местах. Вдобавок не каждая игра выдаёт совместимый буфер глубины вообще — в одних он инвертирован, в других защищён и не читается.

Отражения и блики ломаются сильнее всего
Зеркала, вода, мокрый асфальт и металл определяются глубиной их собственной поверхности, а не отражённым в них изображением. Когда точка обзора смещается, отражение уезжает невесть куда. Если блик «нарисован» на поверхности, он ведёт себя не так, как должен в реальном мире. Именно самый яркий глянцевый контент выглядит в стерео плоско и неправильно.

Интерфейс, прицел и HUD
Двумерные элементы поверх кадра — полоски здоровья, меню, прицел — рисуются на нулевой глубине, поэтому после обработки оказываются на неверном стереорасстоянии. Интерфейс либо влипает в экран, либо болтается перед сценой. Прицел — отдельная головная боль; его положение по глубине почти всегда приходится подстраивать вручную.

Один кадр на оба глаза
Оба глаза видят одно и то же изображение, только сдвинутое. При честном стереорендеринге каждый глаз получает свои корректные блики, тени и преломления; здесь этого не будет. Из-за этого объекты выглядят как плоские слои, вырезанные из фанеры и расставленные по глубине, а не как объёмные тела. В англоязычных материалах этот эффект называется «cardboard cutout».

Настройка под каждую игру
Угол обзора, диапазон глубины и сведение задаются вручную для каждой игры отдельно. Промах даёт либо напряжение глаз от чрезмерного сведения, либо неверный масштаб, когда мир выглядит игрушечным или гигантским, либо вообще инвертированную глубину. Это решение «настрой и разберись», а не «установи и играй».

Задержка и неравномерные кадры
Игра рендерит кадры неравномерно, а клиент подгоняет их под стабильный fps дисплея путём повторения готовых кадров. Само повторение искажений не вносит, но задержка между действием и изображением накапливается: захват кадра, обработка, вывод. Для отслеживания головы любая такая задержка ощущается как «плавание» сцены. В Game Config есть параметр Frame Capture Delay, чтобы подстроить момент захвата.

Остаточные перекрёстные помехи и высокие требования к монитору
Программные методы — вставка черного кадра и режим 60/120/240 — подавляют двоение, но не устраняют его полностью, потому что перекрестные помехи определяются множеством факторов: физикой самой панели дисплея и очков. Это зависит от времени отклика пикселя, скорости переключения, контраста линз очков и вертикальной частоты развертки экрана. Кроме того, самый агрессивный режим требует быстрой панели на 240 Гц с коротким временем послесвечения пикселя, что есть не у каждого пользователя. В отличие от NVIDIA 3D Vision, ReShade не воспроизводит готовый объем, а синтезирует его из плоского кадра. Именно поэтому дыры по контурам, неправильные отражения и плавающие края — это устойчивые артефакты метода, а не временный недостаток.

Стереогеометрия здесь честная, и ни одного из артефактов синтеза изображения — раскрытия окклюзий, «картона», сломанных отражений — здесь нет. Но у этого метода тоже есть своя цена, и она другая.

Игра должна поддерживать VR
Это главное ограничение. Метод не работает с произвольной игрой: требуется либо встроенная поддержка VR, либо VR-мод. Если готового мода не существует, путь через OpenVR не сработает, и останется только ReShade со всеми его артефактами. Иными словами, широкая совместимость, ради которой существует первый путь, здесь полностью теряется.

Двойная нагрузка на видеокарту
Сцена действительно рендерится дважды, с двух камер. Здесь нет той экономии, которую дает репроекция одного вида: производительность падает так же, как в настоящем VR. Частично это компенсируется настройкой Resolution в VR Config — разрешение на глаз можно понизить, и WibbleWobble масштабирует изображение до разрешения дисплея.

Сложная установка
Необходимо установить SteamVR. Драйвер регистрируется через Install.bat с правами администратора, после чего в файл config\steamvr.vrsettings нужно вручную добавить две строки: "forcedDriver": "WibbleWobbleVR" и "activateMultipleDrivers": "true". Затем пройти Room Setup в режиме STANDING ONLY. Ошибка на любом шаге — и вместо стерео вы получите черный экран без внятного сообщения о причине.

Ограничения самого OpenVR
Некоторые настройки нельзя изменить на лету. Если вы меняете разрешение или частоту вывода, требуется перезапуск SteamVR. Это ограничение платформы, а не программы, но оно заметно замедляет настройку игр.

Оптимизация рендеринга ломает некоторые игры
В VR Config есть параметр Optimise Single Eye, позволяющий рендерить только один глаз или оба при половинном FOV. Автор проекта прямо предупреждает: режим «Both» — самый проблемный — возможны виньетирование и рассинхронизация глаз, а изображение может «съезжать». В некоторых играх оптимизацию придется отключить полностью.

Борьба за фокус окна
Некоторые игры не передают фокус интерфейсу WibbleWobble: комбинация клавиш SHIFT + END не срабатывает, или UI отрисовывается, но им нельзя управлять. Приходится переключаться вручную через ALT + TAB. Отдельная проблема: окно WibbleWobble нельзя закрывать — программа после этого не восстанавливается, и игру придется перезапускать.

Повторное центрирование при каждом запуске
Трекинг необходимо центрировать вручную (SHIFT + .) каждый раз при запуске, позиционируя точно по центру рабочей области перед экранами. Если голова не находилась там во время центрирования, репроекция начинает вести себя странно, и масштаб «уплывает». По собственному признанию автора, попасть в правильное положение требует практики. Впоследствии это можно исправить, используя более интеллектуальное программное обеспечение для трекинга.

Особенности отдельных приложений
Некоторые программы работают только с определёнными брендами шлемов. Для них в VR Config есть параметр Headset Identification, который заставляет WibbleWobble представляться другим устройством — например, Vive — без чего трекинг головы не работает в DEOVR. Иными словами, совместимость местами держится на подобных обходных путях.

Общее с первым путём
Всё, что касается аппаратного обеспечения, справедливо для обоих методов: остаточные перекрёстные помехи, требование к быстрой панели, необходимость точной синхронизации очков. Стереовыход, эмиттеры, BFI и CRT Sim работают одинаково независимо от того, откуда взялась стереопара.