仮想現実（VR）と複合現実（MR）は今や専門的なトレーニングからゲームまで、ユーザーに新しく魅力的な体験を提供する新しいエンターテイメントのプラットフォームです。ほとんど全ての大企業がVRやMRの技術に注力し始めています。
2016年までに、VRに関連した商品を取り扱う企業は最低でも230社あります。Facebook社はVR開発に約400名の開発者を抱えています。Apple、Google、Microsoft、Amazon、Samsung、Sonyも全てVRと拡張現実に注力しているグループです。
2017年12月、Google社はVRとMRでの仮想体験を高めるために新しい取り組みを実施すると明らかにしました。彼らは低価格で素晴らしい視覚体験を提供できる人間の視覚認識の特性を利用したパイプラインを開発しました。それでは、このシステムがどのように動き、どれほど効率的なのか見ていきましょう。
最新のVR/MR技術
私達が今取り組んでいる根本的課題であるVR・MR技術は、実際の環境を表示するために必要な高解像度の画像を表示するには、高出力のレンダリングエンジンと伝送プロセスが必要になるということです。ほとんどのヘッドセットは表示解像度が不十分で、見える範囲が限られており、体験を低下させます。
高解像度のVR/MR機器を動かすためには、従来のレンダリングパイプラインは上位のモバイルプロセッサーが到達することのできないかなりのコンピューティング力が必要になります。すでに、何人もの研究者達が高解像度画像を表示する技術を提供しており、それらのディスプレイをより成長させようと挑戦し続けています。
更に、現在の限界はコンテンツの生成制限だけでなく、データの転送や遅延への対応、複合現実アプリでの実物との相互作用などにもあるかもしれません。
提唱されているパイプライン
このパイプラインでは、記憶帯域、レンダリングエンジン、ディスプレイモジュール機能を含む、システム全体の依存性を考慮しています。パイプラインは、
1.1ピクセルあたりの演算量を減らすことに重点を置いたフォビエートレンダリング
2.視覚人工物を軽減するフォビエート処理
3.1ピクセルあたらいの伝送ビット数を扱うフォビエート伝送
で構成されています。
フォビエートイメージングとは1つまたは複数の固着点に応じて画像の解像度を変化させるデジタル処理技術です。固着点は画像の高解像度エリアにあります。これからこのパイプラインの構成の3つの鍵となる三要素を紹介します。
フォビエートレンダリング
人間の脳は周辺視野に注意を払いません、フォビエートレンダリングはこの事実を利用しています。パフォーマンスを上げるため周辺視野の物体のビットデプスの解像度を下げます。
これを完璧に機能させるため、ハイアキュイティエリアは常に目のサッケード（2つ以上の固視の間で両目を同じ方向に素早く動かすこと）に合わせた視線の移動によて更新されなければなりません。反対に、視線の追跡がないシステムはより広いハイアキュイティエリアをレンダリングします。
従来のフォビエートの取組は、空間解像度のいくつかの領域にフレームバッファを分けていたかもしれません。 低い空間解像度をレンダリングする際に発生するエイリアシングは、頭を動かしたときや、新しく動いているコンテンツを見たときに、目立った人工物を引き起こせます。例えば、このGif動画は頭の動きに応じて作られた一時的な人工物を表示しています。
これらの人工物を減らすため、Googleの開発者達はは2つの異なる技術を提唱しました。
コンフォーマルレンダリング
コンフォーマルレンダリングにおいて、私たちは非線形のマッピングに基づいて、滑らかに変化する視力の解像度の低下に合わせて物体をレンダリングします。これには同じクオリティを保ちながら、アグレッシブ・フォビエーションを可能にする2つの利点があります。
・正確に視覚的忠実度を合わせることによって、画素計算の数を減らすことがきる
・滑らかに忠実度を下げることで、ユーザーがハイアキュイティとロウアキュイティの分かれ目をはっきりと見ることを防ぐ
場面の頂点を非線形空間へ歪ませることによって実行されます。そのとき、仮想場面はより少ない解像度でラスタライズされ、非線形空間でゆがみを解かれます。
フェーズアラインドレンダリング
フレームの頭の回転の代わりに、ロウアキュイティ領域は世界に対して回転的に配置されます（例えば、常に東、西、北などを向いています）。このエイリアシング人工物は、頭の位置が不変のため、検出しにくくなっています。アップサンプリングの後、これら領域の画素は頭の回転を補填するためにディスプレイに再投影されます。
この技術は視覚人工物の感度を減らしますが、同じ視力低下レベルを使用した従来のフォビエイションと比較して、かなりの計算コストがかかります。
フォビエイト画像処理
ヘッドマウントディスプレイでは、レンズの歪み補正や局所的なトーンマッピング、ライトブレンディングのようなレンダリングの後に画像処理を常に行う必要があります。フォビエイト画像処理では、異なる領域で異なるタスクが実行されます。
例えば、レンズの歪み補正は全てのスクリーンパーツにおいては同レベルの空間的精度は必要ないかもしれません。拡大する前にフォビエイト画像処理でレンズの歪み補正をすることによっていくつかの計算を省けます。このアプローチ方法は、目立つ人工物は作り出されません。
フォビエイト転送
ヘッドマウントディスプレイのパワー消費のメインの1つは、SoCからディスプレイへのデータ転送です。フォビエイト転送の目的は、帯域幅とディスプレイモジュールへ必要なデータを転送するパワーを余らすことです。
そのためには、基本的なブレンドやアップスケーリングの作業をディスプレイ側に転送し、フォビエイトされたレンダリング部分のみを転送する必要があります。ディスプレイはフォビエイト要素のために設計はされていないため、目線に合わせて動く焦点領域は、複雑さを増します、これにより一時的に目立った人工物が作り出されるかもしれません。
結論
提唱したパイプラインは疑うことなくモバイルハードウェでのVR/MR体験を高めてくれるでしょう。しかし、当面は研究結果に留まるでしょう。目線を追うヘッドセットなしでは、まだこれからの技術です。
私達はこの研究の実り多い結果はしばらく得られないかもしれませんが、Googleが長期的な視野に立ってリソースを投入していることは、とても期待できます。アイトラッキング技術を搭載したヘッドマウントデバイスが登場するのは時間の問題であり、ソフトウェアがハードウェアを活用するのを待つのではなく、登場したらすぐに活用できればよいと思います。
おすすめ新着記事
おすすめタグ