VRではトラッキング方式と密接に関わるシステム構成として、Outside-InとInside-Outがあります。第2回の今回は、VRヘッドセット側にカメラが搭載され、外界を観測することによりVRヘッドセットのトラッキングを行うInside-Out方式について勉強します。
はじめに
前回（Outside-InとInside-Out その1）はOutside-Inの説明で終わってしまったので、今回はそのつづき。Inside-Outを解説します。まずことばの定義のおさらいから。
ことばの定義
Outside-In
Outside-Inは外側から内を観測するという意味合いで、すなわち外の空間側にカメラが設置され、VRヘッドセットを観測することによりVRヘッドセットのトラッキングを行う方式になります。
Inside-Out
逆にInside-Outというのは内側から外を観測するという意味合いで、すなわちVRヘッドセット側にカメラが搭載され、外界を観測することによりVRヘッドセットのトラッキングを行う方式になります。比較的新しい方式と言えます。
それでは詳細に入って行きます。
Inside-Out
繰り返しになりますが、Inside-OutはVRヘッドセット側にカメラが搭載され、外界を観測することによりVRヘッドセットのトラッキングを行う方式です。
代表的な機器として、Oculus Quest 2, Oculus Rift S, HTC Vive Cosmos Elite, HTC Vive Focus Plusがあげられます。
カメラの数やその配置は各様ではありますが、
- VRヘッドセット側に搭載されたカメラで外界を観測し、何らかの手段によりVRヘッドセットの動き（位置と向き）を高速高精度に推定する
- コントローラーのトラッキングを行う
このふたつの機能が最低限満たされる必要があります。今回はトラッキング技術の詳細には踏み込みませんが、概要を押さえておきましょう。
ヘッドセットのトラッキング
VRヘッドセットに搭載されたカメラは、ユーザーの周辺環境を映し出します。当然ユーザーが頭を動かせばカメラ映像も動きますから、カメラ映像側の動きを割り出せれば、VRヘッドセットの動きを逆算できます。これを実現する代表的な技術として、SLAM (Simultaneous Localization and Mapping) があります。
移動物体にカメラを搭載し、そのカメラ映像の動きから移動物体の動きを推定し、同時に周辺環境の3Dマップを再構成する技術のことをSLAMと言います。詳細はこちらのSLAMとは? – これだけは知っておきたい3つの …という記事などを参照されると良いと思いますが、わかりやすい例としては、お掃除ロボットがあげられます。
ではこの技術がどのように利用されるかを簡単に言ってしまうと、カメラ映像の中に目印をつけて、その動きを追跡するわけです。具体的には画像特徴点や画像全体の輝度分布を用いて、その動きを追跡することによりカメラの動きを逆算します。
単眼カメラひとつでも、カメラが動くことによって周辺環境の奥ゆき情報が得られ、3Dマップを再構成できます。通常VRヘッドセットには2基以上のカメラが搭載されていますので、複数映像の整合性をとることによってもトラッキング精度を上げることが可能になります。
特徴点や輝度分布に乏しい単色の壁に囲まれた何もない部屋だと、トラッキング精度を確保するのが難しくなる可能性が高まります。急にVRの世界がガクガクし出すようなことが起こるかも知れません。そんなときは、めざまし時計のような特徴点が豊富なものを置いてあげると、ガクガクが軽減されるかも知れません。
実際には高速に首を振ったときのVRヘッドセットの動きをカメラ映像のみから追跡推定することは厳しいため、IMU (Inertial Measurement Unit – 慣性センサー群) も搭載され、補完的に利用されるのが普通です。（6DoFと言いますが、これについては別の回で説明します）上記のような特徴点や輝度分布に乏しい空間でも、トラッキング精度が著しく劣化しないような補完的工夫、すなわち合わせ技による安定化が各社なされているはずです。
コントローラーのトラッキング
もうひとつのトラッキング対象が、手に持つコントローラーです。ほとんどの機種では、VRヘッドセットに搭載されたカメラ映像からコントローラーをトラッキングしています。特徴としては、以下の2点が挙げられます。
- 手の可動範囲をできる限りカバーするため、VRヘッドセットの上下左右面にもカメラが配置される
- トラッキングを容易にするため、光源を有し、ユニークに配置される
それでは代表的な機種の外観を見ながら、理解を深めて行きましょう。
Oculus Quest 2
こちらの「Oculus Quest 2」レビューという記事を見てわかる通り、前面の四隅にカメラが装備されています。正面にカメラを配置していないのが大きな特徴ですが、少ないカメラで手の可動範囲をできる限りカバーすることを追求した形と言えます。
Touchコントローラーも新しくなりました。Oculus Rift SってどんなVRヘッドセット …という記事が参考になりますが、以前は輪っかが外に向いていたのですが、これが内向きになりました。つまり、以前はカメラが外界にあったため外向きでしたが、今回はヘッドセット側を向くように変更されたというわけです。
輪っかに並べられた光源は以前と同じ赤外線LEDですので、VRヘッドセットに搭載されたカメラは赤外線カメラになります。なので、カメラ映像をヘッドセットのディスプレイに投影（この状態をVideo See-throughと言います）したときの映像は白黒になります。
PC接続なしで動作するスタンドアローン型なので、ヘッドセットやコントローラーのトラッキングも、VRヘッドセット上のプロセッサーですべて処理されています。ケーブルがなくなったので、事実上プレイエリアは無限大になりました。（実際には安全のために、ユーザーはプレイエリアを定義し、境界に近づくとガーディアンと呼ばれるメッシュが表示され、ユーザーに危険を知らせます。また、バッテリーパックはお高目だったり、Oculus Link機能を使う際はUSBケーブル制限があったりはします。非公式にはワイヤレス接続も不可能ではないようですが。）
Oculus Rift S
こちらの記事（「Oculus Rift S」レビュー）がわかりやすいですが、前面2基、側面左右1基ずつ、上面1基、合計5基のカメラが装備されています。側面のカメラ2基が若干下を向いていることにより、下面をカバーしていると考えられます。
また、コントローラーはQuest 2と同じTouchコントローラーです。よってカメラは赤外線カメラということになります。
PC接続が前提のシステムなので、ケーブル長にプレイエリアは制限されますが、スタンドアローン型とくらべると、計算資源の制限は大幅に緩和されますので、さまざまな意味で安定したVRの世界を提供できると言えます。
Quest 2はリソース制限は大きいけどケーブルはないので快適でどこまでも歩いて行ける、Rift Sはケーブルでプレイエリアが制限されるけど豊富な計算資源で安定したVRプレイが期待できる。どちらも一長一短な部分を感じざるを得ませんが、どちらも進化の途中の形ということなのでしょう。
HTC Vive Cosmos
こちらの記事（HTC VIVE COSMOS フォトレビュー）がよくわかりますが、前面の正面に2基、上下に1基ずつ、側面左右1基ずつ、合計6基のカメラが搭載されています。素直で理にかなった、そしてリッチな構成になっています。
コントローラーもかなり変わって、Touchととても良く似た形ですね。可視光白色に光りますので、カメラは通常の可視光カメラであることがわかります。Video See-through時にカラー映像を提供できるのは利点ですね。SRWorks SDKを使うと、素敵なMRアプリケーションが開発できそうです。
PC接続前提ですのでやはりケーブル制限がありますが、ベースステーションの設置が不要なのでセットアップは楽になりました。
HTC Focus Plus
こちらのVive Pro EyeとVive Focus Plusで視線探査とストリーミング …という記事の下の方にまとまった試遊記事がありますが、カメラは全面2基のみです。SLAMベースのヘッドセットトラッキングには十分と考えられますが、コントローラーは簡単に見失ってしまいそうですね。
そうなんです。コントローラーのトラッキングはカメラベースではなく、超音波ベースの技術（TDK製）を採用しているんです。この利点は、オクルージョンに強いことがあげられ、コントローラーを背中側に持って行っても精度のよいトラッキングが持続します。（反射や干渉といった影響はあるようですが）
そしてもうひとつの驚きは、スタンドアローン型にも関わらずPC接続が前提であること、言い換えるとPC接続前提なのにケーブルがないことです。VIVEPORT streamingという機能により、WiFi接続ベースでPCから転送されたVR映像を表示します。これは画期的ですが、よーく考えてみると、どこで何をやっているのかとても気になります。
VRヘッドセットの位置姿勢の推定とコントローラの位置姿勢の検出は、恐らくヘッドセット側のプロセッサー（Questと同じもの）で処理されてます。その情報を瞬時にPC側へ転送し、その位置姿勢情報に基づいてPCは次のフレームの映像をつくりヘッドセット側へ転送、VRディスプレイに表示されるというわけです。
遅延が大丈夫なのか気になりますね。アプリケーションによってはフレームのレンダリングに100 msecとか要しますから、そのまま出力するとすぐに酔ってしまいそうです。
もしかしたら、VRディスプレイに表示する最終段で、最新の位置姿勢情報に基づいた微調整が、ヘッドセット側のプロセッサーで閉じて行われているのかも知れません。このあたりの微調整技術については、グラフィックスの回で解説したいと思います。
Magic Leap One
Magic Leap Oneでは、コントローラーのトラッキングに磁気フィールドが用いられています。超音波同様オクルージョンに強いことがあげられます。（金属の影響を受けやすいというのはありますが）NEOSIDの3D Cube AntennaをHMDとコントローラの双方に持つことにより、6DFセンシングを可能にしました。
このあたりは用途とコストのバランスもあり、各社各様ですね。
おわりに
今回は、今後主流になっていくであろうInside-Out方式について解説しました。
現状各社そして各機種各様のアプローチの様相ですが、価格的なメリットからか、販売台数的にはOculus Quest系がダントツと言って良いでしょう。
そして、先日開発が進行中であることが発表されたPS VRの後継機種も、恐らくInside-Out方式が採用されていることが予想されます。
スタンドアローン型なのか、PC接続型なのか、その中庸を目指すのか、価格戦略を含めて戦国時代さながらの状況ではありますが、手軽さ、快適さ、楽しさのバランスが重要と言えますね。今後もVR市場の動向から目が離せません !
追記
2023年6月現在、HTC Vive Flow, Meta Quest Pro, PICO 4, PS VR2, HTC Vive XR Elite などが発売されましたが、そのすべての機種が Inside-Out 方式となっています。Meta Quest Proではコントローラー側にもカメラが搭載されたりと、さまざまな進化が見られています。2021年後半から2023年前半に出てきたVR HMDたち など、是非最近の記事も参照してください。