2023年後半から2024年前半に出てきたVRというかMR機器の代表格と言えば、Meta Quest 3 と Apple Vision Pro でしょう。この2機種について掘り下げていきます。
Meta Quest 3
2023年10月10日発売の Meta Quest 3 です。Meta Quest 2 の後継機種であり、Meta Quest Pro の廉価版の位置付けになりますが、実質的に Meta Quest Pro の製造は中止となっており、Meta Quest 3 は現在一択の本命機種と言えます。その特徴を列挙すると、以下が挙げられます。
- パンケーキレンズによる薄型軽量化
- RGB カメラ搭載
- 深度センシング機構搭載
- 視線トラッキングなし
Meta Quest Pro とほぼ同じパンケーキレンズを搭載している模様で、Quest 2 と比較すると明らかに薄型化を実現しています。パンケーキレンズは、偏光レンズとハーフミラーを駆使して光路長を確保しつつレンズとディスプレイの距離を短縮する技術のため、光のロスが発生し画面が暗くなってしまう問題があります。これを補うためマイクロ OLED ではなく輝度が稼げる通常の液晶ディスプレイを採用しているそうです。このあたりは、こちらの記事を参照してください。（ついに発売となった「Meta Quest 3」徹底解説。液晶やレンズ，コントローラの秘密を明らかに［西川善司の3DGE］）
次にカメラですが、三つ目のうち左右の目の上側に2基の RGB カメラが搭載されており、ビデオパススルー用途に使われます。これにより、カラー画像による MR 表現が可能になり、今までと比べてリアリティが格段に向上しています。一方 IR カメラも4基（左右の目の下側とゴーグルの左右下部）搭載されており、ゴーグルとコントローラーの高精度トラッキングを実現しています。
深度センシング機構は、iFixit のビデオでは ToF (Time of Flight) センサーと言っていますが、先ほどの記事では深度プロジェクターと書いています。ランダムドットやメッシュ（網目）のようなパターン映像（模様）を赤外光で前方に投影するもので、Structured Light と言われたりします。なつかしの初代 Kinect が採用した方式ですね。さてどちらなのだろうとなりますが、どうやら後者のようで、こちら ( Meta Quest 3 Depth Sensor is actually an IR line projector! ) の映像のような Line を投影しているようです。コメント欄に原理的なものも書かれていますので、是非目を向けてみてください。この投影画像を IR カメラで撮影することにより、トラッキングだけでなく深度測定も行っているということですね。ただ、映像を見るかぎりプロジェクターすなわち光源は真ん中の目の下部のようなので、だとすると上部に見える穴は何なんだろうというのはナゾです…
Meta Quest 3 Depth Sensor is actually an IR line projector!
byu/nickburyak inOculusQuest
そして視線トラッキング機能はありません。Meta Quest Pro が視線トラッカーを搭載し深度センサーは搭載しなかったことと比べると真逆の方向性なわけですが、先行して2023年4月3日に発売されていた Vive XR Elite と同じ仕様であり、市場動向とコストバランスを見ながら柔軟かつ迅速に対応している姿がうかがえます。（一方で Vive 側は後付けでフェイストラッカーを発売しており、今までもさまざまな機能を用途に応じて追加できるようにしてきたViveのうまさも垣間見えますね）結局 Foveated Rendering はどちらもサポートされていないわけで、Fixed Foveated Rendering で十分という考え方なのか、今後の市場動向が気になるところです。
Apple Vision Pro
2024年2月2日発売の Apple Vision Pro です。Apple Glass 的なものを期待していた人も多くいた中、満を持して発表されました。ゴーグル的な見た目はともかくとして、Spatial Computing すなわち 3D 空間でコンピューターを操作し、それが生活の一部というかすべてになるようなコンセプトのベースシステムであり、ここから新しい世界が始まることを予感させます。
そんな Vision Pro の代表的な特徴としては、以下が挙げられます。
- パンケーキレンズによる薄型軽量化
- RGB カメラ搭載
- 深度センシング機構搭載
- TrueDepth camera 搭載
- 視線トラッキングあり
Vision Pro のパンケーキレンズは 3 Aspherical Elements で構成されています。これが画期的で、First insights about Apple Vision Pro optics によれば、通常平面で構成される QWP (Quarter Wave Plate) の曲面化に成功しているとのこと。Apple Vision Pro (Part 1) – What Apple Got Right Compared to The Meta Quest Pro によれば、偏光や反射による光のロスが削減されているため、micro-OLED の導入に成功しているということのようです。Vision Pro の分解 パート2: ディスプレイの解像度は？ にレンズ越しに格子模様が写っている写真がありますが、暗くはなっているもののたしかに顕著ではありませんね。
RGB カメラは2基搭載されており、カラー画像によるリアリティの高いMR用途のビデオパススルーが実現されています。一方 IR カメラ6基に加えて IR Illuminator が2基搭載されており、暗い場所でも高精度のトラッキングが可能となっています。このあたりのリッチさ加減は、Microsoft の Hololens を彷彿とさせるものがありますね。
次に深度センシング機構ですが、LiDAR Sensor が搭載されています。一般的な ToF と比べると周波数変調ができる分高価なシステムと言えます。類似の技術として TrueDepth camera が搭載されています。これはいわゆる初代 Kinect と同じ Structure Light を照射して IR カメラで撮影することによって比較的近距離の物体形状を計測するシステムで、Appleでは Face ID（3D顔識別）に使われています。このあたりはこちらの記事（Vision Proのカメラシステム解説【RGB、IR、LiDARカメラ】）が参考になります。
そして最後が視線トラッキングですが、高精度の視線トラッカーがサポートされています。通常視線トラッキングのための IR LED および IR camera はレンズ周辺に設置されますが、Vision Proではディスプレイの周辺に設置されています。そうなんです、IR LED の角膜反射を IR camera で撮影して視線推定を行いますが、これがすべてレンズ越しに行われているんです。カメラがレンズ越し（ハーフミラー越し）というのは薄型になる前はありましたが、LED もレンズ越しというのは珍しいです。まあたしかにレンズ周辺に設置するよりは撮影条件は良くなると思われますが、それがどれくらい精度に効くかは何とも言えません。それよりは IR camera が2基あることは精度向上に間違いなく寄与しそうですね。
Vision Proは操作に視線入力を使うので自然と視線トラッキングが必須になっていますが、もちろん Foveated Rendering もサポートされています。ディスプレイの解像度も半端ないレベルなので、ここまでくると必須なのかなとも思いますが、今後の市場動向から目が離せないですね。
なお、ここで転載させていただいている画像の多くは、WWDC 2023 – June 5 | Apple が出展元になっていますので、興味と時間がありましたら是非見てみてください。
さいごに
昨年末は PS VR2 と Meta Quest 3 がシェアを競ったと言われていますが、その後は両者とも思ったほど売り上げが伸びておらず、VR/MR 市場自体が落ち着いてしまっています。そこに切り込んできた Apple Vision Pro 。大変高価で研究用途という位置づけではありますが、アップルの世界観とそれへの作りこみは今まで他にはなかったものが散見され、さすがアップルと言わざるを得ません。
逆にその世界観は、Meta が目指すメタバース市場を独占していくものとは違う方向性とも言えますが、昨今の MR 機器向け OS に関する Meta の発表を見るに、アップルの首尾一貫した世界観を意識し、 Android 陣営は自分たちが押さえたいという表れは感じます。
一方ゲームという視点で見ると、アップルのトレイラー映像に見える Dual Sense（PS5コントローラー）には少なからず「お !?」という気持ちになりますね。Meta と Microsoft との連携に対する対抗的なものもあるのだろうとは思いますが、ゲーム以外でも Cloud 環境や生成 AI など互いに凌駕していかないといけない領域はいくつもあり、しかも技術力の高さだけで勝てるものでもなく、コンテンツ力や世界観の作りこみまで考えると、とても興味深い競争がこれから始まるのだという期待感が高まります。
メタバースブームは一旦落ち着いた様相ですが、水面下ではデジタルツイン技術の実用はものすごい勢いで進んでいますし、Web3 ベースのビジネスも粛々と幅を広げていると思われます。一日中 MR グラスを掛けて過ごす世界はまだ先ではありますが、そのための準備が少しずつ始まっていることを予感させる今日このごろです。
加えて最近の VR 機器は MR 用途を意識したものが出はじめてきており、今後は RGB カメラと深度センサー搭載が当たりまえになっていく傾向かも知れません。一方ディスプレイの高解像化につれて必須になると言われてきた Foveated Rendering は安価な VR 機器ではドロップする傾向が散見され、今後視線トラッキングのサポートはどうなっていくのか目が離せない状況です。