VR･AR機器の構造について、第4回の今回は、実際のAR機器の中身を見ながら理解を深めていきます。代表的な機器として、Hololensシリーズ、Magic Leapシリーズ、NrealLight あらため XrealLightを見ていきます。
はじめに
前回は、以下に示すようなAR機器の構造の着目ポイントについて説明しました。
- Video See-through
- Optical See-through
- HOE Combiner
- Optical Waveguide Combiner
今回はARゴーグルを見て行きますので、オプティカルシースルーが前提の機器になりますが、コンバイナーに注目しながら、マイクロディスプレイまわりやカメラまわりにも注意していきましょう。
また、第1回で紹介した視線トラッキングやコントローラーなどにも触れて行きます。
それでは実際のAR機器の中身を見ながら理解を深めていきましょう。機器の中身は、修理の記事で有名な iFixitのTeardownサイトと最先端技術の比較調査に詳しいKGOnTechなどで確認していきます。
代表的なAR機器の構造
Hololens
まずHololensですが、Microsoftのサイト（HoloLens (第1世代) のハードウェア）に結構記述されています。
また、こちらの記事（MicrosoftのARヘッドセット「HoloLens」をバラバラ分解…）もとてもわかりやすいと思います。
特徴をまとめてみますね。
ヘッドバンドは独特ですね。内側と外側の2重構造になっていて頭に固定する部分とHMD部分がシーソーみたいになっています。バランスが取れていれば良い構造だと思いますが、HMD部分が重いために鼻で支えることになって痛くなるという問題が指摘されていました。
一方センサー類ですが、IMU (Inertial Measurement Unit : 慣性センサーユニット) 、環境認識カメラ4基、IRエミッター4基、デプスカメラ用エミッター、デプスカメラとRGBカメラという構成になっており、空間理解と自己トラッキングを行います。正直センサーてんこ盛りですね !
メインのディスプレイシステムですが、額の前あたりにプロジェクションシステムがあり、そこからオプティカルウェイブガイドにより水平方向に広げたあと垂直方向に広げて映像が見える位置の範囲を広げ、グレーティング素子によって目へ向けて光を射出します。
このあたりはAR/MR Combiners Part 2 – Hololensが詳しいです。あとはこのPatentとかですね。
FOV（対角線視野角で34度）が狭いことやAR映像が薄い（くっきり見えない）ことがあげられたりはしましたが、これだけのシステムが世に出て実際に動作したときのインパクトは相当大きかったですね。
Magic Leap One
次にMagic Leap Oneです。Magic Leap One Teardownでとても詳しく取り上げられていますので、よく見てみましょう。
外見が眼鏡タイプで、他のVR･AR機器とは一線を画するフォルムです。重量も軽くだからこそできたこの形状は、近未来のARグラスへの期待感を高めます。
Step 8にも写真がありますが、簡単に装着できる印象的なヘッドバンド。これはHMD全体が軽いからできる技ですが、シンプルかつ機能的に必要十分と思われます。
光学系を見てみると、Step 9, 10にあるのがLCOSマイクロディスプレイです。Step 15にもある通り、RGBのLED光源が2セットあります。
一方Step 5の写真にあるのがdiffractive（回折）ウェイブガイドで、LCOSマイクロディスプレイからの映像を運んできて目に射出します。基本的な構造はhololensに類するものと思われますが、実はこのウェイブガイドは6枚構成になっていて、先ほどRGB光源が2セットありましたが、それに相対してRGB用のウェイブガイドが2セット合計6枚あるわけです。
これはLight Field表現のための技術で、近くを見ているときは遠くがぼやける、遠くを見ているときは近くがぼやける、というのを表現するためのしくみです。現状はbifocalすなわち2焦点表現に留まっていますが、varifocalすなわち多焦点表現を目指すものと思われます。
実際ディスプレイ（この場合はウェイブガイドコンバイナー）が2枚あると様々な表現ができるのは事実で、このYouTubeビデオ（Light Field Technology: the Future of VR and 3D Displays）でも2枚のディスプレイがあれば任意のライトフィールド表現ができるとうたっています。（が、実際には難しかったため、現状bifocalに留まっているということなのでしょう）
いずれにしても、multi-focal（複数焦点）を実現するためには、ユーザーがどの距離を見ているかの情報が必要で、そのために視線トラッキング機能が入っています。Step 14に4つのIR LEDとカメラが見えますね。これを利用してユーザーの視線を推定し、その距離に応じて表示する画を切り替えて使用します。残念ながら現状は2焦点ではありますが。
さてセンサー類も見ておきましょう。Step 12, 13にありますが、IMU、環境認識カメラ4基、IRエミッター2基、デプスカメラ用エミッターとデプスカメラから構成されます。こちらもHololensと似ていますね。これらのセンサー類を駆使して環境認識と自分の動きの推定を行います。
Magic Leap Oneではとても特徴的なコントローラーが採用されているので見ておきましょう。
Step 7にあるのがそのトラッキングシステムになります。わかりますか ? 2枚目の写真のK2とかかれているもの、そして3枚目の写真のコントローラーの中央に、コイルが見えます。3軸のコイルによってmagnetic field（磁気信号）を検出することによる6DoF (degree of freedom) のトラッキングシステムです。
3DoF / 6DoFについてはトラッキングの回で詳しく触れる予定ですが、3DoFは姿勢のみ、6DoFは位置と姿勢をトラッキングできることを指します。
ARゴーグルの前面や側面に多くのカメラが搭載されていますので、それらを利用してトラッキングすることも可能ですが、手の位置によってはどうしてもオクルージョン（手前のものにさえぎられて見えなくなる状態のこと）が発生してしまいます。
その点磁気信号はオクルージョン耐性が強く、広範囲をカバーできるという利点があります。（磁石や電子レンジの影響は受けやすいですが）
FOVはMagic Leap One – FOV and Tunnel Visionによると、水平方向40度、垂直方向30度ということで、対角線視野角は50度程度とのこと。Hololensよりは広い視野角を確保しましたが…
当初Googleなどから巨額の出資を得、謎に包まれていたMagic Leapですが、ふたを開けてみたらHololensとほぼ同じということで、かなり盛り下がった様相は否めません。
しかし日本ではNTTドコモが出資していたり、次に期待する動きもあります。実際眼鏡に近いフォルムと軽量化は実現できたわけで、Magic Leapの第2世代モデルが出てくる噂もあり、グッディーは密かに期待していたりします。
Hololens 2
お次はHololens 2です。Microsoftのサイト（HoloLens 2 のハードウェア）にも説明がありますが、外観という意味ではこちらの書面（HoloLens 2 First Steps – ホロラボ）がとてもわかりやすいと思います。
この動画はかなりマニアックですが中身が見える貴重な映像です。（音声が非常に小さいので要注意 !）
ヘッドバンドは随分変わりましたね。こちらの翻訳記事（Microsoft HoloLens 2 デザイン秘話）によると、Hololens 2は初代Hololensよりもわずか13g軽いだけですが、快適さは3倍になったと語ってますね。実際後頭部にプロセッサーボックスを持ってくることによってバランスが良くなったためか、鼻で支える機構はなくなりました。
センサー類はHololensと同等で、IMU 、環境認識カメラ4基、デプスカメラ (TOF sensor) とRGBカメラという構成です。
加えてHololens2では視線トラッキングが導入されたため、赤外線LEDとカメラが装備されています。黒枠上にIR LEDがぐるりと配置され、鼻近くにあるIR Cameraで角膜反射点の動きを観測することにより、視線を推定します。また、Microsoftのこちらのページに視線追跡の使い方が書かれています。
最後にディスプレイシステムですが、LCOSではなくMEMSディスプレイというものが導入されました。Teardown Shows Microvision Inside Hololens 2にとても詳しく記述されていますので、写真だけでも眺めてみましょう。
MEMSミラーが2基導入されて、1基はFast Mirrorと呼ばれ水平方向に振動してRGBビームを拡散し水平方向の画を作ります。もう1基はSlow Mirrorと呼ばれ垂直方向に振動して拡散し、先ほど作られた水平方向の画を縦方向に並べることによって、1枚画が作られます。要はRGBレーザー走査により描画します。
液晶を使わないディスプレイは新しい試みですが、明るいくっきりした画像提示のための試みと思われます。HoloLens 2の全貌を徹底解説。日本MSのカンファレンスをレポートにも、ディスプレイまわりの解説やコントラストの改善に触れられています。
レーザー走査後段のオプティカルウェイブガイド部分はHololensと類似の構成ですが、FOVの確保のため、今回は片目ごとにディスプレイの両側にウェイブガイドを左右展開することによって、2倍のFOVを獲得し、対角線視野角52度を実現しています。
Hololens 2 Display Evaluation (Part 4: LBS Optics)のFig. 13, 14, 16やその上の写真にこのあたりの詳細が書かれていますので、是非ご参照ください。
初代Hololensと比較して解像感が劣っているというような記事（Hololens 2 Display Evaluation (Part 2: Comparison to Hololens 1)）もありますが、改善された点も数多くあり、そして何よりもものすごい最先端の技術が高精度で凝縮した機器だと思います。
最後にMicrosoftのAlex KipmanさんがETH Zurichで講演した動画をご紹介します。Hololens 2の要素技術を大学生にわかりやすく説明していますので、是非見てみてください。
XrealLight
次にNrealLight あらため XrealLightをご紹介しましょう。
分解記事も出てきてますね。KGOnTechが出しているものは大変詳しいです。
OLEDに描画された映像を偏光ミラーで1回反射してからコンバイナーに照射することによって、ここまでの薄型化が可能になったということですね。
KDDIのARグラス「NrealLight」を体験、Androidアプリがそのまま動く！に比較的詳しいレビューがありますが、環境観測用のモノクロカメラが左右に2基と中央付近にRGBカメラが搭載されており、6DoFのトラッキングが可能になっています。
もう少し詳しく知りたい人は、こちらの動画を見てみて下さい。Augmented World Expo 2019でのNrealLightの体験＆インタビュー映像や機能の詳しい説明があります。
これによると、両側2基のカメラはSLAM用のモノクロームカメラ、中央の1基は撮影やハンドトラッキング用のRGBカメラと説明しています。もう1基何か見えますが、TOFなどの正式な深度センサーは搭載されていないということなので、IR dot projectorではなさそうです。しかしモノクロームカメラが赤外線カメラである可能性を考えると、IR stroberかも知れませんね。
また、マイクロディスプレイは上部に下向きに配置され、光線は一旦下部のビームスプリッターで前面（45度）に向けて反射され、コンバイナーに照射されるとのこと。KGOnTechに光学系（Birdbath Optical Designとうたっています）の図がありますが、シンプルな構造でもここまでコンパクトに纏められたということですね（Birdbathはまだまだ分厚いとも言っていますが）。
また、近接センサーもしっかり搭載されています。
それで税込み7万円を切るの !? どういうこと ? となりますが、どうやらスマートフォンに接続することが前提、しかも対応機種はハイエンドな5Gスマートフォンのみとなっています。USB Type-C接続です。
つまり高度な演算はハイエンドなスマートフォン側なんですね。価格面は少し納得しました。また、スマートフォンの代わりになるコンピューティングユニットやコントローラーが同梱されたKitがあるようです。
でも、ハイエンドなPCではなくスマートフォンでリアルタイムに6DoFのトラッキングを行いAR画像を表示できるというのも、それはそれでスゴイ気がします。しかも完全に眼鏡タイプで圧倒的に軽量ですし。
こちらの記事（… HoloLens 2、Magic Leap 1、NrealLightの特長は？）によると、FOVも対角線方向に52度ということでHololens 2と同等ですね。近未来を感じさせるARグラスと言えます。
Magic Leap 2
最後に昨年発売されたMagic Leap 2をご紹介します。
こちらにもわかりやすい動画がありますね。
何が目玉なのかを探ってみると、もちろん解像度やFOVが上がり、重量はさらなる軽量化がなされたようですが、こちらの記事からたどってみた限りでは、偏光膜を駆使してLCOS周辺の光学系を小型化しましたということのようです。たしかに前機種と比較すると分厚さ的なものが軽減されているのは一目瞭然ですね。
この時点ではまだ発売前で情報が薄いのでどうしても外観に目が行ってしまいますが、ヒョロヒョロと伸びたヘッドストラップや平面的なグラスなど、デザイン性がちょっと ? な気もします。が重要なのは使い勝手ですから、試用レビュー記事を待ちたいところです。
これ以外にも
Metaから新しいVRグラスの発表（日本語記事はこちら）があったり、Microsoftから新しいARグラスの発表（日本語記事はこちら）があったりと、各社戦々恐々とした状況で目が離せません。
また、ユニバーサルスタジオジャパンのスーパー・ニンテンドー・ワールドのマリオカート ～クッパの挑戦状～も話題のアトラクションですね。動画を見るかぎり、額のところに比較的大きなディスプレイが2枚あってバイザーのHOEコンバイナーに反射させるタイプのARゴーグルのようです。
こちらの記事（AR Longan Vision AR for First Responders (CES – AR/VR/MR 2023 Pt. 5)）も参考になるかも知れません。
おわりに
今回は、代表的なAR機器の構造について勉強しました。
AR機器の機能で重要なのはディスプレイすなわちコンバイナー部分ですので、HOEやOptical Waveguideについてはしっかり押さえておきましょう。
また描画部分も、LCOSマイクロディスプレイが主流であったところから、レーザー走査型やOLED直接反射型も出てきて、面白くなってきましたね。進化という意味でまさに今が旬のデバイスと言え、これからも目が離せないですね。
ということで、VR･AR機器の構造について全4回勉強しました。結構面白かったでしょ !? 今後はトラッキングやグラフィックスについても解説して行きますので、これからもお楽しみに !