今まで集中的にVR元年以降のVR･AR機器の構造や技術について触れてきましたが、ここで原点に立ち戻ります。前回はVR･ARの歴史について勉強しました。今回はVRとは ? ARとは ? です。
はじめに
まず典型的なVRコンテンツを見てみましょう。これはCGベースの360度動画ですが、非常によくできていますよね。3DoFなので回転系の動きにしか反応しませんが、現実と見まごうCG（キャストの配役はありますが、人だけ合成 ?）のクオリティは大変高く、巨大化したエイリアンの迫力も去ることながら、最後の小さなエイリアンには可愛さを超えて愛おしさすら感じますね。（いろいろな視点で何度も見ないとストーリーが理解できないかも知れません）
このような映像は今やスマートフォンで楽しむことができます。シンプルなVR機器を検索すると、例えばこのように出て来ます。段ボールでできたものなど数百円とお安いものも多数ありますから、VRを手軽に楽しみたい方にはおすすめです。
見てみるととてもシンプルな構造ですよね。双眼のレンズがあって、仕切りがあって、レンズから一定の距離に双眼の画が表示されるディスプレイがあるだけです。とてもシンプルですが、回転方向のトラッキングはできて、360度動画などを見る分には十分に楽しめるものです。折りたためるものもありますが意外と高機能で、レンズとディスプレイの間の距離を変えられたり、レンズとレンズの間の距離も変えられたりします。
一方典型的なARというと、たとえばこの動画のようなものがあげられます。一昔前はテキスト情報の重畳の傾向が強かったですが、だんだんとCGベースのARオブジェクトがリッチになり、そして複雑なインタラクションも可能になってきています。
VRとは ? ARとは ?
では、VRやARの定義について考えてみましょう。
VR
VRはVirtual Realityの略で、日本語では仮想現実と訳されることが多いですが、基本的には双眼の画が全てComputer Graphics (CG)で作られたものを指します。人工現実などとも言われますが、そのあたりは後ほど深く触れましょう。
CGと言いましたが、実際には現実世界を360度カメラで撮影した映像を再生する360度動画も含まれます。また、Head Mounted Display (HMD) の前面にカメラが装備され、現実世界をカメラ映像としてリアルタイムに映写するいわゆるVideo See-throughが可能なVR機器も増えてきています。
つまりVideo See-throughした映像にARオブジェクトを重畳することによってAR的な用途も可能になっているわけですが、基本的に視野全域がディスプレイに覆われ、ディスプレイに提示されたものが視覚刺激のすべてとなる機器がVR機器と言ってよいでしょう。VR HMD、VRヘッドセット、VRゴーグル等さまざまな呼び方がありますが、ここではVRヘッドセットという言葉を主に使って行きます。ただし、眼鏡型のVR機器も出てきていますので、その場合はVRグラスという言葉を使いたいと思います。
AR
一方ARはAugmented Realityの略で、日本語では拡張現実と訳されますが、一般にはリアルタイムの現実世界にテキスト情報やシンプルなCGを重畳したものを指します。スマートフォンやタブレットからARグラスと言われるものまで対象が広範囲におよびます。
ただし、スマートフォンやタブレットを陽にAR機器と呼ぶ場面は少なく、ARアプリやARサービスによるAR用途が可能な機器という位置づけです。基本的にはカメラで撮影した現実世界にテキスト情報やCGオブジェクトをオーバーレイしてディスプレイに表示します。
現時点では、AR機器と呼ぶ場合はOptical See-through型の機器を指すと言ってよいでしょう。前面の透明なバイザー上にコンバイナーと呼ばれる偏光ミラー (Holographic Optical Element Combiner) や回折格子 (Optical Waveguide Combiner) を設置して、コンバイナー上にテキスト情報やCGオブジェクトを表示することによって、透過的にSee-throughで見えている現実世界の上にARオブジェクトを重畳します。
メジャーなAR機器としてMETA, Hololens, Magic Leap, NrealLightなどが挙げられますが、形状としてゴーグルに近いものと眼鏡に近いものに大別されます。ここでは前者をARゴーグル、後者をARグラスと呼ぶことにします。
MR
最後にMRです。これはMixed Realityの略で、日本語では複合現実と訳されます。リアルタイムの現実世界に、それとは見分けがつかないほどクオリティの高いCGによるデコレーションが行われた世界のことを指します。
と説明すると、VFXやCGを多用した映画レベルのクオリティの世界を思い浮かべると思いますが、それをリアルタイムに処理できる汎用機器は現時点ではないと言ってよいでしょう。またOptical See-throughでは重畳されるARオブジェクトが半透明に透けてしまったり、ARオブジェクトを投影するコンバイナーの位置が固定であることからLight Field的に矛盾すること、FOVがVR機器の半分程度に留まっていることなど、現実と見分けがつかないレベルにはまだまだ到達していないと言えます。
それに反してと言っては言い過ぎかも知れませんが、そもそもMicrosoftは特にHololens 2をMR機器としてアピールしていることもあり、Hololens 2やMagic Leap Oneの世界観というのは昨今MRに括られる場合も多く見受けられます。どっちなの ? と聞きたくなりますが、これはMRが機能よりもクオリティで説明されているために、ARとMRの境界が曖昧であることが一要因です。
また、HololensやMagic Leapの性能に合わせて、あえてMRに必要な機能を再定義することも簡単ではないと感じます。強いて言えば「デプスセンサーによって現実世界のオブジェクトの位置や形状を正確に把握し（いわゆる環境認識）、正確に重畳配置されたARオブジェクトを通じて現実的なインタラクションがリアルタイムに可能なARゴーグル」とすれば確かに現状ではHololensとMagic Leapに絞られてくる気はします。しかし昨今のAIの発展からカメラ画像によるフロアー認識やオブジェクト認識、深度推定の精度も上がってきていますので、デプスセンサーありきの環境認識とも言えなくなってきており、MR機器の裾野は広がる傾向と言えます。
ここで、VR/AR/MRに関する説明動画がありますので、見てみましょう。
映像が美しく、非常によくできた動画です。依然としてARとMRの違いを明確に述べられていませんが、先に指摘したように、そこには現実世界を「正確に」把握し、その情報に基づいて「適切に」ARオブジェクトを配置し、さらに物理的に現実的なあるいは直感的なインタラクションが可能であることが含まれているように感じました。
最初のMR機器は何だ、というのは民間人で誰が最初に宇宙に行ったか、という歴史的事実と同じくらい重要なのかも知れませんが、次にはどこからが宇宙か、距離は ? 滞在時間は ? という押し問答にもなりかねないですし、現時点では定義が曖昧であると感じられることから、ここではこれらの機器もAR機器として括り話しを進めます。
ただし、今一番「現実と見まごうほどの」MRに近いAR機器はと聞かれたら、Hololens 2と答えるでしょう。
そしてApple Eventではいよいよという雰囲気が出てきたApple Glass、リーク情報も豊富でコンセプト映像を見るとMicrosoftに匹敵するものをよりスタイリッシュに見せているイメージを持ちますが、コンセプトはコンセプトですからね。そこでは “Apple AR Smart Glasses” という言い方とともに、”AR&VR Mixed Reality” という言葉も聞こえてきているので、楽しみに待ちましょう。
少し脱線しましたが、先の動画のとおり、VR/AR/MRを総称してXRと言います。このXはもちろんV/A/Mという複数の文字を含んでいる、という意味もありますが、eXtended（これも日本語だと「拡張した」という訳になりますが）のXでもあることは知っておきましょう。
番外編
番外編としてここでは、Diminished Reality (DR) とSubstitutional Reality (SR) を紹介します。
DRは減損現実と日本語訳される技術で、現実世界から引き算をするものです。例えばリビングルームの画像からソファーを取り去る、とかそういったことを指します。VR系の学会でもポツポツ論文を見かけます。
もちろんオブジェクトを取り去るとどうなるというのもありますが、さらに別のものに置き換えるとどうなると言った用途が考えられます。
一方SRは代替現実と呼ばれるもので、理化学研究所が2012年にScientific Reportに発表した論文が最初だと思われるのですが、現実の映像世界からシームレスに過去の映像世界に導くものでした。すなわち時間的な代替えですね。
ところがCHI 2015でのUKの研究者の論文では、勉強部屋を居酒屋に替えると言ったような、現実世界と同じ配置で全く違うVRの世界を見せる、いわゆる物理的な代替えをSRと扱っています。
ここではこれ以上深堀りはしませんが、これらも含めてXRと言う場合もありますので、言葉としてはこういった技術もあるということを知っておいて下さい。
Virtualとは ?
これもよく議論になるネタなのですが、Virtualという言葉の定義について軽く触れておきます。
Realが「（想像・空想でなく）現実の、実際の、実在する、真に迫った、まったくの」という意味であるのに対して、Virtualは「にせものや作りもの」的な意味に捉えがちですが、そうではありません。辞書的にはVirtualは「（表面または名目上はそうでないが）事実上の、実質上の、実際(上)の、虚像の」となっており、見た目はリアルではないが機能的には実物と同様に機能するもの、のことを指します。
ではなぜ仮想現実と言うのかについては、バーチャルメモリーを仮想メモリと訳したことに端を発する負の遺産と言う人もいます。辞書的には仮想は「実際にはない事物を、仮にあるものとして考えてみること」ですので、確かにずれている感じはしますね。一方バーチャルマネーは仮想通貨で通っていますし、仮想という言葉がバーチャル的な意味を持つようになったと考えても良いとは思いますが、ここでは英語のまま「バーチャルリアリティ」あるいは「VR」という言葉を使って行きます。ただ、Virtualという言葉は日本語の特定の単語には括れないニュアンスを含んでいる、ということは押さえておきましょう。
VRの指標
ここで、VRに必要な品質について考えてみましょう。
まず思い浮かぶのは、「静的な現実感」的なものですね。空間が違和感のない3次元空間であり、その中に自分の存在を感じることができること、でしょうか。現実感、存在感、没入感、臨場感と言ったものが含まれると考えられます。
次に思い浮かぶのは、「動的な現実感」的なもの、すなわちその空間内で自然に行動できること、でしょうか。インタラクションやコミュニケーションと言ったものが直接的に含まれ、結果没入感や臨場感にも影響を与えると考えられます。
このあたりまでは納得感があると思うのですが、では三つ目の指標は ? を考えてみましょう。実際世の中三原色や三大●●など三つの要素にまとめることが多いですが、VRでもその品質指標的なものを三要素で提唱したものがいくつかあるのでご紹介したいと思います。
引用元：
[1] Sheridan, T. B. “Musings on telepresence and virtual presence.” Presence: Teleoperators & Virtual Environments, 1.1 (1992): 120-126.
[2] Zeltzer, David. “Autonomy, interaction, and presence.” Presence: Teleoperators & Virtual Environments 1.1 (1994): 127-132.
[3] Burdea, Grigore C., and Philippe Coiffet. “Virtual reality technology.” John Wiley & Sons, 2003.
[4] 舘 璋，佐藤 誠，廣瀬 通孝 ”バーチャルリアリティ学，” コロナ社，2011
[5] Chalmers, David J. “The virtual and the real.” Disputatio 9.46 (2017): 309-352.
Sheridan の “Three Principal Determinants of the Sense of Presence”
- Extent of sensory information – The transmitted bits of information concerning a salient variable to appropriate sensors of the observer
- Control of relation of sensors to environment – Ability of the observer to modify his viewpoint for visual parallax or visual field, or to reposition his head to modify binaural hearing, or ability to perform haptic search
- Ability to modify physical environment – The extent of motor control to actually change objects in the environment or their relation to one another
David Zeltzer の “AIP Cube”
- Presence – Number and fidelity of the sensory input and output channels
- Interaction – Degree of access to the parameters or variables of an object
- Autonomy – Ability to react to events and stimuli
Virtual Reality Triangle
- Immersion – It is the state of realization where an immersant’s awareness of physical self is weakened or lost by being surrounded in an engrossing total environment
- Interaction – The kind of action that occurs as two or more objects have an effect upon one another
- Imagination – The ability of forming mental images, sensations and concepts, in a moment when they are not perceived through sight
「バーチャルリアリティ学」でのVRの三要素
- 3次元の空間性 – 人間にとって自然な3次元空間を構成している
- 実時間の相互作用性 – 人間がその中で、環境との実時間の相互作用をしながら自由に行動できる
- 自己投射性 – その環境と使用している人間とがシームレスになっていて環境に入り込んだ状態が作られている
David Chalmers の “Virtual Digitalism”
- Immersion – An immersive environment generates perceptual experience of the environment from a perspective within it, giving the user the sense of “presence”
- Interaction – An environment is interactive when actions by the user make a significant difference to what happens in the environment
- Computer generation – An environment is computer-generated when it is grounded in a computational process such as a computer simulation, which generates the inputs that are processed by the user’s sensory organs
如何でしょうか ?
もちろんそれぞれ視点が異なりますし、時期も異なりますから、それぞれの要素の粒度的なものに違いはありますし、どうしても三つにしたい力が働いているように感じざるを得ませんが、先に述べたとおり「静的な現実感」と「動的な現実感」すなわち”Immersive”であることと”Interactive”であることの二つについてはどれも共通しているように見受けられます。
では三つめは ? というところですが、VRの世界がリアルタイムにサクサクと動きインタラクションも可能となった今だから言えることかも知れませんが、自律性的なところはInteractiveの中に含めても良いのではないかと個人的には考えます。
そうなると、残るはImaginationとかComputer generation的なところですが、要は見た目の現実とは違う部分を象徴する何かでしょうか。実際VRゲームやVRアート的なもののクオリティが上がってくると、現実世界と乖離する部分はありますよね。例えば向こうに見える山の頂上に行くのに、てくてく歩いてもいいけど、飛んでいくこともワープで瞬間移動することもできますし、それこそ天地を逆さますることもできるのがVRですから、それは超現実、Beyond Realな世界なのかな、という気はしますね。
ただし、表現の自由とは言っても限度がはっきりしているのがVRの世界でもあって、例えば左右の目にで全然違う画を出して「これはアートです」というのはないと思うので、「人間の知覚が許容するもの」という制限はつくと考えてよいでしょう。それを一言で表すとすると、”Cognitive“というのがしっくりきます。その意図するところは通常の知覚の世界＋Perceptual Digital Imagination的なところでしょうか。
これはあくまでも一意見であって、現時点では人それぞれの三つ目があってよいと思います。VRの用途は現実世界のシミュレーションに留まらず、たとえば対宇宙酔いの訓練のためにわざと酔いやすい視覚提示を行うなど常識を超えた用途も出てきています。また身体の一部を失った人が幻肢痛を感じることがありますが、失った体部をVRで補うように視覚提示することによって痛みを和らげるセラピーがあったりと、脳の活動や知覚を逆手に取った使い方が効果的な事例も多く出てきており、現時点ではさまざまな可能性を秘めた三つ目の要素でよいのではと個人的には思います。
あなたにとって三つ目の要素は何でしょう ? 少し真剣に考えてみると、VRやその用途への理解がグッと深まると思いますよ。
ということで少し精神的な領域にも踏み込んでしまいましたが、現実に戻って、最後にOpenXRに触れておきます。
OpenXR
OpenXRは、標準化団体KHRONOSが主導するXRのAPI規格です。その目指すところはアプリケーション開発者フレンドリーなSDK環境の提供です。
たとえばUSBやHDMIのような規格ものであればそのインターフェイスは仕様が厳密に定義されていますから、TVやBDプレイヤー、HDDレコーダーなどを作る人はその仕様に従えば接続性が保証されるわけです。（実際には接続性を保証するために、PlugFestなどで接続試験を行うのが実情ですが）
一方ようやく五感にストレスなく使えるレベルの機器が出てきたXRの領域は、まだまだ創世記であり、少し前までは各社各様の内部仕様が実情でした。主要なXR実行環境は様々であり、サポートするOSなどが異なることが要因で、エコシステムは分散している状況で、特にアプリケーションミドルウェア視点から、OpenXRによるインターフェイスの統一が期待されていました。基本方針としてはVR/ARの両方に対応し、柔軟な拡張性を維持しつつも、将来の可能性に対する過度のReserved仕様をなるべく避け、現状の性能維持を重視した統合を目指すものとしてGDC2017で発表されました。また、2年間の活動の結果として、SIGGRAPH2019にて1.0版の仕様が発表されました。
主にミドルウェア系の方々が対象の絵ですが、今までは各社のハードウェアにアクセスするのにそれぞれのAPIをたたいていたのですが、違いを吸収して共通のAPIで叩けるようにしましょう、さらに周辺機器側もだんだん込み入ってきたので標準化して行きましょう、という流れです。SteamやMicrosoftなど大手が入っているので、標準化は加速されていると思われますが、興味深いのは、あくまでもパフォーマンスありきで行きましょう、標準化でありがちな未来を見据えたReserveは最小限にしましょう、という方針です。というのは特にVRには酔い問題があり、それを避けるために各社独自の努力をしているので、そこに悪影響を与えるようなことは極力避けましょうというのが見えます。
OpenXR 1.0リリース以降は、デバイス対応、ブラウザ統合、機能拡張など、様々な拡張について審議を継続中で、OpenXR適合テストおよびAdopters Programが2020年7月から開始されました。その後各社からOpenXRのサポートが発表されており、Microsoftは早くからサポートを開始していましたが、2021年2月にValveのVRプラットフォームSteamVRが正式対応を発表、7月にはOculusも正式対応を発表しました。最近では2023年2月PICOが対応を発表、4月にはMagic Leap 2も正式対応したことを発表しました。
さらにはUnityやUnreal Engineもプラグイン対応を完了しており、2024年4月にはOpenXR 1.1がリリースされました。日本語記事はこちら（XRの標準規格「OpenXR」がバージョン1.1にアップデート。コア機能の拡充・強化でより開発しやすく）。業界標準の地位は堅く、今後も各社がサポートしていくでしょう。
おわりに
今まで集中的にVR元年以降のVR･AR機器の構造や技術に触れてきましたが、今回は原点に戻り、VRとは ? ARとは ? という内容でお送りしました。
典型的なVR･ARに触れ、VR/AR/MRの定義を確認し、VRの三要素について深堀りしてみました。MRの定義やVRの三つ目の要素については多分に個人的な意見も含まれていますが、これを反面教師としてみなさん自身が考えるMRの定義やVRの三つ目の要素を今一度深堀りしてみることによって、MRやVRの理解が深まることと思います。そして最後に標準化が加速するOpenXRについても勉強しました。
どうでしたか ? VR･ARの歴史にも触れたところでしたから、現在を再確認することによって、これからどうなっていくのか、未来への想像が膨らんだのではないでしょうか。
次回はVR･ARを支える技術について主要なものをいくつかピックアップして勉強して行こうと思います。お楽しみに !