AR

VR・ARの歴史

今まではVR元年以降のVR・AR機器にまつわる技術の説明をしてきましたが、ここでVR・ARの歴史を振り返ってみようと思います。

はじめに~ステレオビジョンのはじまり

Stereoscope


さて、日本はまだ江戸時代だったころにステレオスコープの出現があります。この構造はシンプルなVR機器そっくりですね。レンズ越しではない分ディスプレイまでの距離がありますが、基本的な構造は同じです。最初は手書きのカードでしたが、その後ステレオカメラも出現し実写のカードへと進化します。そのあたりの歴史はこちらの動画で詳しく説明されています。

Anaglyph


一方昭和初頭にAnaglyphがはやります。これは青赤の眼鏡越しに青赤のステレオ画面を見ると3Dに見えるものでした。やはり3Dで見えるというのは感動的な要素があるということですね。このあたりがステレオビジョンの創成期になります。

Link Trainer


同じころにLink Trainerという航空機の操縦練習機が出現します。これは一見今でいう体感系のアトラクションに通ずるものがありますが、実際には命を懸けた訓練機でした。ライト兄弟が初めて動力飛行したのが1903年で、第二次世界大戦は1940年代前半ですから、わずか30年40年足らずで急激な発展を遂げたことになります。そのような中、このようなシミュレータは重要な役割を果たしていたと考えられます。

Sensorama / Morton Heilig


さて、こちらは没入型の3D映像装置です。体感的な機能として風と香りと振動があったようですね。臨場感を高める工夫が盛り込まれ、最初のVR機器と言われています。また、発明者のMorton HeiligさんはTelesphere MaskというヘッドマウントタイプのVR機器の特許を1960年に既に出していました。

ヘッドマウントディスプレイの誕生

一方1901年に遡ると、オズの魔法使いの著者でもあるL. Frank Baumが “The Master Key: An Electrical Fairy Tale” の中で、現実の世界にデータ情報を重畳するディスプレイ “Character Marker” というものを題材として取り込みました。”Character Marker” は 善人には”G”、悪人には”E”、賢者には”W”、愚者には”F”といった文字が現れるような、文字から人の性質を知ることが出来るもので、AR的概念の誕生と言われています。

The sword of damocles / Ivan Sutherland


そしてヘッドマウントディスプレイはIvan Sutherlandさんによって誕生します。Ivanさんは1963年にSketchpadという2D描画システムをすでに発明していたのですが、恐らくそれを3次元空間に展開したいと思ったのでしょう、その成果として1968年にThe Sword of DamoclesというAR HMDが誕生します。その構造は、ディスプレイが顔の横方向にあってそれを目の前のハーフミラーに映すもので、目の前の風景がシースルーで見えていて、そこに立方体などの線画オブジェクトを重畳して描くものでした。また頭の動きも考慮され、インタラクティブに線画オブジェクトを操作できました。実際IvanさんはSketchpadでマウス的なデバイスを利用して描画した2Dオブジェクトの形を変えたりコピー&ペーストできる、今でいうインスタンス的な概念をすでに実現していたのですが、The Sword of Damoclesでも同様に、マウスポインター的なデバイスを利用して3Dオブジェクトをインタラクティブに変形させることも実現していました。

70年代から80年代の技術

ヘッドマウントディスプレイが誕生してから90年代のVRブームがやってくるまでにもさまざまな技術の進化がありましたが、ここでは3つご紹介したいと思います。

VIDEOPLACE / Myron Kruger


まず一つ目はアカデミックな技術の代表として、Myron KrugerさんのVIDEOPLACEを紹介します。1970年代から90年にかけて取り組まれた技術で、いわゆるセグメンテーションによって人の手や体全体を切り抜いてAR的な要素を重畳するものでした。動画を見るとセグメンテーション自体はかなりシンプルなしくみで行われていることがわかりますが、それまでなかった新しい発想が表現され、コンピュータビジョンの先駆けと言われています。

VCASSからThe Super Cockpitへ / Tom Farness

二つ目は航空機系代表として、VCASSとThe Super Cockpitを紹介します。この写真はとてもおどろおどろしいいで立ちですが、1980年代にWrite-Patterson Air Force Baseから提案された A visually-coupled airborne systems simulator (VCASS) と呼ばれる空軍向けシミュレーターです。Darth Vader helmet としても知られています。とても奇妙な形をしていますが、実は先のIvan Sutherland さんのThe Sword of Damoclesと同じで、ディスプレイが顔の横にあって、ハーフミラーに映写されるものです。現実世界つまりこの場合だとコックピットがシースルーで見えていて、その上に操作方法や指示などが重畳されます。

この技術がワシントン大学HITラボのTom Farnessさんのスーパーコックピット構想に発展して行きます。この構想自体は実用化されずに終わるのですが、Tom Furnessさんは AWE (Augmented World Expo) という最大級のMR系の学会に毎年のように登壇され、Grandfather of VR”と紹介されています。また、ワシントン大学のHITラボは後ほど別技術でも出てくるので覚えておきましょう。

Battle Zone / Atari


三つ目はゲーム業界代表として、Battle Zoneを紹介します。1980年にAtari社から出た3Dアーケードゲームです。今でも続編が出ているFPSのタンクゲームで、当時は線画ベースでしたが、”First big 3D success“と評価されたりもしています。

90年代のVRブーム

VIVED & VIEW / NASA


1990年近くになってくると、いよいよVRヘッドセットらしい形のものが出てきます。Virtual Visual Environmental Display (VIVED) がNASAから提案され、その数年後にはVirtual Interface Environmental Workstation (VIEW)という形で学会発表されます。宇宙船などの操作のトレーニング用途がターゲットですが、動画を見ると、この時点では線画と板状のオブジェクトの描画および手でのインタラクションによるコンセプトデモの位置づけが強いと思われますね。しかしヘッドマウントディスプレイにリアルタイムに見た方向の映像が描写されるというのは画期的だったことでしょう。

80年代前半に Sony の Watchman といういわゆる携帯TVが出たのですが、VIEWではそのLCDを使用しているようです。 このあと90年代に最初のVRブームが来るのですが、コンパクトな液晶ディスプレイの出現が牽引役のひとつだったことが伺えます。

概して新しい技術、最先端の技術というのは航空宇宙系や医療系で花開く場合が多く見受けられます。VRも同様で、例えば月に始めて行くための練習とか、人の命がかかっている難しい手術の繰り返し練習など、究極の状況をバーチャルに作ることができるVRは、航空宇宙系や医療系ととても相性が良い技術と言えます。

VPL Research / Jaron Lanier


1990年代に入り最初のVRブームと言われるものがやってきますが、その立役者がJaron Lanierさんです。音楽家でもある彼は、VPL Research社を立ち上げ、手の動きを検出するDataGlove、EyePhoneというヘッドマウントディスプレイ、身体の動きを検出するDataSuitsなどを開発販売していました。特にDataGloveは有名で、Polhemus 3SPACEという6DoF磁気センサーで手の位置と姿勢を測定し、さらに光ファイバケーブルを利用して指の関節の曲げ具合も測定できるものでした。先のNASAのVIEWにもVPL Research社の技術は使われています。加えて医療系や製造系にVRを活用した様々なアプリケーションを世界に先駆けて開発しました。高価なものではありましたが、アカデミック用途を中心にかなりの販売台数を達成しています。

そして”Virtual Reality”という呼び名も彼が広めたものでした。正確には”Virtual Reality”という単語は元々フランスの演劇科Antonin Artaudが造語した芸術用語でしたが、”Father of VR“と呼ばれるJaron Lanierらにより現在のVRを意味する言葉として援用されました。これは覚えておきましょう。

Cyberspace Development Kit / Autodesk

この時期VPL Researchだけでなく、それ以外にも多くのVR関連の企業が出現していますが、もう1社だけ紹介すると、AutodeskからCyberspace Development Kitという3D空間を構成するためのソフトウェアも出てきました。Autodeskは3次元CADで有名ですが、昨今なじみがあるのはMayaでしょうか。

というわけで、この時期に一定の性能を持ったVR機器のラインナップが出そろい、最初のVRブームがアカデミック領域を中心に盛り上がっていきます。

ゲーム業界への波及

この盛り上がりは当然ゲーム業界にも波及し、世界目線で見ると相当数のVRゲーム機が出ていますが、ここでは特に国内最大手2社のものをご紹介します。

SEGA VR / SEGA


まずSEGA VRですが、慣性センサー群いわゆるInertial Measurement Unit (IMU) によってヘッドセットの姿勢を計測する3DoFのVRシステムでした。解像感もそれほど低くなく、価格も$200とリーズナブルなもので、1993年のCESで大々的に発表されますが、当時のCEOの発言によればユーザーが深刻な酔いと頭痛に見舞われる場合があることが大きな懸念となり、家庭用としては発売されませんでした。(アーケード向けにはリリースされて行きます)

Virtual Boy / 任天堂


そしてもうひとつは1995年に発売された任天堂さんのバーチャルボーイです。覗きこんでプレイする独特のフォルムですが、3D空間表現の中でゲームが楽しめます。赤い色が特徴で、ディスプレイ周りは非常に特徴的です。

具体的には、液晶ディスプレイは利用しておらず、224個の赤色LEDを並べた1本のLEDバーが384回点滅する間に対の鏡が振動することによって横方向に広げ384×224の1枚画の表示を実現しています。1往復で2枚画ですね。こちらの動画を見るともう少しイメージがわきますでしょうか。このしくみは、網膜ディスプレイにも通じる技術で、インタビュー記事によると液晶では「真っ暗」が作れずこの方式にしたら底なしの闇の中に立体映像を描画することができたとのことですが、かなりの驚きですね。iFixitさんの分解記事もありますので、是非覗いてみて下さい。

分解記事にも先の動画にも説明がありますが、Focus調整とIPD調整機能があります。つまりレンズとLEDディスプレイの距離も変えられるし、左右のレンズ間の距離も変えられるということですね。紛れもなく左右の視差を利用した3D立体視を実現したものでした。しかし頭は動かせないので、酔いのリスクはあまりなく、実際コアなゲーム機というよりはおもちゃ的な位置づけで発売されたもののようです。

Eye Toy / PlayStation2


もう少しゲーム業界の話しをさせて頂くと、PlayStation陣営の動きとしては、2003年にEyeToyが発売されます。カメラでキャプチャーした画面にCGを重畳するもので、ARの先駆けの部類に入るものでした。当時のCMの動画を少し見てみると、セグメンテーション的なアプローチではなく、主に動き検出によるインタラクションになっていますが、先のMyron KrugerさんのVIDEOPLACEを進化させた世界観になっています。

Eye of Judgement / PlayStation3


一方こちらは2007年に発売されたEye of JudgementというPS3タイトルで、ステージ上に置いたカードをカメラが読み取りキャラクターが現れてバトルが行われるARカードゲームです。AR Markerを利用することによりカードの向きや姿勢を検出し、それに合わせてキャラクターを配置し描画できるとても画期的なものでした。

ARの発展

AR Toolkit / Hirokazu Kato

ゲームから離れてAR系の進化を眺めてみると、1999年のAR Toolkitは大きな源流と言えます。NAIST の加藤博一先生が当時ワシントン大学のHITラボで開発したもので、Hiro Markerは有名です。実はSuper CockpitのTom Farnessさんも同じHITラボなんですよね。

AR Toolkitのしくみについてはこちらの記事(ARToolKitとは)がよくまとまっていてわかりやすいと思います。またAR Markerの集大成的なデモはこちらの動画が参考になります。


AR Markerベースの技術は今でも続いていますが、AIやSLAM技術が急速に発展し、セグメンテーションやフロアー認識がリアルタイムにできるようになってきた現在、主流はMaker-less ARに移行してきていると言えます。

Marker-less AR – Google翻訳 ~ Pokemon GO


Marker-less ARのひとつにGoogle翻訳があげられます。Google翻訳で英文をカメラに映すと日本文にただ訳すだけでなく質感や角度を維持して表示を置き換える機能があります。Marker-lessとは言え文字列認識がベースにあるので認識自体はそれほど困難ではないと思われますが、文字列の形や背景が維持されて表示されるので、最初に体験したときはかなりの驚きがありました。

一方位置情報ベースのARというのも盛り上がっていきます。セカイカメラなどGPSによる位置特定と地磁気センサーによるカメラの向きの検出を利用して情報提示するもので、Pokemon GOもそれに含まれますね。最近ARブレンディングが一部の機種でサポートされて、オクルージョン表現が加わりました。そのあたりの進化がわかりやすい動画がありますので、見てみましょう。


ここではAIベースのセグメンテーション技術が活躍しています。フロアー認識、物体認識、奥行認識と様々な技術が融合していて定義が難しい面はありますが、特定のマーカーを使用しないARという意味では、このあたりは全てMarker-less ARの領域に括れるものです。

このセグメンテーション技術と位置情報ベースのARを組み合わせた技術にAR Cityがあります。道路や建物を認識してより直感的に情報を提示しナビゲートするもので、特定の都市で使えるようになってきています。

そしてこういった情報提示に加えて、Human-Machine InteractionやCommunicationを突き詰めたARグラス的用途の世界観が、この動画のような世界になっていくのかも知れません。


こういった技術の進化の歴史を経て、昨今のARグラスやARゴーグルの発展へとつながります。Google glass, Meta, Hololens, Magic Leap, Nreallight等の機器があげられますが、これらの機器については、VR・AR機器の構造の第3回第4回で詳しく触れましたのでご参照ください。

また、ユニバーサルスタジオジャパンにできたスーパー・ニンテンドー・ワールドの「マリオカート 〜クッパの挑戦状〜」は記憶に新しいところです。新しい技術が世の中に着実に浸透してきていることを感じますね。

VRの発展

Palmer Luckey, 22, inventor of the Oculus Rift, is one of the visionaries making virtual reality mainstream
引用元:Time誌の表紙

一方VR元年と言われたVR機器の盛り上がりの立役者がこの人です。Time誌の表紙も飾り、The 100 Most Influential Peopleにも選ばれたPalmer Luckyさんです。彼の人となりについてはこの記事(VR業界の風雲児、Oculus創業者パルマーラッキーの素顔に迫る!)にとても詳しく書かれていますので、是非読んでみて下さい。

簡単にまとめると、1992年生まれ、家庭学習で育ち、2009年16歳でUC編入、USCのMark Boras教授を支持する。オークションでHMDを買いまくるが、それに飽き足らず自分でも作り始める。QuakeやDoomの製作で有名なJohn Carmackの目に留まり、広視野角レンズで歪んだ画面をグラフィックス技術で補正するという大きなブレイクスルーを経て、Riftの原型の完成度は上がっていく。2012年GaikaiのBrendan IribeがRiftのデモを見て出資を申し出、Oculus VR社設立。2013年7500万ドルの増資、2014年にFacebookに買収される。グラフィックスの大家であるMichael Abrashも合流しさらに発展を遂げるも、Pulmer Luckyは2017年にFacebookを退職、現在は国境監視技術のスタートアップAnduril Industriesでドローンを利用した監視技術開発に取り組んでいる。と言った感じで、目まぐるしい変化の中で多感な時期を過ごし、現在はVR・AR機器の辛辣な評価コメントなどを世に発信しつつ、全く違った世界で活躍しています。

Palmer Lucky, John Carmack, Michael Abrashの3人が並んだ貴重なPanel映像がありますので、興味があったら見て下さい。

そして昨今のVRヘッドセットの発展へとつながります。Oculus Rift/GO/Rift S/Quest, HTC Vive/Pro/Cosmos, PlayStation VR, FOVE, Valve Indexなど数多くの機器が世に出ていますが、代表的な機器についてVR・AR機器の構造の第1回第2回で詳しく触れていますので、是非ご参照ください。

また、2021年以降パンケーキレンズ搭載の薄型VR HMDがいくつも出てきていますが、2021年後半から2023年前半に出てきたVR HMDたち で紹介していますので、あわせてご覧ください。

VR年表

1930’ – “Link Trainer” Flight simulator
1940’ – “View Master” Sawyer’s
1955 – “Sensorama” Morton Heilig
1960 – “Telesphere Mask” Morton Heilig
1967 – Project “GROPE I” started Brooks et. al.
1970’ – “Aspen Movie Map” MIT
1980 – “Battle Zone” Atari
1986 – Jaron LanierがVPL Research設立
1988 – “Virtual Visual Environmental Display” NASA
1989 – “EyePhone”, “DataGlove” (RB2) VPL Research
1990 – “Virtual Environmental Workstation” NASA, “GROPE III” Brooks et. al.
1991 – “QuickTimeVR” Apple, “Virtuality”
1992 – “CAVE” Illinoi univ
1993 – “Cyberspace Development Kit” Autodesk
1994 – “VR-1” Joypolice, “Sega VR”, “VRML”
1995 – “Virtual Boy” Nintendo, “VFX-1”
2000’ – Arcade type VR game
2007 – Googleマップにストリートビューが実装される
2011 – “iPhone VR Viewer” Apple
2012 – “Oculus Rift” appeared in Kickstarter
2014 – FacebookがOculusを買収, “Google CardBoard”発売, “ハコスコ” 設立
2015 – Samsungが”Gear VR”をリリース
2016 – “HTC Vive” 発表, Googleが“DayDream”をリリース, “PS VR” 発売
2017 – ベネチア国際映画祭 “VR部門” 設立
2018 – “Oculus Go”, “Mirage Solo”発売
2019 – “Oculus Rift S”, “Oculus Quest”, “HTC Vive Cosmos”, “Valve Index”発売
2020 – “Oculus Quest2”発売
2021 – “HTC Vive Flow” 発売
2022 – “Pico 4”, “Meta Quest 2 Pro” 発売
2023 – “PS VR2”, “HTC Vive XR Elite” 発売

AR年表

1901 – “The Master Key: An Electrical Fairy Tale” L.Frank Baum
1965 – “Sketchpad” Ivan Sutherland
1968 – “The Sword of Damocles” Ivan Sutherland
1970’ – “VIDEOPLACE” Myron Krueger
1980 – “Photographical mediated reality” Steve Mann – Wearable computerの父
1982 – “VCASS” flight simulator US Air Force
1986 – “The Super Cockpit” Tom Farness
1990 – “Augmented Reality” Tom Caudell
1992 – “Virtual Fixtures” American air force Armstrong lab
1993 – “KARMA(Knowledge-based Augmented Reality for Maintenance Assistance)” Steven K. Feiner
1994 – “Dancing in Cyberspace” Julie Martine, “A Taxonomy of Mixed Reality Visual Displays” Paul Milgram, Fumio Kishino
1998 – “1st & Ten Graphic System” Sportsvision
1999 – “Hybrid Synthetic Vision System” NASA X-38 spacecraft, “ARToolKit” Hirokazu Kato
2000 – “ARQuake” Bruce H. Thomas
2001 – “Recent advances in augmented reality” IEEE
2003 – EyeToy: Play 発売
2007 – Eye of Judgement 発売
2008 – “Wikitude” Wikitude GmbH
2009 – “Esquire magazine” QRコードからAR広告, ARToolKit à Adobe Flash, Browser, “セカイカメラ”
2010 – Magic Leap創業, Niantic Labs創業
2013 – “Google Glass”の発表, “Meta1”発売
2014 – “Magic Leap”の発表
2015 – Niantic独立, “ARToolKit” open source
2016 – “Pokemon GO”サービス開始,  “Hololens” Microsoft発売
2017 – “ARKit” Apple発表
2018 – “Magic Leap One”発売, “Meta2”発売, “ARCore” Googleリリース
2019 – “Hololens 2” Microsoft発売, “ARFoundation” Unityリリース
2020 – “NrealLight”発売
2022 – “Magic Leap 2″発売

おわりに

以上かなり駆け足ではありましたが、VR・ARに関連する技術の歴史を紹介しました。

どれも興味深いものでしたが、Ivan Sutherlandさんによるヘッドマウントディスプレイの誕生、Jaron Lanierさんを中心とする90年代のVRブーム、AR MarkerからMarker-less ARへの流れ、Palmer Luckeyさんを中心とするVR元年以降の発展については覚えておきましょう。

次回は今更ながらですが、VRとは、ARとは、というところを押さえ、VR技術の三要素について考えて行きたいと思います。次回もお楽しみに !


   
関連記事
  • 2021年後半から2023年前半に出てきたVR HMDたち
  • VR・AR技術の適用事例
  • VR機器のグラフィックス その2
  • Outside-InとInside-Out その2
  • VR・AR機器の構造 その3 – AR機器の着目ポイント
  • VR・AR体験の臨場感向上へのアプローチ その1 – 臨場感とは

    コメントを残す

    *

    CAPTCHA