前回は臨場感向上へのアプローチの第1回として臨場感の構成要素について考え、臨場感を定量評価する指標としてPresence Questionnaire (PQ)を紹介しました。また、臨場感は人間のすべての知覚と密接に関係することに触れました。
第2回の今回は、代表的な知覚の中で人間の知覚認識の8割を占めると言われる視覚について少し深く勉強しながら、臨場感向上へのアプローチについて理解を深めて行きたいと思います。
はじめに～視覚刺激とは
さて、臨場感向上に寄与する視覚刺激とは何かを考えるにあたり、前回の臨場感の構成要素の図にあてはめてみましょう。視覚刺激が寄与する要素は空間要素と時間要素が大きいと考えられますね。
次に、VRやARでこれらの要素に影響する機能は何かを考えるとどうでしょう ? 話しをシンプルにするために、VRで考えてみましょう。
VRでは視界はヘッドセットに支配され、ディスプレイが覆いかぶさります。つまり、視覚刺激のすべてはディスプレイ由来であり、ディスプレイの性能が視覚刺激の品質そのものになります。そのとき空間要素や時間要素に直接影響を与える主な機能をあげてみると、視野角 (FOV)、フレームレート（リフレッシュレート）、解像度、明るさや色合いなどが考えつくところだと思います。
ではこれらの機能は臨場感のどのあたりに強く寄与するかを考えてみると、以下のようになると考えられます。
- 視野角 (FOV)：包囲感
- フレームレート（リフレッシュレート）：動感、質感
- 解像度：立体感、質感
- 明るさや色合い：質感、立体感
では各項目について掘り下げてみましょう。
視野角 (FOV)
広視野角化が包囲感向上に強く寄与することは相違ないところだと思いますが、ではどれくらい広げればいいのでしょうか ?
この動画の冒頭部分で標準的な視野角が紹介されています。人によってばらつきはあるはずですが、Ruch, T., and Fulton, J. F. の Medical physiology and biophysics. (W. B. Saunders Company) に書かれている図なども加味すると、
- 水平方向：内側60度、外側100度
- 垂直方向：上側55度、下側75度
片目ごとに上記程度の視野角があります。両目のどちらでも見える範囲はおよそ
- 水平方向：左右60度（トータル120度）
- 垂直方向：上側50度、下側75度（トータル125度）
となり、どちらかの目で見える範囲（視野全体）は、
- 水平方向：左右100度（トータル200度）
- 垂直方向：上側55度、下側75度（トータル130度）
程度ということになりますね。
尚、これらの数値は論文や記事によって±5度程度増減しますが、実際民族によっても偏りがあるもののようなので、だいたいこれくらいの値であるという認識でよいかと思います。
実際あなたの視野角はどうでしょう ? 右目と左目でさえ違いを感じるかもしれませんし、外側100度は見えてないなーと思うかも知れません。そういったものであるという認識でよいかと思います。
ということであくまでも一例ですが、図で表すとこんな感じです。半球のお椀に視野をマップしてみましたが、赤色が左目、青色が右目、重なった紫のエリアが左右どちらの目でも見える範囲すなわち立体視の領域になります。
現状多くのVRヘッドセットの視野角は100度～120度です。これは視覚的にステレオ立体視できる範囲が水平/垂直方向に120度程度であることに対して、その多くの範囲をカバーできていると言えます。つまりFOV120度を目指すというのは、ステレオ立体視できるエリアをカバーするという意味で理にかなったアプローチです。
さて、上の図はあくまでも視点中心に対しての話しです。実際には目は動きますから、それを考慮するとステレオ立体視できる範囲はもっと広がります。人にもよりますが、あまりがんばらない自然な目の動きでも中心から±20度程度は動くのではないでしょうか ? だとすれば、少なくとも水平方向にはFOV160度というのが目の動きも考慮した視野範囲であり、そのあたりまでカバーできると包囲感が満たされることになります。（ただし鼻の高さにもよりますが、目を動かしても内側の視野はあまり変わらないので、ステレオ立体視領域というよりはよく見える視野範囲という意味合いが強いでしょうか）
ただし、FOV120度を超えた視野角を実現する場合、上の図からもわかる通り、正面を見ている場合片目では内側60度程度までしか見えませんから、それよりも内側に描画することは無駄になります。FOV160度（内外に80度）のケースでディスプレイ中心を見ている場合、最も内側の20度分がそれに該当します。
それだったら内側は60度にして片目のFOV140度、両目でFOV160度という考え方もあるかも知れません。そもそも物理的なディスプレイの配置として内側は確保し辛いということもありますし、FOVが120度を超えた世界では、対コストあるいは対計算負荷という意味で視覚性能に応じたトレードオフの余地が発生する領域になってくると言えます。ディスプレイは広めのFOVを用意しておいて、実際の描画範囲はユーザーの見ている方向に応じて動的に変えるなんてことも可能ですし、そうなると視線トラッキングが重要な鍵になってきますね。ただ実際にはコスト対解像度の費用対効果も重要で、ディスプレイはできるだけ無駄なく使いたいことを考えると、あまり現実的なアプローチではないかも知れません。
そして最終的なターゲットはFOV200度ですね。この世界になってくると、片目の視野角は間違いなく内外非対称になり、それに応じて外側を多く描画しレンズ設計も外側を意識した形状になっていくことになるでしょう。描画範囲も格段に増えますから、グラフィックスの回で紹介したFoveated Renderingが必要な領域になってきます。
実際Pimaxからは5K/8KといったFOV200度のラインナップが2020年以前に出ていました。（そして2022年まさに今12KをサポートしたPimax Reality 12K QLEDが発売されようとしています。）動画を見ると、その形状から2枚のディスプレイが八の字型に結合されて広い視野角が実現されていることがわかります。またレンズもその八の字型に合わせて横長斜め形状になっていますね。驚きの形状です。
動画内に実際の装着映像もありますが、まさにハンマーヘッド状態でかなり横にせり出していますね。装着し続けるのが少し大変そうな印象を持ちました。しかしここまでの広視野角のVRヘッドセットは他にありませんし、価格も思ったほど高くなく、ゲームを楽しむのも良いですが、医学や心理学など特殊用途にも有用なのではないかと思います。
とは言え少しでもせり出しを抑えようと思うと、ディスプレイを曲面/球面にしていくことが考えられますが、研究レベルではすでにあります。IntelがIEEE VR 2020で発表した ThinVR: Heterogeneous microlens arrays for compact, 180 degree FOV VR near-eye displays です。ディスプレイを曲面化してせり出しを抑えると同時に、曲面のマルチレンズアレーを用いることにより薄型化も実現しています。マルチレンズアレーを用いると解像度は下がる方向ですし、IPDの違いの影響を受けやすい構造になるので、汎用的な実用化にはもう少し時間がかかりそうですが、プロトタイプとしては動作するものがすでにあるということですね。
話しが広がりましたが一旦まとめると、包囲感の向上には以下の3段階があると考えられます。
- 多くのVRヘッドセットがサポートするFOV100度～120度というのは、正面を見ているときのステレオ立体視領域をカバーするという意味で理にかなっている
- 目の動きも考慮したよく見える視野範囲をカバーするためにはFOV160度は欲しいところではある
- FOV200度のVRヘッドセットもすでにあるが、現状のプロセッサーパワーでは高フレームレートを維持するためにはFoveated Renderingは必要、また装着性の向上という意味では改善の余地がありそう
フレームレート（リフレッシュレート）
適切な解像感を維持しつつ広視野角を実現するためには演算負荷の増大は避けられません。ではフレームレートはどこまで犠牲にできるのか、という話しをしたいと思います。
CEDEC 2019でバンダイナムコ研究所の森口明彦さんが発表された内容に関する記事［CEDEC］脳の動作クロックは33Hz？ 人間のスペックに適合させたゲームの遅延対策とは は興味深いです。是非全体に目を通して頂きたいですが、要点を抜粋するとこのような感じでしょうか。
- 人間の知覚のクロック周期は30~40msecでほぼ一定である
- ならば30Hzで良さそうなものだが、周期に近すぎると個人差のうなりが発生するので50/60Hzが適切だろう
- しかし視覚刺激の同時性限界（反応速度）20msecを下回ると中心視野でもフリッカーを知覚してしまうので最低でも60Hz、エイリアスを考慮すると75/90Hzレベルは欲しい
- さらにボケに関してその影響が無視できるくらいに小さくするためには120Hzレベルが欲しい
実際様々なフレームレートで視覚的相違の比較評価を行った経験から言わせてもらうと、30/60Hzでは明らかに動きに対する粗さを感じますが、75Hzを超えてくると急激に気にならなくなってきます。さらに90Hzを超えてくると粗さを感じなくなり、90Hzと120Hzでは違いがほとんどわからないレベルでした。
といった背景もあり、現状のVR機器では最低でも75Hz、よりスムーズな動感の提供のためには90Hz以上のフレームレートが欲しいというのが常識になっています。
解像度
ここでは解像感というコンテキストでふたつのトピックを取り上げます。ひとつめはディスプレイの解像度とFOV/レンズ設計のバランスの話しになります。
わかりやすい例で言うと、低解像度のディスプレイで広視野角を実現するような光学系を組めば、画像が粗くなりピクセルのドットが見えやすくなってしまうことは容易に想像できると思います。このように画素の隙間が網目模様に見えてしまう状態をスクリーンドアエフェクトと言います。
もちろんなるべくそうならないように各社光学系の設計を行っており、また光の拡散を制御して画素の隙間を見えにくくするフィルムも出てきており、かなり改善されてきている状況ではあります。ではドットが見えると何が問題でしょう ?
画像の連続性が損なわれるので質感の劣化につながりますね。これが大きいです。
またドットが粗い場合には立体視の品質にも影響を及ぼしますが、これについてはふたつめのトピックで取り上げたいと思います。ふたつめのトピックは、ソフトウェアの側面が強いですがエイリアシングやちらつきです。
VRで気をつけないといけないのは、画素が見えるくらいに拡大されて見えることに加えてステレオであることがあげられます。アンチエイリアシングにも様々な手法がありますが、立体感の向上のためには空間的にも時間的にも立体視として左右調和した画作りが重要になります。
問題になりやすいシーンの例をあげると、細かい葉が生い茂った高木の森で木漏れ日が差し込むようなシーンです。爽やかさを出したいシーンだとビビッドな色合いでコントラスト強く描きたい場合も多いかも知れませんが、左右で葉っぱや木漏れ日の形や明るさが微妙に違ったり、特にそれがちらついていたりする場合は、立体感が損なわれると同時に目への強い刺激になる場合があります。発色やコントラストを抑えて軽減を図るなどの対処が必要になります。
明るさや色合い
VR機器ではハードウェア特性すなわちディスプレイで決まってしまう部分が大きいですね。やはり高解像度の有機ELディスプレイが、質感溢れる視覚刺激の提示には一番優れていると言えるでしょう。
一方上記のちらつき防止もそうでしたが、ソフトウェア的に可能なアプローチも考えられますね。VR機器のグラフィックス その2 でも紹介しましたが、視細胞分布を考慮したレンダリングは一定の臨場感を維持しつつ計算負荷を削減することが可能になります。
この特性を利用したレンダリング手法がFoveated Renderingでした。視点近辺を高解像度に、周辺を低解像度にレンダリングする手法でしたが、さらに色合いや明暗も視覚特性に合わせて調整することはあり得るアプローチでしょう。（ただし計算負荷削減には寄与しないですが…、電力的に寄与すれば意味のあるアプローチですが…）
一方AR機器では VR･AR機器の構造 その3 でやりましたが、偏光ミラー（いわゆるコンバイナー）にAR画像を照射しますから、どうしても重畳画像が透けてしまうという問題があり、これを改善することが質感向上に直接寄与すると考えられます。これについてはまた別の回で触れたいと思います。
おわりに
ということで今回は臨場感向上へのアプローチとして視覚に着目しました。空間要素、時間要素に寄与する視覚刺激の構成因子として、視野角 (FOV)、フレームレート（リフレッシュレート）、解像度、明るさや色合いに焦点を当て、包囲感、動感、立体感、質感といった臨場感の構成要素に与える影響について考えてみました。
どうでしたか ? 視覚刺激の提示はVR機器では当たり前の機能ですが、その仕様を人間工学的にひも解いてみると目の構造に行きつくわけで、おもしろいですよね。
次回は耳に着目して聴覚と前庭感覚について深堀りして行きます。お楽しみに !