前回は臨場感向上へのアプローチの第2回として、代表的な知覚の中で人間の知覚認識の8割を占めると言われる視覚について少し深く勉強しながら、臨場感向上へのアプローチについて理解を深めていきました。
第3回の今回は、耳の知覚すなわち聴覚そしてVRにとってとても重要な前庭感覚についておさらいしながら、臨場感向上へのアプローチについて考えていきましょう !
はじめに～耳の構造
こちらの記事（耳の構造と聴覚・平衡覚が生じる仕組みを図とイラストで解説）にとても詳しくそしてわかりやすく解説されていますので、読んでみましょう。
聴覚
耳から入ってきた音が鼓膜を振動させるわけですが、鼓膜のすぐ内側に耳小骨（ツチ骨、キヌタ骨、アブミ骨）という3つの骨があります。これがてこのような働きで鼓膜の振動を増幅します。また、アブミ骨が蝸牛窓越しに蝸牛内のリンパ液に振動を伝えるのですが、先ほどのてこの原理により2倍前後、鼓膜の蝸牛窓の面積比で17倍程度、トータルで20～30倍の振動パワーに増幅されます。
そして伝搬された振動を蝸牛内の有毛細胞が受けて電気信号に変換して神経に伝えます。この有毛細胞は入り口側が高周波、先端側が低周波の役割分担になっています。高周波側の有毛細胞の方が加齢や雑音による損傷を受けやすく、一度損傷を受けた有毛細胞は二度と修復されることはないので、モスキート音が聞こえなくなったら一生聞こえないというわけです。
立体音響
聴覚にまつわる臨場感向上要素として、立体音響があります。3Dオーディオとも呼ばれ、音の方向や距離感まで感じられるように再生する音響システムのことです。Dolby AtomsをはじめとしてAuro 3D、22.2ch、360 Reality Audioなどフォーマットが多数存在します。
ステレオとサラウンド
それに対して、スピーカーシステムは、通常ステレオ方式やサラウンド方式になります。
ステレオは2chですが、サラウンドは5.1/7.1/9.1chが主流ですね。標準スピーカーの数が最初の数字で、サブウーファー数が別扱いで.1や.2の表記になります。標準スピーカーの配置は、フロントが中央と左右の3台、バックサイドが2台で合計5台となり5ch。これに加えて左右に2台で7ch、4台で9chとなります。
昨今ではさらにハイトスピーカー（すなわち天井スピーカー）が2台あるいは4台考慮され、桁数が増えて7.1.4chや9.1.2chまで拡大されています。
そして皆さんご存じの通り、リアルサラウンドとバーチャルサラウンドがありますね。2chでも立体音響コンテンツを聞くとそれなりの立体感が得られるというわけです。
チャンネルベースとオブジェクトベース
さて、Dolby Digitalなどではスピーカー数や配置ありきでのチャンネルベースでした。Dolby Atomosからはオブジェクトベースすなわち、音が出ている物体の位置座標から最適なスピーカーを自動的に判断して音が出る仕組みになりました。
座標位置とスピーカー数から最適にリアルタイムレンダリングして音を出してくれるわけで、スピーカーの組み合わせの自由度も増し、チャンネルという概念はなくなりました。よって、Dolby Atmos対応のブルーレイディスクは、チャンネル表記も消えているというわけです。
このあたりは VRで重要な3Dオーディオの使い方 基礎と事例紹介編【CEDEC2017】を読むと理解が深まりますので、是非読んでみましょう。
バイノーラル録音
これはステレオ方式の一種で、人間が普段鼓膜からダイレクトに感じている音を再現するために、人間の頭部を模したダミーヘッドの耳に集音マイクをはめ込み録音を行うものです。日常的に私たちが聴いているように、音が前後左右に移動して聴こえます。
しかしVRユーザーは動きますから、プレイヤーの視界に合わせて音を動かす必要がありますよね。そこで、バイノーラルマイクで上下前後左右の6方向を収録し、リアルタイム制御で回転させるなどのアプローチが研究されています。このあたりは VRで重要な3Dオーディオの使い方 各論編 Ambisonics、HRTF、バイノーラル【CEDEC2017】 で最先端の研究開発が紹介されています。こちらも是非読んでみましょう。
アンビソニックス
先ほどの記事にもありましたが、最近賑わっているAmbisonicsです。
Ambisonicsのベースは、４つの単一指向性マイクで集音した音声データです。これを球調和関数により、無指向性、上下双指向性、前後双指向性、左右双指向性の４種類に分け適宜合成することで、多方向からのバイノーラルステレオや、5.1chサラウンドなどを比較的簡単に作成することができます。プレイヤーの頭の動きに合わせて音の方向を変えなければならならいVRとはとても相性が良い技術と言えます。
もう少し踏み込むと、球調和関数展開は方向性パターンに対するフーリエ変換に相当し、球面上で異なる展開を持った直行する成分に分解して解析する手法です。ベースのAmbisonicsは球調和関数の0次と1次に着目した手法とみなせますが、一方2次以上の高次の球調和関数まで考慮した手法はHigher Order Ambisonics (HOA) と呼ばれ、単に音の方向を再現するばかりでなく、究極的には広い領域で原音場を再現することが可能となります。
最近YouTubeでもよく見かけるVR動画ではこのような技術はとても効果的と言えます。HOAだと奥行感がすごいですね。
前庭感覚
聴覚はこれくらいにして、耳のもう一つの感覚である前庭感覚にいきましょう。
いわゆる平衡覚（平衡感覚）のことですが、こちらの記事（平衡感覚と頸椎性めまい）もとても勉強になりますので目を通してみましょう。
前庭は酔いと直結する器官で、片耳に1セットの三半規管と二つの耳石器があります。三半規管はリンパ液が満たされており、頭が回転するとリンパ液が動いて神経を刺激することによって回転性の運動を感じ取ります。一方三半規管と蝸牛の間のいわゆる前庭部にある耳石器は、神経の上に細かい毛が生え、その上に耳石というカルシウムの粒が多くついた構造になっています。重力を感じ取るのに加え、体が直線的に動くと耳石が動いて神経が刺激され、直線的な体の動きを感じ取ることができます。これらが両耳にお互い少し内側を向いて配置されることによって、3次元の動きを検出し、身体のバランスを取る重要な働きをしています。
余談になりますが、耳石は常に代謝しています。はがれた細かいカスは浮遊耳石と言われ卵形嚢にたまっていきますが、まれに三半規管の中に入り込んでしまうことがあります。この結果、実際には動いていないのに動いたと感じてしまうめまいが生じることがあります。
さて、もしも前庭をハッキングしてニセの前庭信号与えられたらどうなると思いますか ? いよいよその話しに入ります。
前庭刺激
Galvanic Vestibular Stimulation (GVS) という技術があります。すなわち電流による前庭刺激です。
両耳の後ろに電極を装着し、電極間に電流を流すことで内耳の前庭器官に刺激を与える技術です。 このとき電流の陽極側への加速度の錯覚を感じ、陽極側へ体の重心が傾くことになります。前庭電気刺激に用いる電流は数mAの微弱なもので、電気刺激の与え方により、左右，前後，回転方向への加速度感覚提示が可能なものだそうです。
大阪大学の前田先生がこの領域のオーソリティーですので、前田研究室のビデオを見てみましょう。
とても興味深い技術ですよね。VRコンテンツにおいて映像の動きと運動感覚に乖離が生じる場合に、映像の動きに同期した加速度感覚を提示することにより、臨場感の向上やVR酔いの軽減効果が期待されるというわけです。
微弱とは言え電流を印加することや、応答性能、個人差など気になる点は多いですから、汎用VR機器への実用化には時間がかかりそうですが、このような技術があることは知っておきましょう。
おわりに
ということで、今回は臨場感向上へのアプローチとして耳の知覚すなわち聴覚と前庭感覚に着目しました。まず空間要素、時間要素に寄与する聴覚刺激として立体音響について勉強しました。また前庭刺激としてGVSという技術を紹介し、その効果的な使い方にも触れました。
どうでしたか ? 立体音響は、実際に音を聴いてみるとその違いは歴然で、臨場感が格段に向上することを感じたと思います。前庭刺激はなかなか体験する機会はないかも知れませんが、動画での被験者のふるまいを見ると比較的強い平衡感覚の乱れを与えられていることは見て取れましたね。
GVSはVR系の学会でときどきデモされていますので、見かけたら体験してみましょう。
次回は臨場感向上の最終回の予定ですが、手、足、鼻に着目して触覚や嗅覚について深堀りして行きます。お楽しみに !