3/25～29の日程でIEEE VR 2023がありました。中国の上海開催かつバーチャルとリアルのハイブリッド開催ということで、久々にリアルでの参加も可能となりました。全スケジュールはこちらがわかりやすいです。3/25, 26はWorkshopで、3/27～29の三日間は数々のPaperセッションを中心にPosterセッションやKeynote/Panelセッションが開催されました。
ここでは Day1 に引き続き3/28 (Day2) のPaperセッションの内容を全網羅してみました。Abstractの翻訳レベルではありますが、トピックが多岐に渡ることが見て取れると思いますので、是非目を通してみて下さい !
Session 11: Gaze, Haptics and Foveated Rendering
Locomotion-aware Foveated Rendering
本稿では異なるロコモーション手法での視線の動きを収集解析し、HVS空間での感度上での視線の動きの効果やこの効果がFoveated renderingに与える利点を説明している。そしてこの利点を利用してFoveated renderingをさらに加速するべくLocomotion-aware foveated rendering method (LaFR)を提案する。LaFRは従来手法と同等の視覚品質を1.6倍程度の処理速度で達成した。
Power, Performance, and Image Quality Tradeoffs in Foveated Rendering
Power, Performance, and Image Quality Tradeoffs in Foveated Rendering
本研究ではFixed foveated rendering (FFR)、Gaze-tracked foveated rendering (TFR)、従来のレンダリングのトレードオフを評価する。バッテリーや計算資源が制限された実用的なシステムでの実現性の比較を行った最初の包括的研修である。TFR+gaze-trackerのコストはしばしばFFRよりも高くなった。そこで、視線追跡型Foveated rendererをデザインした。Eye trackingの概算化により9倍の処理速度と20倍の電力効果改善がMobile GPUによって実現された。総じて本手法のTFRはFFRと比較して1.25倍のフレームレートと40%以上の電力消費削減を実現した。
Privacy-preserving datasets of eye-tracking samples with applications in XR
XR技術は昨今顕著に発展し、未来の仕事、教育、ソーシャル、エンタテインメントを生み出すものである。視線データはXRインタラクション、アバターのアニメーション、レンダリングの最適化に使われる。視線トラッキングは有用である一方で、ユーザーの視認が可能になるのでプライバシーリスクがある。ここでは視線トラッキングデータセットに対してk-anonymityとplausible deniability (PD)観点でプライバシーを定義し、differencial privacy (DP)によって評価した。結果、PDもDPも視認と行動選別との間の実用的なprivacy-utility trade-offを生成し、一方でk-anonymityは視線推定の観点で最高のパフォーマンスを示した。
Analyzing the Effect of Diverse Gaze and Head Direction on Facial Expression Recognition with Photo-Reflective Sensors Embedded in a Head-Mounted Display
HMDユーザーの表情認識手法の一つとして埋め込み反射型フォトセンサーの利用がある。本研究ではこのセンサーを利用して、視線と顔の向きが表情認識に与える影響を解析した。まず、1)視線と2)頭を動かしながらさまざまな方向を見ているときの5表情 (Neutral, Happy, Angry, Sad, Surprised) のデータセットを収集し、これを利用して5つの表情認識器を構成し視線や顔の向きの影響を解析し、認識制度を比較した。結果、すべての視点に対して学習した認識器が最も良い性能を示した。次にどの顔パーツが視線と顔の向きの影響を受けやすいかを解析した。結果、視線は上側のパーツに、顔の向きは下側のパーツに影響を与えることがわかった。加えて表情の再現性のバイアスを削除することにより、3つの条件での視線や顔の向きの純粋な影響を解析した。結果視線に対しては各方向に対して学習した認識器がもっともよい識別率を達成した。しかしながら、顔の向きに対しては認識器の状況に小さな差異が見られた。実験結果から、複数の視線と顔の向きに対応したマルチモデル認識器が識別率向上に貢献、特に垂直方向の動きに対するデータを用いることが認識率の向上に実際的に貢献していた。
When Tangibles become Deformable: Studying Pseudo-Stiffness Perceptual Thresholds in a VR Grasping Task
疑似触覚技術は視覚優勢に対しハプティクスによって知覚が高められるものであるが、その認識にはスレッショルド制限がある。本研究ではVRで握るタスクにおける硬さのスレッショルドを推定する。ユーザー実験により、圧縮できない物体に対しどれくらいの握り感が許容されるかを推定する。結果、(1)硬い物体には許容でき、(2)疑似触覚により24 N/cm以上の硬さ（グミベア以上の硬さ）にも受け入れられた。疑似硬さ効果は(3)オブジェクトの大きさによって高められ、(4)触覚刺激の大きさに相関が認められた。この結果はHaptic interfaceに新しい可能性を与え、触覚刺激特性を拡大するものである。
Session 12: Cybersickness 1
You Make Me Sick! The Effect of Stairs on Presence, Cybersickness, and Perception of Embodied Conversational Agents
VRにおいてEmbodied conversational agent (ECA) を持つアプリケーションは多い。一方VRは、Cybersicknessすなわち吐き気や頭痛など負の兆候のために、依然として寄りつきがたいものがある。Cybersicknessの要因として多くの原因があると言われているが、いかにその原因がECAの意見に影響しているかはあまり知られていない。被験者はまずフラットな廊下、あるいは階段を移動し、移動タスク完了後、仮想空港カスタムエージェントとスペイン語で会話する。そしてCybersickness, presence, ECAのraitingを心拍、GSR値と共に収集した。結果、階段はCybersicknessを増幅し現実感を損なったが存在感は向上した。
LiteVR: Interpretable and Lightweight Cybersickness Detection using Explainable AI
CybersicknessはVRのUXに直結した共通の不快感である。昨今MLやDLを利用したCybersicknessの自動検出に関して大量の研究が行われている。しかしながら、その多くは計算負荷が大変高くそしてブラックボックス的なものである。よって、手法は中身がよく理解されておらず、Standalone VR HMDのような電力制限が高いものには非実用的である。本研究では、Explainable artificial intelligence (XAI)ベースのCybersickness検出フレームワークであるLiteVRを紹介する。モデルの出力が説明可能であり、特徴量を削減し、計算コストを削減するものである。
An EEG-based Experiment on VR Sickness and Postural Instability While Walking in Virtual Environments
本研究はEEGと全身モーションキャプチャーを用いた没入型VR環境でのユーザー歩行時の姿勢不安定性がVR酔いに与える影響に関する。実験ではユーザーの酔い検出スレッショルドを超えるレベルで次第に変換ゲインを増加してVR酔いを印加した。VR酔い下ではα波が低下し、姿勢制御を維持するための作業量や努力が高くなった。一方VR酔いがない場合は認知-運動制御が良好な状態であった。これより、VR酔い下では姿勢安定性を維持するために高い認知作業が行われていることがわかった。
Like a Rolling Stone: Effects of Space Deformation During Linear Acceleration on Slope Perception and Cybersickness
VRにおいて視覚情報と慣性情報が分離されてしまっていることがCybersicknessの主要な原因であることは周知のことである。斜面は自然と加速度を印加するが、斜面で自然と加速されるときに体験する重力慣性力は、我々が地面に立っているときに感じる重力の方向やおおよその大きさとほぼ同じである。本研究では新しい空間変形手法を提案する。この手法は、ユーザーに仮想的に加速感を与えて視覚情報と慣性情報の関係を復元したいときに、仮想環境に斜面構造を復元するように変形するものである。
Enhanced Theta Activity in the Left Parietal Cortex May Defend Against VR Motion Sickness Attacks: A Pilot Study of EEG
VR酔い (VRMS) はヘルスケアや教育のようなVRベースの生活サービスに対して深刻な妨げとなる。本研究では、すでにあるデータセットを利用してVRMSに強い若い大人と影響を受けやすい若い大人との間に脳波の差異があるかを解析した。結果、VRMS-resistantの左頭頂葉皮質では強いΘ波が検出された。この新しい知見は、すでにあるVRコンテンツの変更なしに、いかに脳機能への強化（経頭蓋への非侵襲型電気刺激）によってVRMSを提言するかに対して新しい仮説を与えるものである。
Session 13: Interaction 1
Toward Intuitive Acquisition of Fully Occluded VR Objects Through Direct Grab From a Disocclusion Mini-map
Ray castingのような標準的な選択手法は、Virtual objectが部分的あるいは全部隠れている場合には成立しない。本研究ではcon-cawsting, world-in-minitureと握り手法を結合してユーザーにオブジェクトを見せる二つの新しいアプローチを提案する。3レベルのオクルージョン状態に対して4つの選択手法を比較した結果、本手法はオブジェクト間の関係を維持することに焦点をあてた他の手法よりも優れていた。
Measuring the Effect of Stereo Deficiencies on Peripersonal Space Pointing
SOTA VR/AR headsetはsinglefocalのstereo displayである。焦点距離から離れたオブジェクトに対しては、このようなdisplayはvergence-accommodation conflict (VAC)が発生し、ユーザーインタラクション性能を劣化させる可能性がある。本研究では、現状のstereo display systemにおいて腕の長さ以内に配置されたターゲットオブジェクトをvirtual handやraycastingによりpointするタスクに対して、VACがどのように影響するかを評価する。実験結果から、一定値のVACの場合が一番タスクが早くスループットが高かった。これより、バーチャル環境におけるインタラクション手法についてもっと効果的なものがあると考えられる。
AR Interfaces for Disocclusion–A Comparative Study
ARアプリケーションにとって、ユーザーの視界から隠れてしまっている現実世界の一部をユーザーに見せるようなインターフェイスは重要である。そのようなインターフェイスの空間範囲はとても広く、その上隠れているシーンをユーザービューに見せる手段には多くのオプションが存在する。本研究では4つのARインターフェイス (X-ray, Cutaway, Picture-in-picture, Multiperspective) を4つのタスク (counting dynamic spheres, pointing to the direction of an occluded person, finding the closest object to a given object, finding pairs of matching numbers) を用いて比較した。
Warpy: Contextual and Multi-view Indirect 3D Curve Sketching in Augmented Reality
本研究ではmobile AR向けの3D曲線描画ツールWarpyを提案する。本システムはユーザーが離れた場所から自由に曲線を描くことができるもので、2D-to-3DのスケッチインターフェイスをGeometric proxyと結合したものである。Geometric proxyは3D scanningや予め定義されたprimitiveのリストから得られる。Warpyはさらにmulti-viewモードを備え、ユーザーは複数のviewpointから曲線を描くことができる。これはカメラのFOVが曲線形状とフィットしないときに有用である。二つの実験から、WarpyはユーザーがAR環境で複雑かつ大きな曲線群を描く際にも効果的なツールであることが示された。
How Do I Get There? Overcoming Reachability Limitations of Constrained Industrial Environments in Augmented Reality Applications
本研究は制限のある産業環境でのhandheld ARの利用に関する。そのような環境では、visual robot programming, robotic program visualizations, workspace annotationといったdigital contentを見たりインタラクトしたりするために作業空間内に入り込むことが難しいあるいはできない場合もある。この制限を乗り越えるため、没入型ではないVRへの切り替えにより、さまざまな角度や距離から作業空間のバーチャル複写を見ることができる手法を提案する。この手法では、視点はhandheld deviceの物理的な動きによってon-screen controlが補足されるようなユニークな手法で制御される。
Session 14: Gaze
Exploring 3D Interaction with Gaze Guidance in Augmented Reality
ARでhand-eye同時利用の可能性を探るべく、3Dオクルージョンのあるオブジェクトの選択および解釈に視線が有用か解析した。本研究ではARでの3Dインタラクションで陽に視線を用いる新しい手法と、それに付随するキャリブレーション手法を提案する。実験より、本手法は隠れたオブジェクトの選択に効果的なだけでなく、奥行き方向の解釈タスクでの腕の疲労を劇的に緩和する効果が認められた。視線キャリブレーションの負荷を軽減するため、ユーザーの動作を阻害しないオンラインキャリブレーション手法を提案した。これは従来の9点キャリブレーションよりも良い精度を達成した。
A Large-Scale Study of Proxemics and Gaze in Groups
非言語的ふるまいを研究する学生は、膨大な量の空間的ふるまいと相互視線に焦点を当ててきた。しかしながら、昨今のVRにおけるこれらの研究は少ない被験者が短い時間に行ったふるまいに関するものに留まっている。本研究では232人の被験者の空間的ふるまいと視線を解析した。被験者は二つの実験に参加し、それぞれ週１回30分のSocial VRセッションを8週間、トータル240分行った。被験者の非言語的ふるまいは操作環境や時間に応じて変化し、個人やペアの違いも広く見られた。
Exploring Enhancements towards Gaze Oriented Parallel Views in Immersive Tasks
Parallel viewを使用した単一あるいは非対称なタスクの拡張性に関する。Fixed, symmetric, gaze-rientedの3種類のparallel viewをプロトタイプした。従来のVR機器でオブジェクトを見つけインタラクションを行う3つのタスクを比較した：1)シンプルな環境、2)複雑な環境、3)オブジェクトの距離を推定するタスク。結果parallel viewはmulti-embodimentでの性能を向上したが、それぞれの手法が別々のタスクで有効であった。従来のVR機器はシンプルなインターフェイスであり、したがって提案手法は空間的存在感、精神的負荷やユーザー性能を向上したことになる。しかしながら、被験者のフィードバックによれば、parallel viewの使い勝手は良好で、複雑なタスクを行う際にも身体的負荷は低かった。
MoPeDT: A Modular Head-Mounted Display Toolkit to Conduct Peripheral Vision Research
MoPeDT (Modular Peripheral Display Toolkit) はフレキシブルに組み換えや拡張が可能なHMDで、周辺視の研究に使用可能なものである。MoPeDTは3Dプリンターや既製の部品で作製可能なもので、複数のnear-eyeディスプレイモジュールを空間的に構成し、Labの内外で3Dトラッキングが可能である。このシステムにより、研究者やデザイナーは新しい周辺視インタラクションや描画技術を容易に開発したりプロトタイプできる。空間認識、バランス、インタラクション、フィードバックや通知など、いくつかのアプリケーションを用いて、MoPeDTの多面性を示した。
Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye-Tracking as an Input and Interaction Modality for VR
本研究は、AR/VRでのtargetingとselecting taskにおける視線インタラクションの評価に対するベースラインの確立に関する。ベースラインは、従来からの標準的なものと今日のAR/VRインタラクションにフォーカスしたものの両方を含む。Targetingとselection taskでは、カーソルを持たない調整されていない視線トラッキングと、カーソルありのコントローラおよびヘッドトラッキングの3種類の手法で比較した。Taskのスループットと主観採点の観点で、未調整でカーソルやフィードバックなしの視線はヘッドトラッキングよりも優れ、コントローラと同等の性能/評価を示した。気づかないような小さなインタラクションデザインの改善により、視線トラッキングは次世代AR/VR HMDのインタラクションとして多大な可能性を持つことを示した。
Session 15: Interaction 2
Examining the Fine Motor Control Ability of Linear Hand Movement in Virtual Reality
本研究では3D linear hand movement taskでユーザーが精度の良い動作制御を行えるかを革新的に調査する3つのユーザー実験を行った。Study 1ではコントローラーと手の両方を用いて直線を引く場合の被験者の行動パターンを評価した。結果施行されたストローク長は認識されたものよりも長くなる傾向だった。Study 2ではさらに異なる視覚参照の効果をテストし、Virtual tableのみ提供した場合の方が高い入力精度が得られユーザーの好みとしても高かった。Study 3はStudy 2を実際にドラッグしたり大きさを変えたりするタスクで繰り返し、前記知見の汎用性を実証した。
Exploring the Effects of Augmented Reality Notification Type and Placement in AR HMD while Walking
ARは歩行時に仮想情報をユーザーの目の前に提示することによって容易に情報を得ることを可能にする。しかしながら、AR通知をユーザーの割り込みへの反応を考慮していかに提示すべきかは依然として不明瞭である。これを鑑みて、通知タイプを高優先/低優先に分け適切な配置手法について解析した。結果、高優先度通知に対してはディスプレイに固定した座標への表示が反応が早く、一方低優先度通知に対しては身体に固定した座標への表示が早い歩行スピードの維持に寄与することがわかった。さらに高優先度については下部への表示が通知性能が高く、低優先度については右部への表示がさまざまな歩行性能の施行への寄与が高いことがわかった。
Evaluating Augmented Reality Landmark Cues and Frame of Reference Displays with Virtual Reality
HMAR displayは歩行時に利用するさまざまなアプリケーション（救助、通勤など）に対する未来のナビゲーションシステムの原型を提供するものであるが、そのデザインについては未解決問題のままである。本研究ではそのようなARナビゲーションシステムに対する二つのオプションを解析した：ひとつはランドマークを示すためにAR cueを使用するかどうか、もうひとつはどうやってナビゲーションのための指示や空間情報の取得効果を伝えるか、である。ワールド座標固定の情報はランドマークがない場合の空間理解に効果的で、ARランドマークcueが追加された場合はスクリーン座標固定の情報の方が空間理解はわずかに向上した。この知見は認知ベースの未来のナビゲーションシステムの在り方を示すものである。
A Lack of Restraint: Comparing Virtual Reality Interaction Techniques for Constrained Transport Seating
HMAR displayは歩行時に利用するさまざまなアプリケーション（救助、通勤など）に対する未来のナビゲーションシステムの原型を提供するものであるが、そのデザインについては未解決問題のままである。本研究ではそのようなARナビゲーションシステムに対する二つのオプションを解析した：ひとつはランドマークを示すためにAR cueを使用するかどうか、もうひとつはどうやってナビゲーションのための指示や空間情報の取得効果を伝えるか、である。ワールド座標固定の情報はランドマークがない場合の空間理解に効果的で、ARランドマークcueが追加された場合はスクリーン座標固定の情報の方が空間理解はわずかに向上した。この知見は認知ベースの未来のナビゲーションシステムの在り方を示すものである。
Give Me a Hand: Improving the Effectiveness of Near-field Augmented Reality Interactions By Avatarizing Users’ End Effectors
本研究ではユーザーの手をアバターかすることによって近接場で衝突回避しながらオブジェクト取得タスクにおいてインタラクション性能が向上するかどうかを検証した。拡張セルフアバターの存在感や擬人化の迫真性を評価するためにデザインされた、3種類の手の拡張表現 x 2種類の障害物密度 x 2種類の障害物サイズ x 2種類の仮想光強度という複合要因デザイン環境において、次の3つの実験を行った：(1)拡張なしのアバター、(2)アイコン的に拡張されたアバター、(3)リアルに拡張されたアバター。結果、ユーザーが拡張セルフアバターという形でARシステムのインタラクション層での視覚表現が適用された場合にインタラクション性能が向上する、ということを示していた。
Session 16: Accessibility and Applications
Using Smartphones as Assistive Displays to AR HMDs to Enhance the AR Reading Experience
現在のAR HMDで文字を読む場合、デバイスの低い解像感、半透明感、狭いFOVによりしばしば阻害される。この問題を解決するため、AR HMDのアシスト用ディスプレイとしてスマートフォンを使用することを検討する。このアプローチの可能性を評価するため、スマートフォンアシストありのハイブリッドインターフェイスとHMDのみの環境で、2種類の長さのテキストを用いて実験を行った。結果、タスク性能の向上はなかったものの、ハイブリッド環境はテキスト長に関わらず低いタスク負荷を達成した。さらに、ハイブリッド環境は高い快適感、低い視覚疲労、高い視認性能といったより良いユーザー体験を提供した。
Evoking empathy with visually impaired people through an augmented reality embodiment experience
障害者との共感の促進のため、本研究は目の見えるユーザーがアシスト的な技術を用いて視覚を損なった身体を体験できるような複数感覚インタラクションを提案する。実験は目隠しした被験者が音声情報でインタラクションすることにより実際のキッチンにターゲットを置くもので、並行して盲目経験から得られる共感の増大への効果を質問される。目が見える人のセルフレポートと知覚された共感を収集した。実験後に目が見える人の共感を再度テストしたところ、彼らの共感できる反応が顕著に増大していたことがわかった。
Optimizing Product Placement for Virtual Stores
昨今のコンシューマー向けVR機器の流行は、VR環境での没入型ショッピングを可能にしている。実世界の店と同じように、仮想店舗での商品配置も買い物客にアピールするものであるべきで、それはマニュアルで作るのは時間がかかり、面倒で、そして重要なものである。本研究では仮想店舗で商品陳列を自動で最適化する新しアプローチを提案する。本アプローチは商品の露呈と空間制限を考慮し最適な商品配置を模索する。ユーザー実験として、シーンの合理性の品質評価と商品露出量の評価を行い本アプローチの有効性を確認した。
A survey on remote assistance and training in Mixed Reality environments
昨今のパンデミック、戦争、石油危機は、教育、訓練や会議のための移動の必要性について再考させられる。MRはリモートアシストやリモート訓練の改善への良いプラットフォームであり、空間的透明性と広いインタラクション空間の確保に新たな道を開くものである。本研究は、MR環境を用いたリモートアシストやリモート訓練について系統的に文献レビューを行い、現状のアプローチ、有用性や挑戦についての深い理解を与える。62文献を解析し、知見を解釈分類し、この研究エリアの溝（空白エリア）や好機（価値の高いエリア）を明らかにする。
Evaluating the Effects of Virtual Reality Environment Learning on Subsequent Robot Teleoperation in an Unfamiliar Building
本研究ではビルでのロボット遠隔操作について3つの手法を用意比較した。一つ目はフロアプランベース、二つ目は通常サイズのアバター視点からのビルのVR再構成ベース、三つ目は巨大サイズアバター視点での再構成ベースの手法である。巨大VRとフロアプランは通常VRよりも学習時間が少なく済んだ。両VR手法は方位タスクにおいてフロアプランよりも顕著に優れていた。ナビゲーションは巨大VRが他の手法に比べて速かった。結果、不案内な環境での遠隔操作に対して通常/巨大VR視点は有効であることがわかった。
Session 17: Displays
HoloBeam: Paper-Thin Near-Eye Displays
本研究はNear-eye displayに関する新たな目標を提示するものである。本デザインでは自前のHolographic projectorが複数平面の画像を持つ1-2m先にある微小体積を持つ物体を表示する。ユーザーに見える像はこの小さな物体がHolographic optical elementかレンズ群の助けを借りて拡大されて表示される。HoloBeamのプロトタイプは今日最も薄いサブミリメートル（120umなど）のARグラスで実証した。加えてHoloBeamプロトタイプは近角膜解像度（24 cycles/deg）を70度広FOVで実証した。
Extended Depth-of-Field Projector using Learned Diffractive Optics
本研究は光位相変調のためのDOEと投影補償のためのCNNを複合的にデザインした。デザインされた拡張Depth of field (EDOF) 演算投影機は高い光情報量とリアルタイム性能を達成した。この学習光学系は従来の投影機のベースラインと公平に比較され、学習補償ネットワークは演算効果と補償品質の両面で以前のSOTAよりも優れていた。演算EDOF投影機のラボプロトタイプは学習済みDOEとともに実装され、投影面が深さ変化し傾きを持つようなｎ実際のディスプレイ実験機で評価された。
Proposal for an aerial display using dynamic projection mapping on a distant flying screen
本研究は空中ディスプレイを提案する。手法は高速投影制御システムとレーザーディスプレイを用い、ドローンから吊り下げられた離れた場所にあるスクリーンに投影する。プロトタイプシステムを用いて実験を行った。性能評価では広範囲に投影制御でき200m離れた物体にプロジェクションマッピングできた。アプリケーション実験では、約36m離れたところにドローンから吊り下げられたスクリーンに対し、動的なプロジェクションマッピングがうまく動作した。
CompenHR: Efficient Full Compensation for High-resolution Projector
プロジェクターの入力画像に対し位置的なそして測光的な歪み補正を完全補償することはprojector-cameraシステムに対し実用的な課題である。高解像度システムで学習ベースの補償を行うことは、長い学習時間と高いメモリー消費から非実用的であることに焦点を当て、本研究では実用的な完全補償手法を提案する。位置的な補正品質の改善と演算緩和のためのend-to-end補償ネットワークに新しいサンプリング機構を導入することを目的に、アテンションベースのグリッド整形（改善）ネットワークをデザインした。さらに、高解像度プロジェクターの完全補償向けのベンチマークデータセットを構築した。実験より効率と品質の両面で明らかな利点を示した。
A compact photochromic occlusion capable see-through display with holographic lenses.
本研究は、複層波長依存型holographic optical lenseを利用した小型光発色性オクルージョン許容型OSTデザインを提案する。このアプローチは1枚のDMDを用い、UVライトによるオクルージョンマスクと時間方向の重畳による可視光バーチャル画像を形成する。ベンチトップ型のPoCシステムで実験を行い、表示イメージの見た目やコントラストを評価した。さらにはこのプロトタイプへの可能な改善を提案し、このオクルージョンアプローチが正しい方向であることを下支えする。
Session 18: Medical
Remapping Control in VR for Patients with AMD
加齢黄斑変性は50歳以上の人で視覚を失う主要因である。本研究はAMD患者のためのVRベースの表示装置とその表示装置と内部結合しVR表示を最適化するための医師向けの装置の2種類のインターフェイスを持つ装置に関する。それは表示映像の書き換えを行うことによって特化した映像最適化を行うものである。システムは医師が患者に特化したVR表示を生成することを可能にする。眼科医師10人にパイロットテストを行った。結果、視覚欠陥を持つ患者に対するVRベースの目の診断機器としての可能性を示すだけでなく、視覚のリハビリテーションへの新しい技術の確立へ向けて訓練が必要なフェイズであることも示した。
Design and Development of a Mixed Reality Acupuncture Training System
本研究は中国鍼訓練を強化するためにMRを利用したバーチャル鍼訓練シミュレータに関する。シミュレータは生身の手でバーチャル鍼を打つ練習ができるものである。システムは鍼技術すなわち力の使い方や鍼を打ち込むポイントを覚えるための安全で自然な環境を提供する。また、訓練ツールとしてのシステムの有効性を評価し、鍼訓練における空間的理解、学習、器用性の習得を向上した。この結果は治療効果の向上のためにMRが持つ可能性を示した。
Evaluation of AR visualization approaches for catheter insertion into the ventricle cavity
ARベースの手術ナビゲーションにおいてバーチャルデータをどのように提示するかは、バーチャル映像重畳が空間的に正しく知覚されるために重要な役割を果たす。本研究では外部心室への排出と心室短絡の行程でのカテーテル挿入についていくつかの視覚提示を表示した。(1)2Dアプローチ（スマートフォン、2Dウィンドウ）、(2)3Dアプローチ（患者に完全にアラインしたモデル、患者の近くに回転方向にアラインしたモデル）の2手法をOSTを用いて評価した。32人の被験者でアプローチにつき20回のAR挿入を行った。結果、3Dアプローチの方がより正確な挿入かつ高評価を示した。
A Video-Based Augmented Reality System for Human-in-the-Loop Muscle Strength Assessment of Juvenile Dermatomyositis
若年性皮膚筋炎(JDM)は皮膚疾患と筋肉弱体化が特徴である。CMASは通常筋病変度の診断に用いられる。しかしながら、人はそれぞれバイアスがあるので、自動AQAアルゴリズムは100%の正確性を保証できない。本研究ではJDM疾患の子供の筋力検査のための患者中心のビデオベースのARシステムを提案する。本システムのコア部分はAQA結果を3Dアニメーションデータセットをベースに作られたバーチャルキャラクターとして表示し、ユーザーは実世界の患者とバーチャルキャラクターを比較しAQA結果を検証できるところである。実験結果は本システムの有効性を示した。
CardioGenesis4D: Interactive Morphological Transitions of Embryonic Heart Development in a Virtual Learning Environment
胎児の心臓では短い期間に複雑で活発的な形状変化が起きているが、これを目で見ることは難しい。本研究は形態学的変化過程を手での操作を通じて理解できるような没入型学習システムを提供する。ユーザー実験では使い勝手、タスク負荷、存在感を評価した。加えて、知識向上度合いやこの分野の専門家からのフィードバックを評価した。生徒も先生も本アプリケーションは有用であると評価したが、評価結果はインタラクティブな学習コンテンツは従来とは違った学習スタイルを考慮すべきことを示唆した。心筋胎生学の教育カリキュラムにいかにVRを組み込めるかを問うている。
Session 19: Haptics
Providing 3D Guidance and Improving the Music-Listening Experience in Virtual Reality Shooting Games Using Musical Vibrotactile Feedback
本研究はVRシューティングゲームにネックレスタイプおよびベルトタイプのハプティックデバイスを用いて3Dハプティック提示を行うことによる体験向上を目指す。このようなデバイスは3D空間における対象物の方位や位置に応じた音声信号に同期して生成された振動を変調する。本手法の可能性を評価するため、3DVR空間でランダムに生成され動くターゲットを撃つタスクを構成した。結果、提案手法は被験者を触覚刺激のみを用いてターゲットの方向に導くことができた。また、変調音声振動は音楽視聴経験の質も高めた。
Investigating Noticeable Hand Redirection in Virtual Reality using Physiological and Interaction Data
手のリダイレクションは提示されたオフセットがユーザーにとって顕著に混乱させない範囲であれば効果的である。本研究では生体信号と操作データを用いて、実際の手とバーチャルハンドの動き矛盾を検出評価した。22人の被験者に対してEEG, ECG, EDA, RSPと操作データを収集した。結果、EEGと操作データは視覚運動不一致を検出するのに使えたが、ECGとRSPはデータに一貫性がなかった。これより、被験者は大きな不一致に対して即座に適応しており、検出できないような小さな不一致に対する絶対スレッショルドは存在しないことを示唆した。
A Haptic Stimulation-Based Training Method to Improve the Quality of Motor Imagery EEG Signal in VR
BCI技術とVRの出現により、VR環境でのイメージトレーニング向けBCIアプリケーションにとって、Motor imagery EEG信号の品質向上が鍵となってきている。本研究では触覚シミュレーショントレーニングによるMI EEG信号の品質向上を提案する。本人視点と第三者視点のVR環境での実験より、左右の手のMI EEG品質がシミュレーショントレーニング前と比べて向上していることがわかった。VR-BCIアプリケーションにより、平均分類精度がトレーニング後に上昇することがわかった。
RemoteTouch: Enhancing Immersive 3D Video Communication with Hand Touch
ハンドタッチによる3Dビデオコミュニケーションでの没入体験の向上に関する。被験者はスクリーンの外に手を伸ばし仮想ガラスで区切られているだけのように手を合わせることができる。鍵となるチャレンジは、スクリーンの近くではカメラから手が見えないことである。本研究は二者のユーザーの手の表現と距離ベースのフュージョンによるリアルな手のレンダリングを提案、それにより手を合わせる動作中ずっとリモートユーザーに手が見えている状態となる。実験により、リモートユーザーとの間に首尾一貫した手によるつながりを表現でき、3Dビデオコミュニケーションの没入体験を向上させる効果があることがわかった。
CoboDeck: A Large-Scale Haptic VR System Using a Collaborative Mobile Robot
本研究はCoboDeckすなわち自由歩行をアシストする没入型VRハプティックシステムのPoCに関する。モバイルロボットによる対向型プレートを利用したハプティックフィードバックを提供する。建築家のデザインツールとしての使用を目途に、ユーザーに対してバーチャルオブジェクト、壁、ドアー、家具と直接的で直感的なインタラクションが可能となるものである。全方向型モバイルプラットフォームに装備された協調型ロボットアームには物理的なプレートが配置され、広大なバーチャルそしてリアルな空間環境のどこにでも配置される仮想対象物の位置や方向に合わせて提示できる。したがって、ゆーざーはバーチャルオブジェクトに対して生身の手や身体で自然にインタラクションでき、同時に実空間で対向することもできる。
さいごに
以上IEEE VR 2023のPapaerセッションDay2をまとめました。個人的にはDay2だとDisplaysとFoveated Renderingが面白かったですね。オプティカルシースルー型のARの問題点として、オブジェクトが透き通ってしまうという問題と、正しい影の生成が難しいという問題がありますが、このあたりの改善ネタは毎回ワクワクして聞いています。なかなかすぐには実用的な適用は難しい（処理速度、コスト、重さや体積など、さまざまな意味で）ものが多いですが、原理的には改善できるというのを知るだけでもかなり萌えます。またこれ以外でも、InteractionやCybersicknessも興味深い内容がありましたし、Medicalはトレーニングシステムの代表として勉強になりました。
次回はDay3をお届けします。お楽しみに !