3/12からIEEE VR 2022が始まりました。今年はNew ZealandのChristchurch開催です。日本との時差としては4時間と比較的少ない方でしたが、最初のセッションが日本時間の朝4時から始まるので、かなりの早起きを強いられます。ただランチタイムが日本の朝食の時間にちょうど合っているので、朝さえクリアできればそのあとは過ごしやすかったですね。
全スケジュールはこちらがわかりやすいです。3/14（月）～3/16（水）の三日間は数々のPaperセッションを中心にPosterセッションやKeynote/Panelセッションが開催されました。ここではその中からダイジェストでご紹介します。
Paperセッション
今回は26のPaperセッションがありました。ざっとPaperタイトルを並べて一部簡単にコメントして行きます。すべてのセッションを聴講したわけではないので、コメントはかなり簡易なものかつ個人的な偏見が多分にあります。あくまでも参考程度ということで。
Displays
- Content Presentation on 3D Augmented Reality Windshield Displays in the Context of Automated Driving -> 車内のAR表示
- Sparse Nanophotonic Phased Arrays for Energy-Efficient Holographic Displays -> NPAを動かすことによる光源の削減
- Metameric Varifocal Holograms -> CGHに対するFoveated Renderingみたなもの
- Design of a Pupil-Matched Occlusion-Capable Optical See-Through Wearable Display -> 新しい光学系による繊細なOcclusion Maskの生成
- Video See-Through Mixed Reality with Focus Cues -> Magic Leap OneのDouble WaveguidesのVST版のような構成
Security
- Virtual Reality Observations: Using Virtual Reality to Augment Lab-Based Shoulder Surfing Research -> VRでの盗み見
- Can I Borrow Your ATM? Using Virtual Reality for (Simulated) In Situ Authentication Research
- Combining Real-World Constraints on User Behavior with Deep Neural Networks for Virtual Reality (VR) Biometrics -> displacement vectorの効果
- HoloLogger: Keystroke Inference on Mixed Reality Head Mounted Displays
- Temporal Effects in Motion Behavior for Virtual Reality (VR) Biometrics
- A Keylogging Inference Attack on Air-Tapping Keyboards in Virtual Environments
Emotion and Cognition
- Do You Notice Me? How Bystanders Affect the Cognitive Load in Virtual Reality -> 傍観者の影響
- Empathic AuRea: Exploring the Effects of an Augmented Reality Cue for Emotional Sharing Across Three Face-to-Face Tasks -> ECGによる感情認識が与える影響
- Supporting Jury Understanding of Expert Evidence in a Virtual Environment -> 陪審へのVRの効果的適用
- A Wheelchair Locomotion Interface in a VR Disability Simulation Reduces Implicit Bias -> 車いすでのバーチャル歩行の経験が障害者への偏見を減らす
- Mood-Driven Colorization of Virtual Indoor Scenes -> ムードベースのVR空間の色装飾
3DUI
- Bullet Comments for 360° Video -> Time-anchored on-screen comments
- An Evaluation of Virtual Reality Maintenance Training for Industrial Hydraulic Machines -> Kinesthetics learning strategyを適用したremote multi-user industry maintenance training VR platform
- GazeDock: Gaze-Only Menu Selection in Virtual Reality using Auto-Triggering Peripheral Menu -> 視界周辺にメニュー
- OctoPocus in VR: Using a Dynamic Guide for 3D Mid-Air Gestures in Virtual Reality -> OctoPocusの3D gestureへの適用
- EHTask: Recognizing User Tasks from Eye and Head Movements in Immersive Virtual Reality -> 視覚的注目の比較
Session: Locomotion (Americas)
- Research Trends in Virtual Reality Locomotion Techniques -> Virtual locomotionのレビュー論文、metric比較もあり
- ENI: Quantifying Environment Compatibility for Natural Walking in Virtual Reality -> nvironment Navigation Incompatibility metricの適用
- Evaluating the Impact of Limited Physical Space on the Navigation Performance of Two Locomotion Methods in Immersive Virtual Environments -> ResettingとWIPの比較
- Remote research on locomotion interfaces for virtual reality: Replication of lab-based research on the teleporting interface
- Adaptive Redirection: A Context-Aware Redirected Walking Meta-Strategy
- Validating Simulation-Based Evaluation of Redirected Walking Systems -> Micro / macro evaluation of RDW
Immersive Visualization and Virtual Production
- The Virtual Production Studio Concept – An Emerging Game Changer in filmmaking -> Virtual production
- Exploring the Design Space for Immersive Embodiment in Dance -> Mocapを利用してダンス時に効果的なfeedback
- Mixed Reality Co-Design for Indigenous Culture Preservation & Continuation -> マオリ文化体験
- TimeTables: Embodied Exploration of Immersive Spatio-Temporal Data -> 空間-時間データ体験
- Virtual replicas of real places: Experimental investigations -> Virtual recreationに大切な要素
- VirtualCube: An Immersive 3D Video Communication System -> 3D video conference system
Multimodal VR
- Evaluating Visual Cues for Future Airborne Surveillance Using Simulated Augmented Reality Displays -> 航空探査へのAR適用
- Empirical Evaluation of Calibration and Long-term Carryover Effects of Reverberation on Egocentric Auditory Depth Perception in VR -> 音場の距離認識
- Simulating Olfactory Cocktail Party Effect in VR: A Multi-odor Display Approach Based on Attention -> 匂い合成効果
- Shape Aware Haptic Retargeting for Accurate Hand Interactions -> 手とtarget objectの距離情報効果
- Adaptive Reset Techniques for Haptic Retargeted Interaction -> Virtual / real interfaceが混在時のretargetingのreset technique
- Studying the Effects of Congruence of Auditory and Visual Stimuli on Virtual Reality Experiences -> 視覚刺激と聴覚刺激の同時性
Embodiment
- Visual Fidelity Effects on Expressive Self-avatar in Virtual Reality: First Impressions Matter -> 顔表情を反映したself avatorの効果
- Within or Between? Comparing Experimental Designs for Virtual Embodiment Studies -> synchronous vs asynchronous motions of self avator
- Being an Avatar “for Real”: a Survey on Virtual Embodiment in Augmented Reality -> self avator
- Do You Need Another Hand? Investigating Dual Body Representations During Anisomorphic 3D Manipulation -> GoGo / Prism techniqueの比較
- The Impact of Embodiment and Avatar Sizing on Personal Space in Immersive Virtual Environments -> 空間共有における腕の範囲の効果
Presence
- Exploring Presence, Avatar Embodiment, and Body Perception with a Holographic Augmented Reality Mirror -> Mental healthへのAR mirrorの効果（VRと比較）
- Kicking in Virtual Reality: The Influence of Foot Visibility on the Shooting Experience and Accuracy -> 足の動き描写の効果
- Augmenting Immersive Telepresence Experience with a Virtual Body -> 手の動き描写の効果
- Breaking Plausibility Without Breaking Presence – Evidence For The Multi-Layer Nature Of Plausibility
Interaction Design
- Exploring and Selecting Supershapes in Virtual Reality with Line, Quad, and Cube Shaped Widgets -> 効果的なVR widget
- The Potential of Augmented Reality for Digital Twins: A Literature Review -> デジタル複製の効能
- The Effect of Exploration Mode and Frame of Reference in Immersive Analytics -> 一人称視点と三人称視点でのタスク効果比較
- Synthesizing Personalized Construction Safety Training Scenarios for VR Training -> 建築向け安全訓練
- PoVRPoint: Authoring Presentations in Mobile Virtual Reality -> pen / touchベースのdevice
Collaboration
- The Potential of VR-based Tactical Resource Planning on Spatial Data -> 用兵上のresource planning
- Virtual Workspace Positioning Techniques during Teleportation for Co-located Collaboration in Virtual Reality using HMDs
- Duplicated Reality for Co-located Augmented Reality Collaboration -> 現実コピーによる空間共有の快適性改善
Perception in AR
- The Influence of Environmental Lighting on Size Variations in Optical See-through Tangible Augmented Reality -> 環境光を考慮したAR提示
- Depth Perception in Augmented Reality: The Effects of Display, Shadow, and Position -> AR物体の効果的な距離感付与
- Multisensory Proximity and Transition Cues for Improving Target Awareness in Narrow Field of View Augmented Reality Displays -> 狭FOVでの視野外物体認識向上
- The Effect of Context Switching, Focal Switching Distance, Binocular and Monocular Viewing, and Transient Focal Blur on Human Performance in Optical See-Through Augmented Reality -> AR情報提示時のさまざまなswitching問題
- Stereopsis Only: Validation of a Monocular Depth Cues Reduced Gamified Virtual Reality with Reaction Time Measurement -> 弱視時の効果的なステレオ提示
Virtual Humans and Agents
- The Stare-in-the-Crowd Effect in Virtual Reality -> Virtual agent雑踏への凝視
- Virtual Humans with Pets and Robots: Exploring the Influence of Social Priming on One’s Perception of a Virtual Human -> ペットの効果
- Investigating the Effects of Leader and Follower Behaviors of Virtual Humans in Collaborative Fine Motor Tasks in Virtual Reality -> leader / follower agentの効果
- An Evaluation of Native versus Foreign Communicative Interactions on Users’ Behavioral Reactions towards Affective Virtual Crowds -> emotional virtual human雑踏の言語差異比較
- The Effect of Virtual Humans Making Verbal Communication Mistakes on Learner’s Perspective of their Credibility, Reliability, and Trustworthiness -> virtual humanの間違い発言効果
- The One-Man-Crowd: Single User Generation of Crowd Motions Using Virtual Reality -> 一人から雑踏生成
Augmented Reality
- An improved augmented-reality method of inserting virtual objects into the scene with transparent objects -> 透明物体へのAR重畳
- Using Speech to Visualise Shared Gaze Cues in MR Remote Collaboration -> 視線交差
- A Comparison of Spatial Augmented Reality Predictive Cues and their Effects on Sleep Deprived Users -> 不眠症適用
- Distortion-free Mid-air Image Inside Refractive Surface and on Reflective Surface -> 任意形状へのprojection mapping
- HaptoMapping: Visuo-Haptic Augmented Reality by Embedding User-Imperceptible Tactile Display Control Signals in a Projected Image -> 映像への刺激重畳提示
- SEAR: Scaling Experiences in Multi-user Augmented Reality -> AR collaboration
Locomotion (Asia-Pacific)
- Effects of Virtual Room Size and Objects on Relative Translation Gain Thresholds in Redirected Walking -> RDW時の6種類のscale ratioの比較
- RedirectedDoors: Redirection While Opening Doors in Virtual Reality -> 扉の効果
- PseudoJumpOn: Jumping onto Steps in Virtual Reality -> 壇上へのvirtual jump
- Solitary Jogging with A Virtual Runner using Smartglasses -> 3種類のvirtual runnner表現の比較
- Optimal Target Guided Redirected Walking with Pose Score Precomputation -> リセット後の衝突回避を考慮したRDW
- FrictShoes: Providing Multilevel Nonuniform Friction Feedback on Shoes in VR -> 摩擦feedback
Perception
- Effects of Field of View on Dynamic Out-of-View Target Search in Virtual Reality -> 2種類のFOVでの物体をカウントするタスクの性能比較
- The Smell Engine: A system for artificial odor synthesis in virtual environments -> 匂い効果
- All Shook Up: The Impact of Floor Vibration in Symmetric and Asymmetric Immersive Multi-user VR Gaming Experiences -> 床振動効果
- Shedding Light on Cast Shadows: An Investigation of Perceived Ground Contact in AR and VR -> 影の重要性
- Effects of Transparency on Perceived Humanness: Implications for Rendering Skin Tones Using Optical See-Through Displays -> optical see-throughでの肌表現
Machine Learning
- Continuous Transformation Superposition for Visual Comfort Enhancement of Casual Stereoscopic Photography -> ステレオ写真の視覚的向上における強化学習等の適用
- SPAA: Stealthy Projector-based Adversarial Attacks on Deep Image Classifiers -> Project-and-Capture processの最適化
- 360 Depth Estimation in the Wild – the Depth360 Dataset and the SegFuse Network
- ScanGAN360: A Generative Model of Realistic Scanpaths for 360° Images
- A Virtual Reality Based System for the Screening and Classification of Autism -> 自閉症患者向けショッピング体験システム
- Online Projector Deblurring Using a Convolutional Neural Network -> ボケ軽減
Medical and Health Care
- Inducing Emotional Stress from the ICU Context in VR -> Virtual ICUへの感情ストレス提示
- 2D versus 3D: A Comparison of Needle Navigation Concepts between Augmented Reality Display Devices -> 手術サポートARにおける効果的な針表示
- Supporting Playful Rehabilitation in the Home using Virtual Reality Headsets and Force Feedback Gloves -> VR rehabilitation
- Evaluating Perceptional Tasks for Medicine: A Comparative User Study Between a Virtual Reality and a Desktop Application -> mirror therapyなどのdesktopとVRの比較
Negative Effects
- Answering With Bow and Arrow: Questionnaires and VR Blend Without Distorting the Outcome -> VR空間内での質問手法
- Systematic Design Space Exploration of Discrete Virtual Rotations in VR -> Virtual方向転換の比較
- Omnidirectional Galvanic Vestibular Stimulation in Virtual Reality -> 多方向性GVSによる酔い軽減
Audio in VR
- Investigating how speech and motion realism influence the perceived personality of virtual characters and agents. -> Virtual agentのリアル性
- Spatial Updating in Virtual Reality – Auditory and Visual Cues in a Cave Automatic Virtual Environment -> CAVEで3種類の視覚効果と1種類の音声効果による空間情報更新時の方向感覚喪失評価
- Audience Experiences of a Volumetric Virtual Reality Music Video -> Volumetric VRに対するユーザー体験評価
- Comparing Direct and Indirect Methods of Audio Quality Evaluation in Virtual Reality Scenes of Varying Complexity -> 5つの複雑なシーンにおける4種類の音声効果比較
Haptics
- Tapping with a Handheld Stick in VR: Redirection Detection Thresholds for Passive Haptic Feedback -> DriftingHandとVariStickの提案
- STROE: An Ungrounded String-Based Weight Simulation Device -> 手足の間に張った紐の加重を変えるhaptic device
- LevelEd SR: A Substitutional Reality Level Design Workflow
- Body Warping Versus Change Blindness Remapping: A Comparison of Two Approaches to Repurposing Haptic Proxies for Virtual Reality -> 身体動作時の微調整と視覚反射時の微調整の比較
- “Let;s Meet and Work It Out”: Understanding and Mitigating Encountered-Type of Haptic Devices Failure Modes in VR -> ロボット追従型haptic deviceでのFMEA評価
- Exploring Pseudo-Weight in Augmented Reality Extended Displays -> 身体装着型拡張displayの重量錯覚
Locomotion (Europe)
- Foldable Spaces: An Overt Redirection Approach for Natural Walking in Virtual Reality -> さまざまなバーチャル空間折り曲げ方法によるredirected walking
- Design and Evaluation of Travel and Orientation Techniques for Desk VR -> multi touch interfaceによる新しいvirtual walking interface手法
- Eye Tracking-based LSTM for Locomotion Prediction in VR -> 視線からの行動予測
- The Chaotic Behavior of Redirection – Revisiting Simulations in Redirected Walking -> redirected walkingの再simulationから得た知見
- How to Take a Brake from Embodied Locomotion – Seamless Status Control Methods for Seated Leaning Interfaces -> 前傾によるlocomotionへの6つの停止方法比較
Rendering
- SivsFormer: Parallax-Aware Transformers for Single-image-based View Synthesis -> 視差を考慮した1枚画からのシーン画像復元
- Reconstructing 3D Virtual Face with Eye Gaze from a Single Image -> 1枚顔画像から視線情報を維持した3D再構成
- Interactive Mixed Reality Rendering on Holographic Pyramid -> Holographic pyramid displayへの効率的なレイトレでの光沢表現
- Rectangular Mapping-based Foveated Rendering -> 長方形マップによる効率的なfoveated rendering
- Dynamic Projection Mapping for Robust Sphere Posture Tracking Using Uniform/Biased Circumferential Markers -> 動体球への安定したprojection mapping
- Dynamic Multi-Projection Mapping Based on Parallel Intensity Control -> 複数projectorによる安定した動体へのprojection mapping
Computer Vision
- Real-Time Gaze Tracking with Event-Driven Eye Segmentation -> 視線トラッキング
- Structured Light of Flickering Patterns Having Different Frequencies for a Projector-Event-Camera System -> 様々な光源環境でcameraとprojectorの同期が可能
- Instant Reality: Gaze-Contingent Perceptual Optimization for 3D Virtual Reality Streaming -> 効率的な3D VRストリーミングのための視線適用
- Prepare for Ludicrous Speed: Marker-based Instantaneous Binocular Rolling Shutter Localization -> ステレオのローリングシャッターカメラの姿勢を高速に計算
- Robust Tightly-Coupled Visual-Inertial Odometry with Pre-built Maps in High Latency Situations -> 低速なモノカメラでSLAM表現
Inclusive VR
- Asymmetric Lateral Field-of-View Restriction to Mitigate Cybersickness During Virtual Turns -> バーチャルターンでの酔い軽減
- You’re in for a Bumpy Ride! Uneven Terrain Increases Cybersickness While Navigating with Head Mounted Displays -> 地面の凸凹が酔いに与える影響
- Auditory Feedback for Standing Balance Improvement in Virtual Reality -> 音声刺激による立位姿勢の改善
Advanced UI
- Galea: A physiological sensing system for behavioral research in virtual environments -> 脳波利用
- Validating the Benefits of Glanceable and Context-Aware Augmented Reality for Everyday Information Access Tasks -> 効率的なコンテンツのAR表示
- User Preference for Navigation Instructions in Mixed Reality -> MR向け新しいuser navigation
- Tangiball: Foot-Enabled Embodied Tangible Interaction with a Ball in Virtual Reality -> サッカーゲーム向けUFO型tangible device
- Redirecting Desktop Interface Input to Animate Cross Reality Avatars -> リモート会議向けavatar表現
- UrbanRama: Navigating Cities in Virtual Reality -> 新しいMapの表現方法、移動も考慮
所感
あくまでも個人的な印象ですが、IEEE VR 2020でIntelが発表した”ThinVR: Heterogeneous microlens arrays for compact, 180 degree FOV VR near-eye displays”のような衝撃的な発表はありませんでした。
非常に技術の進化に忠実に、今までの技術に対して “the proposed approach performs better than the state-of-the-art method” と締める論文を数多く見かけました。
キーワードとしては、Gaze関連が増加傾向でしょうか。Displayのセッションは相変わらず面白いネタが多いですね。あと、Deep Learningはもはや当たり前の技術と言ってよいでしょう。
また、Projection mappingネタが例年よりも多かったという印象です。逆に言うと、特にHMDベースのVRネタは少し落ち着いてきた感もありますね。
個人的にはFOVの違いによるタスク効果の比較がとても興味深かったです。また、いくつかのレビュー論文も勉強になりました。
Posterセッション
Posterセッションは三分割されて3日間毎日行われました。こちらを見てもわかるとおり、約200のポスター発表がありました。ここではすべてを網羅しませんが、興味深いポスターがあったら、是非Teaser Videoをクリックしてみて下さい。30秒のダイジェスト動画があり手軽に内容を把握できます。
冒頭で述べたとおり、PosterセッションはVirbelaのiLRN Virtual Campusベースで行われました。Self avatorの自撮り画像だとこんな感じです。いい感じのポスターブースが用意されているのがわかると思います。そして各ブース内（水色枠の内側）に入るとそのブースだけのプライベートな音声空間になるので、隣のブースの会話などは聞こえて来ず、よくできた空間設計になっています。
おととしのアトランタ開催のときはMozilla Hubsベースのシステムで、見た目は似ているのですが、CPU/GPU負荷がとても重くてゲーミングパソコンで参加に臨みました。（今は軽減化されているかも知れませんが）
一方今回のiLRN Virtual Campusは非常に軽いという印象で、普通のノートPCでもさくさくと動作したのが印象的でした。またポスターはGoogle slideベースでシェアする形式で、直前まで内容を修正できたり、動画も挿入できたりで、プレゼンテーションの幅や即応性は劇的に向上していました。動画はループ再生もできたので、音声付きを流していい感じのポスター空間を作っていたブースもありましたね。
ここまではかなりよかったのですが、上の絵を見てもわかるとおり、とにかく人が少ない、ほとんどは発表者だったのではないかと思われます。アトランタのときは透明人間モードがあって、ポスターの前に来る (Visibleな) 人は皆無に近かったので、それよりは随分マシとも言えますが、それでもまだ少ないですね。
これはPaperセッションはZoom中心で、PosterやDemoとの導線が別になっていることが主な要因ですね。たとえば大阪開催（リアル開催）のときは、各セッション会場への通り道がPosterセッション会場になっていましたから、自然と人が集まり大盛況でした。こういった自然な空間共有への流れが欲しいところではあります。
では主催者側が何もしていないかというとそんなことはなくて、さまざまなイベントをiLRN Virtual Campus内で開催し、人を呼び込もうとしていました。それでもなかなか盛り上がらないんですよね。何かプレミアム感を出すとか、あるいはKeynoteはZoomではやらないなど、やりようはいくつか考えらえますが、学会としての立場や多様なリモート環境に対応する必要があることを考えると、安全側に倒さざるを得ないのも頷けます。
余談ですが、Self avatorはいくつかのジェスチャーができたり、歩くだけでなく走ることもできるようになっていて、コミュニケーションへの付加効果は少なからず感じました。踊るモードもあって、ポスター会場のはじっこで踊っていたら、学生がすかさずやってきて、向かい合って踊ったなんてことがありました。
Keynote
Keynote speakerはこちらの三者でした。個人的にはAliesha Staplesさんの講演内容が、Jeremy Bailensonの「VRは脳をどう変えるか ?」に通じるものがあって、とても共感できましたね。Paul Debevecさんは主にGoogleのマルチカメラ技術について紹介していました。すでに世に出ている情報のまとめ講演という感じでしたが、同じ内容を「GoogleのVR･ARへの取り組み」として大学の講義で使用しているので、再確認できてよかったです。
ということで、
3/12から始まったIEEE VR 2022のレポートを前回今回と2回に渡ってご紹介しました。ダイジェストでお届けしましたが、いかがだったでしょうか ? 雰囲気伝わったでしょうか ?
個人的にはWorkshopが濃密で楽しかったですね。Paperセッションは3セッション同時並行であっち行ったりこっち行ったりあまり落ち着いて聞けなかったのですが、いくつか印象的な研究があり、このあとゆっくりと論文を読んでみたいと思っています。
来年のIEEE VRは上海開催です。パンデミックがどうなっているのかも気になりますし、初めてのHybrid開催になるとすれば、どういった形になるのか大変興味深いです。
加えてAR/MR/VRの国際会議ISMAR 2022の宣伝がありました。こちらはシンガポール開催ですね。リモート開催で参加費用が安いと気楽に参加できてよいですね。