音频对整体的VR体验而言十分重要,高质量的空间音频能够提升沉浸感,并创建一种临场感,从而让用户感觉自己仿佛真的置身于虚拟世界。为了提供必要的线索,重要的是要考虑头相关传递函数(HRTFs)。HRTFs描述了头、耳、鼻和嘴的形状是如何影响耳朵听到的声音,提高一些频率,减弱其他频率。尽管它提供了一个三维声音模型,但由于缺乏空间氛围,其听起来的人为痕迹会比较明显。为了弥补这一点,我们可以添加环境建模来模拟附近几何体的声学效果。
Oculus早前已经发布的VR音频设计指南《VR Audio Design, Engineering and Mastering Guide》就包含关于上述环境建模的介绍。其主要概述了驱动环境建模的核心概念,包括混响和反射、示例模型、临场感、世界声学等。
下面为整理的上述VR音频设计中的“环境建模部分”:
1. 混响和反射
当声音在空间中传播时,它们会从物体表面反射,并产生一系列的回声。一开始的清晰回声称为早期反射,其可以帮助我们确定声音的方向和距离。随着回声的传播、减弱和相互作用,它们会产生了一个后期混响尾,而它有助于我们的空间感。
2. 鞋盒模型
一些三维位置实现将简单的“鞋盒室”建模在HRTF实现之上。其中包括指定六面平行墙(即“鞋盒”)的距离和反射率,有时还包括听者在房间内的位置和方向。使用这个基本模型,你可以模拟墙壁的早期反射和后期混响特性。
尽管远非完美,但它比人为混响或没有混响要好得多。
3. 人为混响
由于模拟物理墙壁和后期混响的计算成本很快就会变得非常高,所以混响通常是通过人为的、特别的方法引入,例如80年代和90年代的数字混响单元所使用的方法。尽管计算强度比物理模型小,但它们不考虑听者的方位或周围的物理环境,所以这些方法听起来不太真实。
4. 采用脉冲响应混响
卷积混响从一个特定的现实世界位置采用脉冲响应,如录音棚,体育场,或演讲厅。然后可以将其应用于信号,使其听起来像是从所述位置播放。这可以产生逼真的和身临其境的混响效果。缺点是,从中捕获脉冲响应的真实环境不一定会完美地映射到虚拟世界,而且由于脉冲响应是从单个位置捕获,所以当用户在整个环境中移动时,它无法相应地适配。
5. 世界几何与声学
“鞋盒模型”尝试提供环境几何体的简化表示。它假设没有遮挡,所有表面上的频率吸收相等,六个平行的墙壁与听者的头部保持固定距离。不用说,这是为了性能而进行了大量简化。但随着虚拟现实环境变得更加复杂和动态,它可能无法正常扩展。
目前存在一些模拟衍射和复杂环境几何的解决方案,但支持范围并不广,而且性能影响依然很大。
6. 临场感和沉浸感
音频为整个虚拟现实体验做出了巨大贡献,高质量的空间音频增强了沉浸感,并创造了一种临场感。
当用户位于场景内部时,音频沉浸感能够实现最大化。例如在一个三维象棋游戏中,玩家俯视一个虚拟棋盘所提供空间感不如玩家站在棋盘之上。
热门推荐
-
“元宇宙”为何爆火?游戏ETF带来怎样的投资机遇?
2021-12-27 -
ar和vr的区别就是和用途 AR、VR是真火还是虚火?是复活还是重生?
2021-12-27 -
2021年VR/AR产业链日趋成熟,行业爆发在即
2021-12-27 -
未来5-10倍的VR/AR概念5大龙头公司
2021-12-27
热门专题
每日资讯更多+
-
“元宇宙”为何爆火?游戏ETF带来怎样的投资机遇?
2021-12-27 -
ar和vr的区别就是和用途 AR、VR是真火还是虚火?是复活还是重生?
2021-12-27 -
2021年VR/AR产业链日趋成熟,行业爆发在即
2021-12-27 -
未来5-10倍的VR/AR概念5大龙头公司
2021-12-27 -
VR全景漫游系统功能有哪些?自考院校/专业介绍
2021-12-23 -
又一家科技巨头加入直播大潮之中扎克伯格高度关注直播
2021-12-23
VR设备 更多+
-
V社自家VR设备获IGN 8.5分
2019-07-01 -
ARM显示芯片的设计可以为VR一体机带来更好的体验
2019-05-16 -
来自Bellevue的Valve Index原型VR硬件照片曝光
2019-05-16 -
Acer推出ConceptD OJO 4K Windows MR头显
2019-04-12
VR网站 更多+
-
鸥课学院
2017-09-12 -
玖的VR
2017-08-10 -
ARinChina技术论坛
2017-07-15 -
虚幻引擎社区
2017-07-15