加州理工学院(Caltech)的科学家们正在使用AR技术给房间里的物体发出声音,让视力受损的人能够听到周围的声音。
据世界卫生组织估计,全球约有13亿人患有某种形式的视力障碍。其中2.17亿人患有中度至重度视力障碍,3600万人为法定盲人。
最近发表的题为“增强现实为盲人提供认知助手”的报告详细介绍了三位加州理工学院科学家的工作,这些科学家正在深入探讨使用AR作为一种帮助盲人通过计算机视觉算法导航新的和不熟悉的位置的方法的想法。允许现实世界中的对象在进入房间时向用户“展示自己”。
由Markus Meister、Yang Liu和USC博士后学者Noelle Stiles(博士,16)组成的团队利用微软HoloLens的能力在真实世界的“场景”上创建了一个数字网格。通过使用一种名为“认知增强现实助手”(CARA)的独特软件,他们能够将信息转换成音频信息,给每个物体一个“声音”,戴上头显就能听到。
通过CARA, HoloLens可以探测到你周围的物体,然后通过空间化的声音,让他们对你喊出来,告诉你这个物体是什么。如果物体在左边,声音将从AR头显的左边传来,而右边的任何物体将从头显的右边对你说话。声音的音调会根据你离物体的距离而变化;物体离得越近,音高就越高。
为了避免过多的信息轰炸用户,加州理工学院的团队设计了几种简化用户体验的模式。一种是“聚光灯模式”,用户可以将自己的脸直接指向一个物体,这个特定的物体会通过告诉你它是什么向你宣布自己。另一种模式叫做“扫描模式”,房间里的物品被CARA扫描,然后每件物品都从左向右发出信号。
第三种模式是“目标模式”(Target mode),用户可以使用房间中的任何物体作为向导,帮助他们导航周围的环境。这种方法非常类似于你在博物馆使用音频指南时的体验,但是你接收的不是关于艺术的信息,而是关于你周围环境的信息。想象一下,有了音频雷达。
在加州理工学院提供的一段视频中,生物科学教授、加州理工学院神经生物学执行主任马库斯•梅斯特(Markus Meister)表示:“VR和AR的所有技术都是从场景中获取信息,然后将其转化为其他用途。”
在加州理工学院的试验中,他们让7名盲人使用HoloLens,目的是导航到刘的二楼办公室。在戴上AR头显后,测试者会收到一条信息,表示导航已经开始,然后是“跟我来”的指令。
经过最少的训练,每个受试者都发现自己在大厅、两层楼梯和几个角落里穿行——所有这些地方都通向刘的办公室——第一次尝试时没有遇到任何问题;因为虚拟指南的设计是为了领先几步,所以测试对象能够“看到”前面有什么。
汤米马塞勒斯,一个人不是盲人,但是没有眼镜不能开车,在公园散步,甚至工作,他告诉VRScout,“这种类型的技术将完全开放的可能性比我不幸的人,向他们提供一些额外的独立和安全,”并补充道,“一些简单的处理,比如加大遏制和进入门口,我们都认为是理所当然的。我无法想象如果你是法定盲人会是什么样子。
马塞勒斯确实带来了这样一个事实,这种技术不会允许他开车不戴眼镜,看电影,或者认识到街对面的一个朋友,但他坚信,基于“增大化现实”技术可以取代白手杖,许多失明者仍在使用扫描周围环境障碍和方向标志。马塞勒斯说“我们可以看到人们戴着增强现实头显,而不是用他们的白色拐杖四处走动,而且他们能够更准确地做到这一点,”。
那么,这个团队将何去何从呢?根据梅斯特的说法,“你想要在这样的设备中构建什么样的功能,这是一个极限,因为这本质上是一个软件问题。”
对加州理工学院工作的早期测试显示了许多希望,但仍然有很多工作要做。下一阶段的测试应该探讨HoloLens和CARA在大型公共场所的工作情况,以及一大群人不断移动和转移,例如购物中心,商店和游乐园。
该研究由Shurl和Kay Curci基金会资助。
热门推荐
-
Apple将于2022年推出具有Mac级处理能力AR耳机
2021-11-29 -
苹果将在2022年推出AR头戴设备 采用运算能力与Mac同等级处理器
2021-11-26 -
《Pikmin Bloom》上线两周获200万下载量 此外还有一个AR增强模式
2021-11-16 -
Niantic发布AR Lightship技术 创建一个真实世界元节应用程序
2021-11-12
热门专题
每日资讯更多+
-
“元宇宙”为何爆火?游戏ETF带来怎样的投资机遇?
2021-12-27 -
ar和vr的区别就是和用途 AR、VR是真火还是虚火?是复活还是重生?
2021-12-27 -
2021年VR/AR产业链日趋成熟,行业爆发在即
2021-12-27 -
未来5-10倍的VR/AR概念5大龙头公司
2021-12-27 -
VR全景漫游系统功能有哪些?自考院校/专业介绍
2021-12-23 -
又一家科技巨头加入直播大潮之中扎克伯格高度关注直播
2021-12-23
VR设备 更多+
-
V社自家VR设备获IGN 8.5分
2019-07-01 -
ARM显示芯片的设计可以为VR一体机带来更好的体验
2019-05-16 -
来自Bellevue的Valve Index原型VR硬件照片曝光
2019-05-16 -
Acer推出ConceptD OJO 4K Windows MR头显
2019-04-12
VR网站 更多+
-
鸥课学院
2017-09-12 -
玖的VR
2017-08-10 -
ARinChina技术论坛
2017-07-15 -
虚幻引擎社区
2017-07-15