苹果如何把声音放到这一特殊人群大脑里
苹果公司目前正在开发一项新的技术 Bluetooth Low Energy Audio 音频,这项技术支持直接将数位声音流放到助听设备中,以便听觉受损的用户通过 iOS 10 的 Live Listen 特性,把 iPhone 当麦克风使用,去和别人对话。连线杂志的 Steven Levy 最近撰文详细介绍了这项特性背后的工程工作,它就是利用低耗电蓝牙 Bluetooth Low Energy 来流放音频,这项新技术就被称为 Bluetooth LEA 或 Low Energy Audio。苹果公司 CEO 蒂姆·库克在 Twitter 上也转载了这篇文章,并表示:对于听觉受损人士而言,这是辅助功能的一次突破。为我们的团队和科利耳的合作感到自豪。那么苹果和科利耳在这次合作中遇到了哪些问题,他们又是如何解决的呢?我们可以通过 Steven Levy 的文章来详细了解:我和 Mathias Bahnmueller 的开场白和其他电话采访的开场白一样。“你能听到吗?”他问我,我肯定地回答了。然后我问了同样的问题,他回答能听到——他可以清晰地听到我的声音。可以说这是一个小小的奇迹。这是因为 Bahnmueller 本身听力受损严重,一年前才接受手术植入了耳蜗——内耳中的一种电子装置取代了通常的听觉机制。目前这种治疗方案越发主流,大约有 100 万病人接受了这种治疗方案,可这只是一部分受益人。(全球听力受损人数为 3.6 亿,只有 10% 的人适合这种手术。)“对于那些助听器在也起不到任何作用的人来说,这是唯一的办法。”Englewood 听力学家 Allison Biever说。“它就好像恢复广播电台的信号。”科利耳的植入技术并没有使用传统的助听方法,而是将设备植入内耳,通过电极将设备和发送音频信号到大脑的神经连接起来。植入的设备通过外部麦克风以及声音处理器获取声音。到目前为止,用户助听还得通过笨拙的遥控器去调整设置。通过智能手机实现助听的话则还需要单独的设施,可是这种设施通常都有延迟,通话质量不高,直接影响到用户和其他人的交流。但是从事汽车安全工作的 49 岁 Bahnmueller 最近测试了一个新的解决方案。他在电话里能清楚地听到我的声音,是因为他所使用的与植入耳蜗连接耳罩式设备是直接从他的 iPhone 将声音流放到他的头脑中。Bahnmueller 所使用的这个系统就是苹果和科利耳 Cochlear 合作研发的成果。科利耳公司在人工耳蜗植入技术兴起的时候就已经积极参与到开发和研究之中。上周科利耳宣布,他们的第七代人工耳蜗 Nucleus 7 已于 6 月份获得了美国食品药物管理局(FDA)的批准,该设备可将声音直接从兼容的 iPhone、iPad 或 iPod touch 等设备传输到用户的手术嵌入式音频处理器。同时该设备还允许用户对 iPhone 等设备传来的音频进行设置。利用这套系统,用户不仅能够直接接听电话,还能够流放歌曲、播客、有声书籍、电影原声,甚至和 Siri 对话。“虽然我们的设备一直都支持助听设备,但我们发现听觉障碍用户打电话的体验并不怎么好。”苹果全球辅助功能政策主管 Sarah Herrlinger 说,“所以我们把公司里不同领域的人聚集到一起,开始研究要怎么做才能让这个过程变得更轻松一点。”她透露苹果的辅助功能团队为了支持传统助听设备,已经努力了好几年。当然这些努力都没有白费,现在 App Store 中有不少和助听相关的应用,iOS 设置中也有助听模式。苹果还开发了 Live Listen,支持助听设备用户把 iPhone 当麦克风用。开会时或者在嘈杂的餐厅里这个特性会非常实用。如何让 iPhone 和科利耳的人工耳蜗完美匹配才是一个更为艰巨的任务。“我们的目标是要摆脱任何需要电池和可能造成障碍的东西,电话打进来的时候,只要按下一个按键就能接听,声音会流放到助听设备里。”Herrlinger 说。这个过程不简单,因为这个解决方案要求进一步突破蓝牙无线技术的极限。为此苹果辅助功能团队需要无线、能耗和用户界面设计方面的天才工程师互相配合。“这是一种不同类型的设备,我们需要更多的迭代试验。”苹果辅助功能工程主管 Eric Seymour 说。想要解决流放高质量音频时助听设备电池消耗快的问题,苹果此前开发了新的技术 Bluetooth LEA 或 Low Energy Audio。2014 年首款 Made for iPhone 助听设备出现的时候,苹果就已经推出他们的这项技术了,只是苹果对此只字未提。此前,蓝牙低能耗标准主要是在发送数据时执行一些很简单的任务,比如从心率检测器和 FitBit 上读取数据。苹果表示 LEA 首次利用低能耗标准去流放高质量音乐和声音,同时不影响 LEA 延长电池续航特性。苹果 CoreBluetooth 工程经理 Sriram Hariharan 表示:“我们选择 Bluetooth LEA 技术,是因为它是目前苹果手机中能耗最低的无线电”。为了让 LEA 支持科利耳的植入耳蜗,Sriram Hariharan 说:“我们花了大量时间去调试解决方案,以满足助听设备和人工电子耳蜗中的电池技术要求。”苹果明白,和所有的无线连接一样,在传输过程中会有一些数据包丢失,所以团队必须找出弥补办法,重新传输这些数据包。“所有这些东西都综合起来考虑,找出实际解决办法。” 当然用户是不需要管什么数据包传输之类的事情,所有的控制都是标准设置,只需一个激活动作即可。Herrlinger 表示 iPhone 或 iPod touch 和助听设备的配对方式就和 AirPod 或其他蓝牙耳机配对的方式一样。我想知道开发 iPhone 和助听设备配对的过程是否会影响到 AirPods 的开发。不过一番对话之后,我才明白 Made for iPhone 与设备的辅助功能相关,AirPods 不使用 Bluetooth LEA 技术。上周公布的系统还有一个特性,它支持“双峰”设置,即一边耳朵使用植入式耳蜗来听声音,另一边则使用传统的助听设备。这是很常见的,因为听觉损耗通常会有一边耳朵损耗比较严重的情况。因此在苹果和科利耳的合作中又加入了 ReSound,三家公司合作给用户带来无缝体验。Herrlinger 介绍了在一种“双峰”使用情境:用户在一个比较吵闹的餐厅里,一起吃饭的人坐在用户的左边,那么用户就可以调低右边的声音,把噪音隔绝在外,更能集中到两个人的对话上。Nucleus 7 还会利用苹果的定位技术推出 Find My Processor,方便用户定位他们的耳蜗位置。虽然科利耳是首个使用该系统的厂商,但苹果也会把技术免费提供给其他合格的制造商。像苹果这样能够将医疗和技术合并起来,对在助听方面有需要的用户来说当然是好事。但是从事助听工作 20 年的听力学专家 Biever 博士的一番话又让我陷入了深思。她说有了这样一个系统,用户可以以听力正常的人不能够的方式去控制他们的声音环境,有时她竟然也会羡慕这些用户。在一个房间里,只有你一个人能够听到歌曲在耳边响起,这得多爽。“在一个非常吵闹的房间里正好 iPhone 上有电话打进来,我不能把手机放到耳边就接听电话,因为太吵了,但是他们就可以。”这种矛盾也让我想到之前看过的一个脑机界面研究案例:这个研究主要还是针对有认知困难的人,其长期目标是改变人的大脑。其实我们已经是某种形式上的半机械人了,每天就是靠着随身携带的电子设备在运转。也许几十年后我们就能看到它们被植入人体内。 我并不是说我们每个人都要手术使用苹果开发出来的工具。可是我预想过这样一个未来:我们的感官增强,但影响却更小。或许未来某天,用智能手机就能调节听觉环境,就像在在立体声系统中调高音、低音一样常见。目前,植入的人工耳蜗和苹果的新技术对于 Mathias Bahnmueller 日常使用来说已是绰绰有余。在手术之前,Bahnmueller 发现听力障碍会影响到他的工作,比如董事会上无法跟进演示速度等。他也无法和自己爱的人好好交流。他只能让 10 岁的女儿不断重复她说的话,女儿问他出了什么事的时候,他也只能说:“算了,不重要。”他感觉自己整个人都被毁了。如今植入耳蜗之后,女儿的话只说一遍他也能听清。他可以用新设备来听有声读物。最近和妻子去自酿啤酒店里时,他拿出手机,改变了设置,然后听到的就只有妻子在耳边说的话了。也许这个小酒馆里还有其他人在他周围大声交谈,可在这个植入了人工耳蜗的人耳中,他清晰听到的就只有妻子的说话声。
关键词:
热门推荐
-
苹果商城的更新 独立游戏在新版苹果商城中有什么作为
2017-10-13 -
只给未成年玩家退款的游戏机制 无法让玩家权利得到真正的保障
2017-10-12 -
不敌“狼人杀“ 挂牌价1.3亿“三国杀”将被卖
2017-09-27 -
CSGO外挂"大牛"制被捕 最高可判15年
2017-09-27
热门专题
每日资讯更多+
-
“元宇宙”为何爆火?游戏ETF带来怎样的投资机遇?
2021-12-27 -
ar和vr的区别就是和用途 AR、VR是真火还是虚火?是复活还是重生?
2021-12-27 -
2021年VR/AR产业链日趋成熟,行业爆发在即
2021-12-27 -
未来5-10倍的VR/AR概念5大龙头公司
2021-12-27 -
VR全景漫游系统功能有哪些?自考院校/专业介绍
2021-12-23 -
又一家科技巨头加入直播大潮之中扎克伯格高度关注直播
2021-12-23
VR设备 更多+
-
V社自家VR设备获IGN 8.5分
2019-07-01 -
ARM显示芯片的设计可以为VR一体机带来更好的体验
2019-05-16 -
来自Bellevue的Valve Index原型VR硬件照片曝光
2019-05-16 -
Acer推出ConceptD OJO 4K Windows MR头显
2019-04-12
VR网站 更多+
-
鸥课学院
2017-09-12 -
玖的VR
2017-08-10 -
ARinChina技术论坛
2017-07-15 -
虚幻引擎社区
2017-07-15