网易首页 > 网易号 > 正文 申请入驻

讯飞再推黑科技,“飞鱼音效”让你“声”临其境

0
分享至

技术平权,是我听过最浪漫的词。通过技术上的努力,让每个人都能平等、有尊严地享受丰富多彩的现代文明,这才是技术进步的魅力。

广州车展前夕,科大讯飞正式发布了“飞鱼音效”产品,通过端云协同的人工智能算法进行调音,软硬一体的方案使普通车主也能拥有百万豪车的听觉体验。

该套“飞鱼音效”将搭载在智己、广汽传祺、奇瑞等品牌的车型上。

科大讯飞请了多位音乐学院的学生,体验某豪华品牌中大型SUV的原车高级音响,及科大讯飞改装的某10万级国产SUV音响。经过多维度的盲评,后者的各项表现都要优于前者。

科大讯飞总裁吴晓如在介绍“飞鱼音效”前,举了相机和手机的例子。过去摄影只是属于少数人的爱好,因为相机很贵且功能单一,而现在随着手机影像素质越来越好,越来越多人可以随时用镜头记录生活,甚至还催生了用Vlog、短视频来分享生活。

手机受制于成本和尺寸,镜头和传感器并不可能比相机好,能做到现在的状态,依靠的是手机的成像算法、补偿算法、合成算法、光学防抖算法等一系列的智能软件的加持,拉高了硬件的体验。

科大讯飞“飞鱼音效”的做法和手机相机的逆袭类似,也是通过软件算法,拉高硬件的体验,让普通硬件也能达到豪华硬件的水准。具体是怎么做到的呢?

“飞鱼音效”的秘密

我们通常认为“身临其境”,是对听觉体验最高的赞赏,毕竟去现场看话剧比看电影贵,现场听音乐会也比听数字CD贵。

因此想知道“智能算法是如何提升硬件体验”,就得先聊聊人是如何通过听觉来感知环境的?

我们闭上眼睛,可以听到不同的声音的强弱层次,以及各个声源位于我们的位置。不同声音的区分是来自我们大脑内的记忆存储,声音的强弱则来自音量和距离,而声源的定位则依靠我们耳朵的结构,以及声音入耳的角度。

具体来说,我们是通过声音在左右耳之间的延迟,来判断声源水平方位,通过耳廓对声波的反射,获取声源的垂直方位。

如果能够通过精细化的调校模拟出不同声音的音量、离左右耳的距离,在耳廓中的反射,就能实现虚拟声学空间,在汽车的座舱中营造立体的、高还原度的声场。

在这一过程是非常难的。很多对座舱听觉体验有要求的车型,都拥有10个以上扬声器,每个扬声器有3到4个喇叭,每个喇叭都需要协同调节,参数量非常大。这种多参数的系统调优耗时耗力,但现阶段多数都是依靠“金耳朵”们人力完成的。因此对一套动辄上万元的音响系统而言,调校是当下成本的大头。

此外受制于座舱内空间有限,扬声器安装的位置也不够灵活,但多数的音响系统调校,都是基于音乐厅、家庭影院,没能很好适配座舱场景,因此也无法最大化发挥昂贵硬件系统的价值。

科大讯飞的做法是,通过采集舱内每一个位置接收不同喇叭声音的参数,通过人工智能算法针对座舱场景自动调优,减少了声源调校的人力成本和时间成本。

做到这些还不够,科大讯飞依靠自身强大的语音人工智能技术,将各类声音做实时的元素分离,精准还原声场。例如为了还原一场电影的声音效果,会将声道中不同人的对话、BGM声、背景直升机的声音、海浪的声音、海鸟的叫声等分离出来,再根据人耳的位置,按照不同方向、频率、音量等做精细化分布,从而听起来更有层次感和指向性。

为了软硬一体提升座舱听觉体验,科大讯飞发布了“飞鱼智能音频管理系统”,支持10路麦克风接入、6路传感器接入、和对26个扬声器单元的管理。“飞鱼智能音频管理系统”搭配不同数量的普通扬声器,可实现不同梯度的座舱听觉体验。

电动汽车拥有更高的电压、更多的带电量,为座舱的听觉提升提供了基础,车主们对电动汽车的听觉需求也会越来越高。科大讯飞的“飞鱼音效”,能够通过智能算法的加持,实现技术平权,让优质的听觉体验不再是需要花近10万费用加装的奢侈品。

融入飞鱼OS的场景化服务

场景这个词愈发频繁地进入我们的视野,自动驾驶需要场景化落地,智能座舱也需要针对不同场景做更精细化的服务。本次科大讯飞的发布会,飞鱼OS也增加了很多针对场景做的用户体验优化设计。简单来分享几个我认为很棒的设计。

融合视觉的动态完美“皇帝位”。通过座舱摄像头获取的座舱信息,就可以知道当前车内该服务的“听”者是谁,从而做到自动切换声场。同时视觉算法可以捕捉耳朵的位置,做到动态的声场定位。当一个人开车时,系统会让音响的“皇帝位”跟着主驾驶的耳朵走。这相对于此前在车内调校几个固定声场,再在车机屏幕上手动切换,用户体验是质的飞跃。

飞鱼音效和辅助驾驶的融合体验。辅助驾驶系统启用下,座舱会有很多的提示信息和提示音,飞鱼OS希望通过ADAS的感知数据,让提示音能够和障碍物的方位保持一致。例如当左前方有车近距离Cut in,触发系统警报声,就会从左前方传来。这样避免了辅助驾驶系统下消息过密,影响体验。

融合视觉的车内无障碍交流。同样是通过座舱摄像头或许视觉信息,当通过唇部判断两个人在聊天时,系统会主动降低这两个位置听到的声音音量,让聊天信息更清晰。如果是两个坐在前后排,且车在高速上噪音比较大时怎么办?还有车内交流补偿,就是通过一侧的麦克风降噪收声,然后再在另一个乘客座位的音响内播放,这样来个循环,就能确保两个人在环境噪音较大的情况下无障碍交流。当然,打电话时的收声降噪问题,早就不算问题了。

场景定制。可以针对具不同的场景做不同的定制化体验,例如定制看电影的专属调校、听音乐的专属调校、放松的森林小屋场景,还有KTV车内唱歌的场景。这些场景不仅会对扬声器和声场做专属优化,还会和生态商一起做优化。举个例子,KTV场景下,对伴奏声做声场调校,还会在收声后做声音的优化处理,让你觉得自己唱的更好听。

语音流转。语音电话打进来了,聊到一半,想让后排的乘客继续聊,只需要在屏幕上划一下,就能将声音和收声都移动到该驾驶位。

每个座位专属的语音TTS。同一个语音助手,在不同的座位,可以用不同的TTS存在,也会变得很有趣。想象一下主驾交流使用时是成熟的大人声,而后排的小朋友在后排听到的是童声,每个座位都能听到自己想象中人工智能应该有的声音。

通过不同声音的元素分离技术,精细化的扬声器和麦克风控制,以及视觉人工智能的相结合,座舱在娱乐、办公等不同需求下的用户体验升级,会打来非常大的想象空间。

写在最后:

介绍完“飞鱼音效”以及飞鱼OS的场景化服务,再来分享一个不那么有趣的故事。

科大讯飞苏州研发院的团队,在做完“飞鱼音效”后,邀请了某家车企合作伙伴来体验。对方体验完,表示“飞鱼音效”的表现,在各方面都比进口的名牌音响系统要好,但自家依然不会买。

原因大家都懂的,毕竟声音的优异对很多人而言是“玄学”,而一个响当当的国外牌子刻在显眼的位置,确实更吸引人。

拥抱变化真的是一件艰难且需要勇气的事。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
寿命长不长,牙齿先知道?60岁后,掉牙多的人活得更久?答案来了

寿命长不长,牙齿先知道?60岁后,掉牙多的人活得更久?答案来了

健康八条
2024-11-29 22:06:36
原来东部战区没开玩笑,早睡早起提前公布了

原来东部战区没开玩笑,早睡早起提前公布了

三叔的装备空间
2024-10-14 15:52:18
杜特尔特家族到了生死关头,父女一起被带走传唤,军方拒不下场

杜特尔特家族到了生死关头,父女一起被带走传唤,军方拒不下场

兵鉴堂
2024-12-02 10:12:50
清华劳东燕:要有独立的判断力,不轻信任何灌输的东西,不受人所惑

清华劳东燕:要有独立的判断力,不轻信任何灌输的东西,不受人所惑

三言四拍
2024-12-01 09:07:31
《士兵突击》18年后出演《我是刑警》,演技炸裂,差点没认出来

《士兵突击》18年后出演《我是刑警》,演技炸裂,差点没认出来

姩姩有娱呀
2024-11-30 19:15:40
美国小伙发文求助:他的中国女友向他索要高额彩礼才能和他结婚

美国小伙发文求助:他的中国女友向他索要高额彩礼才能和他结婚

小鹿姐姐情感说
2024-12-01 19:34:12
王菲惊喜现身窦靖童演唱会!网友:状态绝了!母女粉落泪

王菲惊喜现身窦靖童演唱会!网友:状态绝了!母女粉落泪

极目新闻
2024-12-01 10:45:10
班主任用16张戳心图告诉你:不读书,换来的是一生的卑微和底层!

班主任用16张戳心图告诉你:不读书,换来的是一生的卑微和底层!

山东教育信息
2024-10-23 11:58:47
养父讨饭把我养大,30年后我成为上校,婚礼上岳母看见养父就翻脸

养父讨饭把我养大,30年后我成为上校,婚礼上岳母看见养父就翻脸

民间精选故事汇
2024-10-22 12:10:03
马斯克外公才是狠人!1952年驾驶着自己组装的飞机,飞了2万英里

马斯克外公才是狠人!1952年驾驶着自己组装的飞机,飞了2万英里

阿握聊事
2024-11-30 10:20:11
辽篮新外援已被官宣!综合情况喜忧参半 塞内加尔国手需证明自己

辽篮新外援已被官宣!综合情况喜忧参半 塞内加尔国手需证明自己

体坛热消息
2024-12-02 10:50:24
霍启刚当上局长,才明白霍家为何如此看重郭晶晶,还说是“下嫁”

霍启刚当上局长,才明白霍家为何如此看重郭晶晶,还说是“下嫁”

岁月静好2023
2024-12-02 06:23:18
中国卫生巾巨头,暴跌85%

中国卫生巾巨头,暴跌85%

财经锐眼
2024-11-28 18:35:04
大瓜!王思聪新女友曝光,白衣胜雪好像宋慧乔,懒懒被断崖式分手

大瓜!王思聪新女友曝光,白衣胜雪好像宋慧乔,懒懒被断崖式分手

郑丁嘉话
2024-12-02 09:46:43
台湾上校称:台湾可以主动和平回归,大陆必然要答应2个条件

台湾上校称:台湾可以主动和平回归,大陆必然要答应2个条件

现代小青青慕慕
2024-11-17 04:42:48
1胜5负,五连败在招手!朱芳雨魔怔,宏远老板红温,赞助商要撤资

1胜5负,五连败在招手!朱芳雨魔怔,宏远老板红温,赞助商要撤资

多特体育说
2024-12-01 22:12:27
正式离队!25岁后卫告别辽宁男篮,或告别CBA赛场

正式离队!25岁后卫告别辽宁男篮,或告别CBA赛场

保持热爱0263
2024-12-02 11:03:55
具俊晔请老婆吃日式海鲜料理,大S笑逐颜开,隔着屏幕都听到了

具俊晔请老婆吃日式海鲜料理,大S笑逐颜开,隔着屏幕都听到了

鑫鑫说说
2024-12-02 10:29:12
拟破格提拔的郑朝霞,新职明确

拟破格提拔的郑朝霞,新职明确

新京报政事儿
2024-12-01 13:58:25
疑王思聪新女友身份曝光!三周前才满20岁,大量个人私密照曝光

疑王思聪新女友身份曝光!三周前才满20岁,大量个人私密照曝光

裕丰娱间说
2024-12-02 11:04:51
2024-12-02 12:12:49
Autolab
Autolab
专注汽车行业资讯的新媒体
8701文章数 47849关注度
往期回顾 全部

数码要闻

今年通用NAND价格已下跌超50%!三星、铠侠都计划减产稳价

头条要闻

特朗普又提名一位亲家:小女婿父亲在黎巴嫩有强大根基

头条要闻

特朗普又提名一位亲家:小女婿父亲在黎巴嫩有强大根基

体育要闻

勇士四连败,到底是谁的错?

娱乐要闻

这是麦琳?烟熏妆神似安室奈美惠!

财经要闻

400人获刑!诈骗集团后台控制"股票"涨跌

科技要闻

11月成绩单:小鹏首破3万,蔚来小米破2万

汽车要闻

科技是中国豪车梦的支点 腾势Z9走心试驾体验

态度原创

房产
手机
教育
旅游
时尚

房产要闻

一燃再燃!又卖2亿!白鹅潭顶流,引爆全城!

手机要闻

消息称某超大杯搭载 2 亿像素大底潜望长焦,预计为小米 15 Ultra

教育要闻

4年学费48万,还是一个非全日制的博士,你会读吗?

旅游要闻

可徒步可骑行,地铁直达广州「森林氧吧」

今年“卫衣+渣女裤”也太好穿了!显瘦、时髦,谁穿谁好看!

无障碍浏览 进入关怀版