网易首页 > 网易号 > 正文 申请入驻

讯飞星火版《Her》全民开放体验,国内首个极速超拟人交互如何炼成?

0
分享至

8月30日,科大讯飞星火极速超拟人交互技术正式上线讯飞星火App,率先面向全民开放体验。据了解,这是国内首个对标GPT-4o语音的大模型产品,用户可在讯飞星火App中直接体验使用。根据官方介绍,星火极速超拟人交互在响应和打断速度、情绪感知情感共鸣、语音可控表达、人设扮演四个方面实现重大突破,让整体交互体验更自然、更具情感。

上线当天,科大讯飞研究院常务副院长高建清针对星火极速超拟人交互技术及应用展开进一步解读,不仅剖析了星火超拟人交互的“端到端”“共情力”等核心技术亮点,还为公众勾勒出技术产业化的愿景图。

业界首个“端到端”的极速交互体验

笔者第一时间抢先体验星火极速超拟人交互,最直观的感受就是响应速度极快,支持随时打断,可以识别不同的情绪并代入符合情境的对话和回复,丝毫没有“机械感”与“磕巴感”,真的就像平时跟朋友或家人对话那样随和自然。其中,极速响应是确保一切体验的基础,也是区别于其他语音产品的关键能力。

据悉,“端到端”技术框架是实现极速响应的重点。目前在全世界范围内,框架模型算法持续演进。国外以GPT-4o、特斯拉FSD等为代表的多模态端到端方案,已被证实可进一步提升技术效果和用户体验。科大讯飞极速超拟人交互作为业界首个端到端极速超拟人交互,通过将此前级联方案升级为统一神经网络,直接实现语音到语音的“端到端”建模,大幅缩短响应时间,做到了真正的极速。

而人类语言被称为世界上最动听的语言,是因为具有独特的情绪感染力,能够传达复杂的情感和思想,实现文明的传承和进化。但一直以来,智能语音与自然语言处理技术主要针对“内容”模块下功夫,比如能“听懂”更多的语种,“解答”更多的问题。但想要获得拟人化的对话体验,还需要“内容”与“情绪”等模块的协同作用。


大模型时代的到来,恰好能让不同的模块化功能进行“大统一”。高建清表示:“以往语音交互系统都是不同的模块,比如语音识别、语音合成和大语言模型。而科大讯飞星火极速超拟人交互技术基于端到端大模型框架,并结合讯飞多维度语音属性解耦表征训练模块,实现情感、方言、韵律、音色等的可控,实现了对语音交互的拟人化升级。”

大模型开始“情感共鸣”

星火极速超拟人技术还将星火大模型的“共情力”带到了新的高度,在这次单交互系统上线之前,业界的交互系统大多没有情感,均以中性情绪回复,或者个别系统有这种情感,但大多停留在文本层面,而星火极速超拟人技术可以实现情感共鸣,当人机对话时,机器可以理解你的声音内容,包含情绪表达。高建清认为,虽然目前系统暂时不能使用表情,但未来如果将表情、声音内容与声音情绪三者结合在一起,将会是一条可行的新路径。


星火极速超拟人语音的情绪感知能力,能够感知到数十种音频事件与情绪,比如喜怒哀乐、害怕、困惑等,AI会以“感同身受”的方式进行语言组织和情绪表达。而情感共鸣会结合声音和内容等不同维度,在合适的情境下采用合适的情感进行回应,比如用户开心的时候用笑声呼应心情,用户悲伤的时候用安慰语气进行安抚,让AI变得有血有肉有温度。

共情力对于大模型是一项重要的基础能力,或许在未来的人形机器人身上,我们将看到共情力的具象表达。比如你一进门,机器人就向你笑脸相迎地问候道,就像1999年科幻电影《机器管家》里面的人形机器人安德鲁,让人机之间也有情感纽带。当然畅想这些还为时尚早,现阶段的星火极速超拟人交互更有另一部电影《Her》的既视感,TA可以用笑声回应开心,用急促回应愤怒,更自然,更逼真,更还原真人对话的语境。

至于快速打断功能,这也是真人对话中经常出现的状况。比如你入住酒店问前台客服,如果对方答非所问肯定当即打断;同理,没耐心听AI讲一大堆话,或者回答跑偏,立即打断是人的生理本能。“这是个极其复杂的工程问题,需要去判定何时打断、何时不应打断,我们通过技术创新与强化底座认知能力,解决了打断和响应时间平衡的问题。”高建清说道。

谋局未来 挖掘产业应用价值洼地

针对星火极速超拟人交互的未来发展,高建清表示,星火极速超拟人交互的未来计划是“三个更多”,即融入更多模态,具备图片视频模态输入与超拟人虚拟人输入;融入更多语言,增加更多语言、方言的语音交互能力和翻译能力;以及持续拓展情感、人设种类,继而实现诸如口技、唱歌等更多能力与更好体验。


根据中金企信国际咨询测算的数据,我国对话式人机交互核心产品的市场规模将在2025年达到237亿元,直接带动相关产业规模达到1525亿元。同时语音语言技术与大模型结合将赋能更加广阔的应用场景,下游领域包括家电、汽车、消费电子、金融、物流、房产、政务、医疗等,预计智能语音语言技术在垂直行业应用的核心产品规模将在2025年达到159.1亿元,带动相关产业规模达到875.1亿元。


据高建清介绍,星火极速超拟人语音交互在商用领域大致分为三个层级。第一层是闲聊陪伴场景,将在儿童玩具、情感陪伴等品类上增强情感表达能力。第二层是机器人场景,结合多模态能力会加强产品竞争。第三层是智能汽车、智能家电等场景,让车机聊天更具情感,有助于提升车企智能化水平,包括奇瑞汽车、中国一汽、大众汽车等车企都是讯飞星火的合作伙伴。

无论是从技术迭代角度,还是从用户体验角度,星火极速超拟人交互的创新,正让语音交互从“能用”“好用”走向“常用”的新阶段。以讯飞星火为代表的大模型创新,或将重塑语音交互领域,推动语音产业新变革,带来诸如汽车、机器人、家电等更广阔的应用空间,推动万物互联时代的加速到来。

上游新闻 张皓

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
新规!下周起广州中介发二手房源需网签核验和当事人书面同意

新规!下周起广州中介发二手房源需网签核验和当事人书面同意

南方都市报
2024-09-19 20:31:18
差距断崖!苹果iPhone16的预约人数超219万,华为三折叠手机呢?

差距断崖!苹果iPhone16的预约人数超219万,华为三折叠手机呢?

古今历史记
2024-09-18 09:17:16
原来医学的尽头是玄学!网友:学医前都百无禁忌,学医后一堆忌讳

原来医学的尽头是玄学!网友:学医前都百无禁忌,学医后一堆忌讳

热闹的河马
2024-07-05 15:11:16
张雨绮发表情包回应被换角风波,还是这么刚,内心很强大啊

张雨绮发表情包回应被换角风波,还是这么刚,内心很强大啊

毒舌说历史1
2024-09-19 11:30:12
湖南省财政厅厅长刘文杰坠楼身亡,知情人称同坠楼者与其有工作关联

湖南省财政厅厅长刘文杰坠楼身亡,知情人称同坠楼者与其有工作关联

第一财经资讯
2024-09-19 17:54:10
养老院也开始退场了,到2025年将迎来很多养老院的“闭院潮”。

养老院也开始退场了,到2025年将迎来很多养老院的“闭院潮”。

杨哥历史
2024-09-19 09:46:50
爆雷!大裁员!“中国员工已停工”

爆雷!大裁员!“中国员工已停工”

新浪财经
2024-09-18 14:39:05
北京一空姐被银行行长追求,嫁给他4年才发现丈夫真实身份

北京一空姐被银行行长追求,嫁给他4年才发现丈夫真实身份

小哥很OK
2024-09-17 17:45:21
别轻易开刀!一生研究抗癌,院士说出心里话!

别轻易开刀!一生研究抗癌,院士说出心里话!

华人星光
2024-09-18 06:38:43
气炸了登贝莱思考人生浪费单刀,气得恩里克后仰+原地弹射

气炸了登贝莱思考人生浪费单刀,气得恩里克后仰+原地弹射

直播吧
2024-09-19 11:11:14
狂轰55+8+7!超级后卫加盟快船,哈登成受益者,伦纳德又能躺赢了

狂轰55+8+7!超级后卫加盟快船,哈登成受益者,伦纳德又能躺赢了

室内设计师阿喇
2024-09-19 22:39:55
涉嫌严重违纪违法!柳州市城市管理局党组成员、副局长汪绪斌被查

涉嫌严重违纪违法!柳州市城市管理局党组成员、副局长汪绪斌被查

鲁中晨报
2024-09-19 21:52:05
寻呼机爆炸后续:机内有3克炸药,台企发声,生产商被扒,评论炸锅

寻呼机爆炸后续:机内有3克炸药,台企发声,生产商被扒,评论炸锅

南风西洲
2024-09-19 16:02:53
萧华:同情TNT的员工 很难想象TNT天团正值巅峰不再报道NBA

萧华:同情TNT的员工 很难想象TNT天团正值巅峰不再报道NBA

直播吧
2024-09-19 13:40:09
完成权力重组后,欧盟对华态度出炉,冯德莱恩定调中欧贸易关系

完成权力重组后,欧盟对华态度出炉,冯德莱恩定调中欧贸易关系

说天说地说实事
2024-09-19 19:07:04
国务院总理:稳妥有序实施渐进式延迟法定退休年龄改革

国务院总理:稳妥有序实施渐进式延迟法定退休年龄改革

政知新媒体
2024-09-19 20:04:26
仅3年市值就暴跌96%:中国“电驴界爱马仕”,为何突然被抛弃了?

仅3年市值就暴跌96%:中国“电驴界爱马仕”,为何突然被抛弃了?

沙雕小琳琳
2024-09-19 13:41:57
为什么现在酒店退房都不再查房了?内部员工道出真相,真涨知识了

为什么现在酒店退房都不再查房了?内部员工道出真相,真涨知识了

吾爱纪实
2024-09-18 09:13:32
“全军覆没”?ASML突然宣布决定,外媒:“弯道超车”还是失败了

“全军覆没”?ASML突然宣布决定,外媒:“弯道超车”还是失败了

奉壹数码
2024-09-19 12:34:08
找到俄军致命弱点!英智库断言:俄将在3天之内输掉与北约的战争

找到俄军致命弱点!英智库断言:俄将在3天之内输掉与北约的战争

文雅笔墨
2024-09-20 00:29:23
2024-09-20 06:58:45
上游新闻
上游新闻
重庆“门户级”新闻客户端
193025文章数 580107关注度
往期回顾 全部

科技要闻

乐道L60价格公布:整车购买20.69万元起

头条要闻

招行再回应"58页PPT举报管培生男友"事件:已开除

头条要闻

招行再回应"58页PPT举报管培生男友"事件:已开除

体育要闻

全村只有282人 却拥有一支顶级联赛球队

娱乐要闻

黄晓明官宣与叶珂恋情:我们在一起了

财经要闻

存量房贷利率调整“猜想”

汽车要闻

预售价33.98万 腾势Z9预计第四季度上市

态度原创

旅游
房产
家居
手机
公开课

旅游要闻

不是北疆,不是阿尔山,它才是国内秋色天花板!

房产要闻

太炸裂!9225亩,三亚139个存量住宅项目最全清单曝光!

家居要闻

新实木主义风潮下的家居革新 —— 源氏木语新品真实评测

手机要闻

红米Note14系列突然官宣:大底主摄+IP68防尘防水,外观也已清晰

公开课

改变人生的10件小事

无障碍浏览 进入关怀版