网易首页 > 网易号 > 正文 申请入驻

讯飞星火版《Her》全民开放体验,国内首个极速超拟人交互如何炼成?

0
分享至

8月30日,科大讯飞星火极速超拟人交互技术正式上线讯飞星火App,率先面向全民开放体验。据了解,这是国内首个对标GPT-4o语音的大模型产品,用户可在讯飞星火App中直接体验使用。根据官方介绍,星火极速超拟人交互在响应和打断速度、情绪感知情感共鸣、语音可控表达、人设扮演四个方面实现重大突破,让整体交互体验更自然、更具情感。

上线当天,科大讯飞研究院常务副院长高建清针对星火极速超拟人交互技术及应用展开进一步解读,不仅剖析了星火超拟人交互的“端到端”“共情力”等核心技术亮点,还为公众勾勒出技术产业化的愿景图。

业界首个“端到端”的极速交互体验

笔者第一时间抢先体验星火极速超拟人交互,最直观的感受就是响应速度极快,支持随时打断,可以识别不同的情绪并代入符合情境的对话和回复,丝毫没有“机械感”与“磕巴感”,真的就像平时跟朋友或家人对话那样随和自然。其中,极速响应是确保一切体验的基础,也是区别于其他语音产品的关键能力。

据悉,“端到端”技术框架是实现极速响应的重点。目前在全世界范围内,框架模型算法持续演进。国外以GPT-4o、特斯拉FSD等为代表的多模态端到端方案,已被证实可进一步提升技术效果和用户体验。科大讯飞极速超拟人交互作为业界首个端到端极速超拟人交互,通过将此前级联方案升级为统一神经网络,直接实现语音到语音的“端到端”建模,大幅缩短响应时间,做到了真正的极速。

而人类语言被称为世界上最动听的语言,是因为具有独特的情绪感染力,能够传达复杂的情感和思想,实现文明的传承和进化。但一直以来,智能语音与自然语言处理技术主要针对“内容”模块下功夫,比如能“听懂”更多的语种,“解答”更多的问题。但想要获得拟人化的对话体验,还需要“内容”与“情绪”等模块的协同作用。


大模型时代的到来,恰好能让不同的模块化功能进行“大统一”。高建清表示:“以往语音交互系统都是不同的模块,比如语音识别、语音合成和大语言模型。而科大讯飞星火极速超拟人交互技术基于端到端大模型框架,并结合讯飞多维度语音属性解耦表征训练模块,实现情感、方言、韵律、音色等的可控,实现了对语音交互的拟人化升级。”

大模型开始“情感共鸣”

星火极速超拟人技术还将星火大模型的“共情力”带到了新的高度,在这次单交互系统上线之前,业界的交互系统大多没有情感,均以中性情绪回复,或者个别系统有这种情感,但大多停留在文本层面,而星火极速超拟人技术可以实现情感共鸣,当人机对话时,机器可以理解你的声音内容,包含情绪表达。高建清认为,虽然目前系统暂时不能使用表情,但未来如果将表情、声音内容与声音情绪三者结合在一起,将会是一条可行的新路径。


星火极速超拟人语音的情绪感知能力,能够感知到数十种音频事件与情绪,比如喜怒哀乐、害怕、困惑等,AI会以“感同身受”的方式进行语言组织和情绪表达。而情感共鸣会结合声音和内容等不同维度,在合适的情境下采用合适的情感进行回应,比如用户开心的时候用笑声呼应心情,用户悲伤的时候用安慰语气进行安抚,让AI变得有血有肉有温度。

共情力对于大模型是一项重要的基础能力,或许在未来的人形机器人身上,我们将看到共情力的具象表达。比如你一进门,机器人就向你笑脸相迎地问候道,就像1999年科幻电影《机器管家》里面的人形机器人安德鲁,让人机之间也有情感纽带。当然畅想这些还为时尚早,现阶段的星火极速超拟人交互更有另一部电影《Her》的既视感,TA可以用笑声回应开心,用急促回应愤怒,更自然,更逼真,更还原真人对话的语境。

至于快速打断功能,这也是真人对话中经常出现的状况。比如你入住酒店问前台客服,如果对方答非所问肯定当即打断;同理,没耐心听AI讲一大堆话,或者回答跑偏,立即打断是人的生理本能。“这是个极其复杂的工程问题,需要去判定何时打断、何时不应打断,我们通过技术创新与强化底座认知能力,解决了打断和响应时间平衡的问题。”高建清说道。

谋局未来 挖掘产业应用价值洼地

针对星火极速超拟人交互的未来发展,高建清表示,星火极速超拟人交互的未来计划是“三个更多”,即融入更多模态,具备图片视频模态输入与超拟人虚拟人输入;融入更多语言,增加更多语言、方言的语音交互能力和翻译能力;以及持续拓展情感、人设种类,继而实现诸如口技、唱歌等更多能力与更好体验。


根据中金企信国际咨询测算的数据,我国对话式人机交互核心产品的市场规模将在2025年达到237亿元,直接带动相关产业规模达到1525亿元。同时语音语言技术与大模型结合将赋能更加广阔的应用场景,下游领域包括家电、汽车、消费电子、金融、物流、房产、政务、医疗等,预计智能语音语言技术在垂直行业应用的核心产品规模将在2025年达到159.1亿元,带动相关产业规模达到875.1亿元。


据高建清介绍,星火极速超拟人语音交互在商用领域大致分为三个层级。第一层是闲聊陪伴场景,将在儿童玩具、情感陪伴等品类上增强情感表达能力。第二层是机器人场景,结合多模态能力会加强产品竞争。第三层是智能汽车、智能家电等场景,让车机聊天更具情感,有助于提升车企智能化水平,包括奇瑞汽车、中国一汽、大众汽车等车企都是讯飞星火的合作伙伴。

无论是从技术迭代角度,还是从用户体验角度,星火极速超拟人交互的创新,正让语音交互从“能用”“好用”走向“常用”的新阶段。以讯飞星火为代表的大模型创新,或将重塑语音交互领域,推动语音产业新变革,带来诸如汽车、机器人、家电等更广阔的应用空间,推动万物互联时代的加速到来。

上游新闻 张皓

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
西班牙二公主:17岁将近1.8米不如王储姐姐漂亮,愿当姐姐的绿叶

西班牙二公主:17岁将近1.8米不如王储姐姐漂亮,愿当姐姐的绿叶

科学发掘
2024-11-28 21:54:58
内蒙男子发现妻子出轨,在卧室装7个摄像头,看清情夫后让他崩溃

内蒙男子发现妻子出轨,在卧室装7个摄像头,看清情夫后让他崩溃

天字号野史
2024-11-23 22:29:23
苗华,被停职检查!

苗华,被停职检查!

第一财经资讯
2024-11-28 21:32:59
A股:失守3300,明天是黑周五还是完美收官?不出意外,这样走!

A股:失守3300,明天是黑周五还是完美收官?不出意外,这样走!

云姐财说
2024-11-29 00:00:03
实锤了!黎智英庭审爆出内幕:供出蔡英文等三名“大鱼”

实锤了!黎智英庭审爆出内幕:供出蔡英文等三名“大鱼”

圈里的甜橙子
2024-11-29 02:13:06
悲催了!网友喊话烧伤妈妈夫妇,退网吧,贪得无厌会被反噬

悲催了!网友喊话烧伤妈妈夫妇,退网吧,贪得无厌会被反噬

魔都姐姐杂谈
2024-11-28 11:23:39
网友:现在雷克萨斯全系都崩盘,优惠12万,感觉离开中国不远了

网友:现在雷克萨斯全系都崩盘,优惠12万,感觉离开中国不远了

火山诗话
2024-11-26 09:57:32
真的到了非常可怕的阶段,美英法德互相通话,全力支持乌克兰

真的到了非常可怕的阶段,美英法德互相通话,全力支持乌克兰

西楼知趣杂谈
2024-11-28 21:47:20
刚刚公布:31.51万亿元

刚刚公布:31.51万亿元

中国基金报
2024-11-29 00:00:10
1935年,此人在中山陵前剖腹自杀,毛泽东将他的诗作为座右铭

1935年,此人在中山陵前剖腹自杀,毛泽东将他的诗作为座右铭

旧时楼台月
2024-11-27 19:47:00
锁边“合龙”,塔克拉玛干沙漠被围起来了

锁边“合龙”,塔克拉玛干沙漠被围起来了

原广工业
2024-11-28 16:36:25
为什么打工人都去广东而不是浙江?网友们说出了根本原因

为什么打工人都去广东而不是浙江?网友们说出了根本原因

据说说娱乐
2024-11-28 20:01:28
默克尔绝不是和平圣母,而是一个阴谋家

默克尔绝不是和平圣母,而是一个阴谋家

圈里的甜橙子
2024-11-29 03:22:32
6个项目全部进决赛,摘4冠丢2冠,山东为何这么强?5原因说明一切

6个项目全部进决赛,摘4冠丢2冠,山东为何这么强?5原因说明一切

萌兰聊个球
2024-11-28 17:47:41
发现一个奇怪的现象:父母常吵架,子女都出息,但婚姻却一塌糊涂

发现一个奇怪的现象:父母常吵架,子女都出息,但婚姻却一塌糊涂

鬼谷子思维
2024-11-16 13:38:16
梅西接班人?新齐达内?20岁阿根廷新星出世,2大名帅为其护航

梅西接班人?新齐达内?20岁阿根廷新星出世,2大名帅为其护航

体育全天候
2024-11-27 23:49:16
全球唯一没有中国人的国家,连美国总统来访,都只能待3小时

全球唯一没有中国人的国家,连美国总统来访,都只能待3小时

蜉蝣说
2024-09-18 20:50:52
摩根资产管理:未来10-15年中国股票年化回报率美元计为7.8%

摩根资产管理:未来10-15年中国股票年化回报率美元计为7.8%

财联社
2024-11-28 19:37:14
毒父汤继海被判无期,女儿曾哀求:爸爸,好痛

毒父汤继海被判无期,女儿曾哀求:爸爸,好痛

莉雅细细谈
2024-10-14 17:46:33
真出大事了?4国不许中方收台?大陆下达通牒,“台独”死路一条

真出大事了?4国不许中方收台?大陆下达通牒,“台独”死路一条

兰妮搞笑分享
2024-11-28 12:53:39
2024-11-29 04:40:49
上游新闻
上游新闻
重庆“门户级”新闻客户端
200630文章数 581151关注度
往期回顾 全部

科技要闻

讽刺谁?特斯拉称供应链付款周期缩至90天

头条要闻

大众宣布将出售其在新疆的业务 外交部回应

头条要闻

大众宣布将出售其在新疆的业务 外交部回应

体育要闻

道心破碎的姆巴佩,交出一张负分答卷

娱乐要闻

冯绍峰新恋情曝出!女方第一时间发文辟谣

财经要闻

洪灏:不要误解增量政策 不是数越大越好

汽车要闻

ID. CODE概念车/探岳L领衔 大众汽车携25款车亮相

态度原创

旅游
亲子
手机
家居
公开课

旅游要闻

张家口一滑雪场吊厢突然停运 游客-15℃被困

亲子要闻

萌娃望着水沟跃跃欲试,舅舅已经完美预判,娃:我被制裁了

手机要闻

小米 REDMI K80 系列手机搭载汇顶超声波指纹方案

家居要闻

简约大气风格 舒适通透空间

公开课

一块玻璃,如何改变人类世界?

无障碍浏览 进入关怀版