网易首页 > 网易号 > 正文 申请入驻

信息熵、语法熵、语义熵与语用熵

0
分享至

新华社北京6月25日电 人工智能(AI)中广泛使用的大语言模型不时出现的“一本正经地胡诌”是其难以克服的问题。近日,英国牛津大学研究团队开发出一种名为“语义熵”的新方法,有望大幅提升AI回答的可靠性。

大语言模型的“胡诌”在业界被称为“幻觉”,牛津大学计算机科学系的研究人员提出“语义熵”方法试图解决这一问题。在热力学中,熵描述的是系统的混乱或者说不稳定程度。这项研究中,熵衡量了大语言模型回答的不确定性,不确定性高意味着大语言模型的回答可能存在虚构。

该研究成果已发表在近期出版的英国《自然》杂志上。论文中说,如果AI对同一个问题,给出了许多语义相似的答案,那说明它对自己的回答比较有把握;反之,如果答案五花八门,那就意味着AI自己也“心里没底”,很可能是在“胡诌”。

研究人员利用“语义熵”方法,让大语言模型对同一问题生成多个答案,然后将语义相近的答案聚类,最后根据聚类结果计算熵值。熵值越高,表示大语言模型的回答越不确定。

值得注意的是,这一方法不仅考虑了大语言模型回答的字面差异,更关注语义层面

的一致性。这使得“语义熵”能够更准确地识别AI的“胡诌”,而不会被表达方式的多样性所迷惑。

研究结果表明,“语义熵”方法在多个数据集和任务中都表现出色,能有效检测大语言模型的错误回答,并通过拒绝回答不确定的问题来提高整体准确率。更重要的是,这一方法无需修改AI模型本身,可以直接应用于现有的大语言模型。

研究人员说,“语义熵”技术有望在问答系统、文本生成、机器翻译等多个领域发挥重要作用,帮助AI生成更可靠、更有价值的内容。这不仅将提升AI在实际应用中的表现,也将增强用户对AI系统的信任。

信息熵、语法熵、语义熵和语用熵是与信息理论和语言学相关的概念,它们分别从不同角度描述了信息在语言中的不确定性和复杂性。以下是对这些概念的简要解释:

信息熵是由克劳德·香农(Claude Shannon)提出的概念,用来量化信息的不确定性或信息量。在通信和数据压缩中衡量信息源的随机性。例如,在一个消息系统中,如果某个消息越难预测,它的熵就越高。对于一个离散随机变量 ( X ) 及其概率分布 ( P(X) ),信息熵 ( H(X) ) 定义为 ( H(X) = -\sum P(x) \log P(x) )。

语法熵指的是语言中由于语法规则引起的不确定性和复杂性。在自然语言处理中,语法熵可以用来衡量不同句子结构的复杂程度,以及生成或解析句子的难易程度。考虑生成一个句子时,语法规则(如主谓宾结构、时态、数等)的选择会影响语法熵。

语义熵是指由于词语和句子意义的多样性和模糊性引起的信息不确定性。在信息检索、机器翻译等领域,用于衡量词语含义的多样性和上下文依赖性。一个具有多重含义的词(如“银行”既可以指金融机构也可以指河岸)会导致较高的语义熵。

语用熵:语用熵关注的是语言在实际使用中的不确定性,涉及语言的上下文、隐喻、言外之意等因素。在语言理解和生成中,评估特定情境中的语言使用的复杂性和多义性。在社交互动中,一个句子的实际意义可能取决于说话者的意图、听众的背景知识和情境,这些因素一起构成了语用熵。

总结

  • 信息熵:衡量信息源随机性的基本概念。

  • 语法熵:与句子结构和语法规则相关的复杂性。

  • 语义熵:涉及词语和句子意义的多样性和模糊性。

  • 语用熵:关注语言在具体使用情境中的不确定性和复杂性。

这些概念共同帮助我们更好地理解语言信息的传递和处理过程中的多层次不确定性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
官方曝光“加绒裤”内幕!长期穿竟会引发剧毒,大家注意避开

官方曝光“加绒裤”内幕!长期穿竟会引发剧毒,大家注意避开

猫小狸同学
2024-11-10 16:25:02
华尔街日报透露,特朗普公开拒绝蓬佩奥入阁,幕后主要原因有三个

华尔街日报透露,特朗普公开拒绝蓬佩奥入阁,幕后主要原因有三个

碳基生物关怀组织
2024-11-11 17:17:57
乌无人机白天轰炸莫斯科,S400到珠海显摆,印度交了500亿智商税

乌无人机白天轰炸莫斯科,S400到珠海显摆,印度交了500亿智商税

大风文字
2024-11-12 09:26:29
为什么说中国机器狼的出现,美国将彻底破防?内行人的话戳穿真相

为什么说中国机器狼的出现,美国将彻底破防?内行人的话戳穿真相

农村玲子
2024-11-12 19:19:11
19+10+3!全联盟无人要,加盟勇士再创巅峰,你狠狠打脸质疑者

19+10+3!全联盟无人要,加盟勇士再创巅峰,你狠狠打脸质疑者

康泳哥看体育
2024-11-12 18:26:01
特朗普让你《大开眼界》!

特朗普让你《大开眼界》!

八卦疯叔
2024-11-12 10:43:45
普京女婿被富二代当众围殴,一个电话调来十几辆装甲车

普京女婿被富二代当众围殴,一个电话调来十几辆装甲车

真实故事汇
2024-11-06 13:52:55
川普17岁长孙女最新VLOG引热议!胜利之夜和18岁小叔“巴阿哥”开心互动,还曝马斯克“蹭合影”!

川普17岁长孙女最新VLOG引热议!胜利之夜和18岁小叔“巴阿哥”开心互动,还曝马斯克“蹭合影”!

英国报姐
2024-11-12 21:42:43
随着阿莫林出任曼联主帅,加速了这三名球员离队的步伐!

随着阿莫林出任曼联主帅,加速了这三名球员离队的步伐!

田先生篮球
2024-11-12 20:53:54
太愤怒:“现在生的不是孩子,是人质”,医保催缴真相太窒息

太愤怒:“现在生的不是孩子,是人质”,医保催缴真相太窒息

笑熬浆糊111
2024-11-12 00:05:26
最低调普京女婿被亿万富豪当街暴打:拒绝10亿赔偿,只提一个要求

最低调普京女婿被亿万富豪当街暴打:拒绝10亿赔偿,只提一个要求

贰文
2024-10-31 00:30:11
珠海驾车撞人事件致35死43伤,我不关注原因只希望尽快严惩!

珠海驾车撞人事件致35死43伤,我不关注原因只希望尽快严惩!

杨文战律师
2024-11-12 19:53:01
丈夫出轨,离婚时却分走了爸妈的遗产!少做了这件事,杭州女子很后悔

丈夫出轨,离婚时却分走了爸妈的遗产!少做了这件事,杭州女子很后悔

都市快报橙柿互动
2024-11-12 14:25:02
4年间,她为31人陪睡100多次,生不如死!

4年间,她为31人陪睡100多次,生不如死!

书画艺术收藏
2024-11-11 20:05:03
女生宿舍起火,楼栋闸机成撤离“拦路虎”,警务室:刷脸是为保障安全

女生宿舍起火,楼栋闸机成撤离“拦路虎”,警务室:刷脸是为保障安全

极目新闻
2024-11-12 07:55:33
富士康老板郭台铭老婆的50大寿,台北名媛齐聚,连胜文夫妇也来了

富士康老板郭台铭老婆的50大寿,台北名媛齐聚,连胜文夫妇也来了

花花lo先森
2024-11-12 09:26:10
证监会最新发声!11月13日,今日凌晨的四大消息冲击市场!

证监会最新发声!11月13日,今日凌晨的四大消息冲击市场!

风口招财猪
2024-11-13 01:29:58
这一次,曹颖丈夫的“升官”让人明白,原来她早已是人生赢家

这一次,曹颖丈夫的“升官”让人明白,原来她早已是人生赢家

七楼的蒲公英
2024-11-12 21:46:56
全卖光了,贵州一家人套现42亿,把麻烦留给了9万股民

全卖光了,贵州一家人套现42亿,把麻烦留给了9万股民

蜉蝣说
2024-11-12 17:00:01
我月入7000,女友要租3500的房,我妈说她不是过日子的料,让我分

我月入7000,女友要租3500的房,我妈说她不是过日子的料,让我分

我是三月鱼H
2024-11-11 18:35:40
2024-11-13 05:50:44
白驹谈人机
白驹谈人机
人机交互与认知工程实验室
635文章数 22关注度
往期回顾 全部

科技要闻

除去销量,比亚迪还剩什么?

头条要闻

特朗普胜选后 欧洲三大芯片商就对华芯片出口集体发声

头条要闻

特朗普胜选后 欧洲三大芯片商就对华芯片出口集体发声

体育要闻

勇士将帅录视频欢迎克莱回归!库里:很荣幸与你做了13年队友

娱乐要闻

妖怪逼叶珂注销账号!称黄晓明不知情

财经要闻

严介和家族还不上数十万元小账单?

汽车要闻

昊铂HL官图发布 将于2024广州车展首发亮相

态度原创

旅游
房产
健康
教育
军事航空

旅游要闻

不给游客留遗憾,中山陵祭堂用巨幅喷绘挡施工

房产要闻

最新官宣:房票全市通用!带你读懂房票影响力

花18万治疗阿尔茨海默病,值不值?

教育要闻

“希望是我的幻觉”,期中考试二三十分扎堆,数学老师不敢睁眼看

军事要闻

歼-35A霸气亮相珠海航展 专家:隐身性能世界第一

无障碍浏览 进入关怀版