网易首页 > 网易号 > 正文 申请入驻

信息熵、语法熵、语义熵与语用熵

0
分享至

新华社北京6月25日电 人工智能(AI)中广泛使用的大语言模型不时出现的“一本正经地胡诌”是其难以克服的问题。近日,英国牛津大学研究团队开发出一种名为“语义熵”的新方法,有望大幅提升AI回答的可靠性。

大语言模型的“胡诌”在业界被称为“幻觉”,牛津大学计算机科学系的研究人员提出“语义熵”方法试图解决这一问题。在热力学中,熵描述的是系统的混乱或者说不稳定程度。这项研究中,熵衡量了大语言模型回答的不确定性,不确定性高意味着大语言模型的回答可能存在虚构。

该研究成果已发表在近期出版的英国《自然》杂志上。论文中说,如果AI对同一个问题,给出了许多语义相似的答案,那说明它对自己的回答比较有把握;反之,如果答案五花八门,那就意味着AI自己也“心里没底”,很可能是在“胡诌”。

研究人员利用“语义熵”方法,让大语言模型对同一问题生成多个答案,然后将语义相近的答案聚类,最后根据聚类结果计算熵值。熵值越高,表示大语言模型的回答越不确定。

值得注意的是,这一方法不仅考虑了大语言模型回答的字面差异,更关注语义层面

的一致性。这使得“语义熵”能够更准确地识别AI的“胡诌”,而不会被表达方式的多样性所迷惑。

研究结果表明,“语义熵”方法在多个数据集和任务中都表现出色,能有效检测大语言模型的错误回答,并通过拒绝回答不确定的问题来提高整体准确率。更重要的是,这一方法无需修改AI模型本身,可以直接应用于现有的大语言模型。

研究人员说,“语义熵”技术有望在问答系统、文本生成、机器翻译等多个领域发挥重要作用,帮助AI生成更可靠、更有价值的内容。这不仅将提升AI在实际应用中的表现,也将增强用户对AI系统的信任。

信息熵、语法熵、语义熵和语用熵是与信息理论和语言学相关的概念,它们分别从不同角度描述了信息在语言中的不确定性和复杂性。以下是对这些概念的简要解释:

信息熵是由克劳德·香农(Claude Shannon)提出的概念,用来量化信息的不确定性或信息量。在通信和数据压缩中衡量信息源的随机性。例如,在一个消息系统中,如果某个消息越难预测,它的熵就越高。对于一个离散随机变量 ( X ) 及其概率分布 ( P(X) ),信息熵 ( H(X) ) 定义为 ( H(X) = -\sum P(x) \log P(x) )。

语法熵指的是语言中由于语法规则引起的不确定性和复杂性。在自然语言处理中,语法熵可以用来衡量不同句子结构的复杂程度,以及生成或解析句子的难易程度。考虑生成一个句子时,语法规则(如主谓宾结构、时态、数等)的选择会影响语法熵。

语义熵是指由于词语和句子意义的多样性和模糊性引起的信息不确定性。在信息检索、机器翻译等领域,用于衡量词语含义的多样性和上下文依赖性。一个具有多重含义的词(如“银行”既可以指金融机构也可以指河岸)会导致较高的语义熵。

语用熵:语用熵关注的是语言在实际使用中的不确定性,涉及语言的上下文、隐喻、言外之意等因素。在语言理解和生成中,评估特定情境中的语言使用的复杂性和多义性。在社交互动中,一个句子的实际意义可能取决于说话者的意图、听众的背景知识和情境,这些因素一起构成了语用熵。

总结

  • 信息熵:衡量信息源随机性的基本概念。

  • 语法熵:与句子结构和语法规则相关的复杂性。

  • 语义熵:涉及词语和句子意义的多样性和模糊性。

  • 语用熵:关注语言在具体使用情境中的不确定性和复杂性。

这些概念共同帮助我们更好地理解语言信息的传递和处理过程中的多层次不确定性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
潮州警方通报:5人散播“店铺被要求整改罚款”等谣言被处罚

潮州警方通报:5人散播“店铺被要求整改罚款”等谣言被处罚

南方都市报
2024-11-24 23:24:07
俄中将被英国导弹炸死之后,乌军准备袭击至少200个俄本土目标

俄中将被英国导弹炸死之后,乌军准备袭击至少200个俄本土目标

山河路口
2024-11-24 20:25:26
夺冠后,王曼昱为何泪洒赛场?通道遇到孙颖莎,谁注意两人举动

夺冠后,王曼昱为何泪洒赛场?通道遇到孙颖莎,谁注意两人举动

东球弟
2024-11-25 11:06:41
985毕业男子捡垃圾8年实现财务自由,开4家店,拥有300平旧货仓库

985毕业男子捡垃圾8年实现财务自由,开4家店,拥有300平旧货仓库

小鱼儿会飞了
2024-10-21 22:39:40
40岁的喜临门,请来马斯克的76岁老母当“救兵”?

40岁的喜临门,请来马斯克的76岁老母当“救兵”?

趣解商业
2024-11-24 13:57:43
“新冠疫苗之父”杨晓明落马!打过3针的网友们评论区“炸锅”……

“新冠疫苗之父”杨晓明落马!打过3针的网友们评论区“炸锅”……

保险课堂
2024-11-23 22:47:52
悲剧!网友称深圳龙岗方兴工业园,有中介再也看不到明天的太阳了

悲剧!网友称深圳龙岗方兴工业园,有中介再也看不到明天的太阳了

火山诗话
2024-11-25 06:18:08
电视剧都不敢这么演,海南陵水肖峰事件始末不简单,涉及问题太多

电视剧都不敢这么演,海南陵水肖峰事件始末不简单,涉及问题太多

小人物看尽人间百态
2024-11-24 23:43:50
江苏“天台奸杀案”,女子满足了凶手所有要求,最后还是惨遭毒手

江苏“天台奸杀案”,女子满足了凶手所有要求,最后还是惨遭毒手

杨哥历史
2024-11-25 09:07:23
退出北约!绝不与中俄为敌,美国万万没想到,盟友突然就跑掉了

退出北约!绝不与中俄为敌,美国万万没想到,盟友突然就跑掉了

猫小狸同学
2024-11-24 17:55:02
悲催!网传比亚迪一员工在网上发工资条信息被处罚,员工表示不服

悲催!网传比亚迪一员工在网上发工资条信息被处罚,员工表示不服

火山诗话
2024-11-25 05:21:44
新华社消息|法国允许乌克兰向俄发射法制远程导弹 俄方说这是在终结乌克兰

新华社消息|法国允许乌克兰向俄发射法制远程导弹 俄方说这是在终结乌克兰

新华社
2024-11-25 09:57:26
王楚钦有多强?张本智和回应最后一球“自杀”:我不知道往哪发了

王楚钦有多强?张本智和回应最后一球“自杀”:我不知道往哪发了

厝边人侃体育
2024-11-25 10:07:01
著名教授称魏晋“大女主”时代,想穿越去看帅哥;大V:夜被奸淫,昼充军粮?

著名教授称魏晋“大女主”时代,想穿越去看帅哥;大V:夜被奸淫,昼充军粮?

小萝卜丝
2024-11-25 11:00:54
网传长春外卖送餐螺蛳粉,进楼后做“喷射战士”,蹭的到处都是屎

网传长春外卖送餐螺蛳粉,进楼后做“喷射战士”,蹭的到处都是屎

火山诗话
2024-11-24 20:08:08
俄向乌发射两三洲际导弹之后,乌迎着最猛的风雪继续向俄怒放导弹

俄向乌发射两三洲际导弹之后,乌迎着最猛的风雪继续向俄怒放导弹

邵旭峰域
2024-11-25 10:17:11
董宇辉不再担任与辉同行执行董事

董宇辉不再担任与辉同行执行董事

界面新闻
2024-11-25 10:53:03
内蒙男子发现妻子出轨,在卧室装7个摄像头,看清情夫后让他崩溃

内蒙男子发现妻子出轨,在卧室装7个摄像头,看清情夫后让他崩溃

天字号野史
2024-11-23 22:29:23
刘亦菲和小姨同游武汉,同框美得不像话,果然家族里刘亦菲最丑

刘亦菲和小姨同游武汉,同框美得不像话,果然家族里刘亦菲最丑

娱乐白名单
2024-11-23 20:52:46
唏嘘!前中超冠军再失血:13将自由身离队,23岁国足红星转投申花

唏嘘!前中超冠军再失血:13将自由身离队,23岁国足红星转投申花

我爱英超
2024-11-25 12:48:24
2024-11-25 13:52:49
白驹谈人机
白驹谈人机
人机交互与认知工程实验室
676文章数 22关注度
往期回顾 全部

科技要闻

1年3次来华!库克:没中国就没现在的苹果

头条要闻

媒体:若小马科斯把杜特尔特逼急 菲未必不会爆发内战

头条要闻

媒体:若小马科斯把杜特尔特逼急 菲未必不会爆发内战

体育要闻

国乒的起伏与夺冠,有些东西已经变了

娱乐要闻

小S为二女儿庆祝17岁生日

财经要闻

未来3-6个月创新高?哪些赛道有潜力?

汽车要闻

特斯拉限时优惠:Model Y仅23.99万起 还能5年0息

态度原创

本地
健康
艺术
公开课
军事航空

本地新闻

云游中国 | 拒绝特种兵!北方也有“真江南”

花18万治疗阿尔茨海默病,值不值?

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

公开课

一块玻璃,如何改变人类世界?

军事要闻

俄方称在库尔斯克州上空击落多枚导弹及多架无人机

无障碍浏览 进入关怀版