网易首页 > 网易号 > 正文 申请入驻

Nature重磅:大模型的谎言如何“破”?牛津团队提出新方法

0
分享至

世界卫生组织(WHO)的人工智能健康资源助手 SARAH 列出了旧金山本不存在的诊所的虚假名称和地址。

Meta公司“短命”的科学聊天机器人 Galactica凭空捏造学术论文,还生成关于太空熊历史的维基文章。

今年2月,加拿大航空被命令遵守其客户服务聊天机器人捏造的退款政策。

去年,一名律师因提交充满虚假司法意见和法律引用的法庭文件而被罚款,这些文件都是由 ChatGPT 编造的。

如今,大语言模型(LLM)胡编乱造的例子已屡见不鲜,但问题在于,它们非常擅长一本正经地胡说八道,编造的内容大部分看起来都像是真的,让人难辨真假。

在某些情况下,可以当个乐子一笑而过,但是一旦涉及到法律、医学等专业领域,就可能会产生非常严重的后果。

如何有效、快速地检测大模型的幻觉(hallucination),已成为当前国内外科技公司和科研机构竞相关注的热门研究方向。

如今,牛津大学团队提出的一种新方法便能够帮助我们快速检测大模型的幻觉——他们尝试量化一个LLM产生幻觉的程度,从而判断生成的内容有多忠于提供的源内容,从而提高其问答的准确性。

研究团队表示,他们的方法能在LLM生成的个人简介,以及关于琐事、常识和生命科学这类话题的回答中识别出“编造”(confabulation)。

该研究意义重大,因为它为检测 LLM 幻觉提供了一种通用的方法,无需人工监督或特定领域的知识。这有助于用户了解 LLM 的局限性,并推动其在各个领域的应用。

相关研究论文以“Detecting Hallucinations in Large Language Models Using Semantic Entropy”为题,已发表在权威科学期刊 Nature 上。

在一篇同时发表的“新闻与观点”文章中,皇家墨尔本理工大学计算机技术学院院长Karin Verspoor教授指出,该任务由一个LLM完成,并通过第三个LLM进行评价,等于在“以毒攻毒”。

但她也写道,“用一个 LLM 评估一种基于LLM的方法似乎是在循环论证,而且可能有偏差。”不过,作者指出他们的方法有望帮助用户理解在哪些情况下使用LLM 的回答需要注意,也意味着可以提高LLM在更多应用场景中的可信度。

如何量化 LLM 的幻觉程度?

我们先来了解一下,大模型的幻觉是如何产生的。

LLM的设计初衷是生成新内容。当你问聊天机器人一些问题时,它的回答并不是全部从数据库中查找现成的信息,也需要通过大量数字计算生成。

这些模型通过预测句子中的下一个词来生成文本。模型内部有成千上亿个数字,就像一个巨大的电子表格,记录了词语之间的出现概率。模型训练过程中不断调整这些数值,使得它的预测符合互联网海量文本中的语言模式。

因此,大语言模型实际上是根据统计概率生成文本的“统计老虎机”,摇杆一动,一个词便出现了。

现有的检测 LLM 幻觉的方法大多依赖于监督学习,需要大量的标注数据,且难以泛化到新的领域。

在这项研究中,研究团队使用了语义熵的方法,该方法无需标注数据,且在多个数据集和任务上表现出色。

该方法能检测“编造”(confabulation)——这是“幻觉”的一个子类别,特指不准确和随意的内容,常出现在LLM缺乏某类知识的情况下。这种方法考虑了语言的微妙差别,以及回答如何能以不同的方式表达,从而拥有不同的含义。

图|语义熵与虚构内容检测简述

如上图所示,传统的基于熵的不确定性度量在精确答案的识别上存在局限,例如,它将“巴黎”、“这是巴黎”和“法国的首都巴黎”视为不同答案。然而,在涉及语言任务时,这些答案虽表述不同但意义相同,这样的处理方式显然不适用。语义熵方法则在计算熵之前,先将具有相同意义的答案进行聚类。低语义熵意味着大语言模型对其内容含义具有很高的确定性。

另外,语义熵方法还能有效检测长段落中的虚构内容。研究团队首先将生成的长答案分解为若干小事实单元。随后,针对每个小事实,LLM 会生成一系列可能与之相关的问题。然后,原LLM会为这些问题提供M个潜在答案。接着,研究团队计算这些问题答案的语义熵,包括原始的小事实本身。高平均语义熵表明与该小事实相关的问题可能存在虚构成分。在这里,由于即使用词差异显著,但生成的答案通常传达相同意义,语义熵成功将事实1分类为非虚构内容,而传统的熵方法则可能忽略这一点。

研究团队主要在以下两个方面对比了语义熵与其他检测方式的差别。

1.检测问答和数学问题中的虚构内容

图|检测句子长度生成中的虚构内容。

从上图中可以看出,语义熵优于所有基线方法。在 AUROC 和 AURAC 两个指标上,语义熵均展现了更好的性能,这表明其能够更准确地预测 LLM 错误,并提高模型拒绝回答问题时的准确率。

2.检测传记中just.trialclub.org的虚构内容

图|检测段落长度传记中的just.5166gw.com GPT-4 虚构内容。

如上图所示,语义熵估计器的离散变体在 AUROC 和 AURAC 指标(在 y 轴上得分)上均优于基线方法。AUROC 和 AURAC 都明显高于两个基线。在回答超过 80% 的问题时,语义jazz.nanaeco7.com熵的准确性更高。只有当拒绝最有可能是虚构内容的前 20% 答案时,P(True) 基线的剩余答案准确性才好于语义熵。

不足与jazz.czzhzs.com展望

研究团队提出的概率方法充分考虑了语义等价性,成功识别出一类关键的幻觉现象——即由于 LLM 知识缺乏而产生的幻觉。这类幻觉java.smitybuilt.com构成了当前众多失败案例的核心,且即便模型能力持续增强,由于人类无法全面监督所有情境和案例,这类问题仍将持续存在。虚构内容在问答领域中尤为突出,但同样在其他领域也有所体现。

值得注意的是,该研究使用的语义熵方法无需依赖特定的领域知识,预示着在抽象总结等更多应用场景中也能取得类似的进展。此外,将该方法扩展到其他java.uncheng.com输入变体,如重述或反事实情景,不仅为交叉检查提供了可能,还通过辩论的形式实现了可扩展的监督。这表明该方法具有广泛的适用性和灵活性。语义熵在检测错误方面的成功,进一步验证了LLM在“知道自己不知道什么”方面的潜力,实际上可能比先前研究所揭示的更为出色。

然而,语义熵方法主要针对由 LLM 知识不足导致的幻觉,比如无中生有或张冠李戴,对于其他类型的幻觉,比如由训练数据错误或模型设计缺陷导致的幻觉,可能效果不佳ju.bakimcihazi.com。此外,语义聚类过程依赖于自然语言推理工具,其准确性也会影响语义熵的估计。

未来,研究人员希望ju.xink82.com进一步探索语义熵方法在更多领域的应用,并与其他方法相结合,从而提高 LLM 的可靠性和可信度。例如,可以研究如何将语义熵方法与其他技术,比如与对抗性训练和强化学习相结合,从而进一步提高 LLM 的性能。此外,他们还将探索如何将语义熵方法与其他指标相结合,从而更全面地评估 LLM 的可信度。

但需要我们意识到的是,只要 LLM 是基于概率的,其生成的内容中就会有一定的随机性。投掷100个骰子,你会得到一个模式,再投一次,你会ju.kungfujr.com得到另一个模式。即使这些骰子像 LLM 一样被加权来更频繁地生成某些模式,每次得到的结果仍然不会完全相同。即使每千次或每十万次中只有一次错误,当你考虑到这种技术每天被使用的次数时,错误的数量也会相当多。 这些模型越准确,我们就越容易放松警惕。

对于jog.yangtao8992.com大模型的幻觉,你怎么看?

参考jog.itshua.com资料:

https://www.nature.com/articles/s41586-0just.yakuzaisinomado.com24-07421-0

https://www.technologyreview.com/2023/12/19/1084505/generative-ai-artificial-intelligence-bias-jobs-copyright-misinfjust.abw-lm.comormation/

|点击关注我 记得jazz.jiayirouzong.com标星|

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
避税神车好日子到头了!工信部表态为油车电车同税同权埋下伏笔

避税神车好日子到头了!工信部表态为油车电车同税同权埋下伏笔

大风文字
2024-11-25 09:04:36
汪峰一拖二牵手子女看电影,醒醒个子暴风抽高,森林北避嫌未陪同

汪峰一拖二牵手子女看电影,醒醒个子暴风抽高,森林北避嫌未陪同

娱珈歪歪鱼
2024-11-25 10:46:09
新能源车换电池费用一览,看完你就知道买谁了

新能源车换电池费用一览,看完你就知道买谁了

极智动力
2024-11-25 13:47:21
恶少李宗瑞"艳照门"案:侵害60名艺人,让继母身怀六甲后终"翻车"

恶少李宗瑞"艳照门"案:侵害60名艺人,让继母身怀六甲后终"翻车"

三公子娱乐丫
2024-11-25 17:00:17
上海,或沦为经济第三城

上海,或沦为经济第三城

刘晓博说楼市
2024-11-25 12:03:56
花3万把孩子送上绝路!知情人:14岁受尽非人折磨最终多器官衰竭

花3万把孩子送上绝路!知情人:14岁受尽非人折磨最终多器官衰竭

比利
2024-11-25 16:31:51
对自己更狠?锡伯杜执教生涯从未被驱逐 932场满满站着

对自己更狠?锡伯杜执教生涯从未被驱逐 932场满满站着

直播吧
2024-11-25 15:11:09
一晚一万九,中国女网红、女主播被BBC扒光了!

一晚一万九,中国女网红、女主播被BBC扒光了!

书画艺术收藏
2024-11-25 20:00:02
国务院批复:原则同意浙江自贸试验区大宗商品资源配置枢纽建设方案

国务院批复:原则同意浙江自贸试验区大宗商品资源配置枢纽建设方案

每日经济新闻
2024-11-25 21:59:29
为什么说亲兄妹之间一定要避嫌?网友:我哥三个月没敢直视我

为什么说亲兄妹之间一定要避嫌?网友:我哥三个月没敢直视我

滑稽斑马呀
2024-11-05 15:43:39
终于屈服了?中欧磋商成功后,荷兰向欧盟申请退出,对华态度转变

终于屈服了?中欧磋商成功后,荷兰向欧盟申请退出,对华态度转变

现代小青青慕慕
2024-11-25 05:17:45
伤停五个月后,波尔津吉斯将在对阵快船比赛中复出,他上赛季场均20.1分

伤停五个月后,波尔津吉斯将在对阵快船比赛中复出,他上赛季场均20.1分

雷速体育
2024-11-26 06:43:08
新闻CT丨东航大比例“锁座”不让选合理吗?乘客猜测是为“高卡”用户留座

新闻CT丨东航大比例“锁座”不让选合理吗?乘客猜测是为“高卡”用户留座

周到上海
2024-11-24 20:37:31
Angelababy亮相香港时装大秀,打扮迎合香港审美,重当嫩模闯港圈

Angelababy亮相香港时装大秀,打扮迎合香港审美,重当嫩模闯港圈

古希腊掌管月桂的神
2024-11-25 20:34:07
仗快打完了,俄罗斯开始和中国算账,普京亲信觉得中国占了便宜?

仗快打完了,俄罗斯开始和中国算账,普京亲信觉得中国占了便宜?

博览历史
2024-08-05 11:50:02
一个人最高级的认知:看见因果

一个人最高级的认知:看见因果

洞见
2024-11-24 00:27:24
俗气吗?全红婵化浓妆去活动,同款羽绒服当晚断货,陈芋汐作对比

俗气吗?全红婵化浓妆去活动,同款羽绒服当晚断货,陈芋汐作对比

小迩侃事
2024-11-25 14:35:24
1964年钱学森准备接毛主席递的烟,主席却突然收回笑道:自力更生

1964年钱学森准备接毛主席递的烟,主席却突然收回笑道:自力更生

莲花盛开
2024-11-25 19:24:56
笑不活了,东北女澡堂的搓澡大姨能说到什么程度?评论区太真实了

笑不活了,东北女澡堂的搓澡大姨能说到什么程度?评论区太真实了

有趣的火烈鸟
2024-11-23 21:48:29
300合成营兵力对30000俾路支武装,能赢吗?

300合成营兵力对30000俾路支武装,能赢吗?

谈芯说科技
2024-11-25 21:46:31
2024-11-26 06:56:49

科技要闻

特斯拉又降价,知情人士:冲刺今年销售目标

头条要闻

挪威史上最大规模性丑闻 妇科医生20年强奸87名患者

头条要闻

挪威史上最大规模性丑闻 妇科医生20年强奸87名患者

体育要闻

杨瀚森这态度,是打不了NBA的...

娱乐要闻

爆料郑雨盛和女模特,女方非正常怀孕

财经要闻

刘煜辉最新演讲全文:蛇的策略

汽车要闻

特斯拉限时优惠:Model Y仅23.99万起 还能5年0息

态度原创

亲子
游戏
房产
本地
军事航空

亲子要闻

婴儿是怎么知道这个人就是妈妈的呢?网友:居然是靠闻味儿,哈哈

总奖金10万!古树脐橙杯今晚开战,三大人族组队能否夺冠?

房产要闻

合生把上百个亿万富豪搞破防了

本地新闻

城市24小时|领跑万亿城市,武汉“开挂”了?

军事要闻

俄方称在库尔斯克州上空击落多枚导弹及多架无人机

无障碍浏览 进入关怀版