网易首页 > 网易号 > 正文 申请入驻

UC伯克利等最新实锤:LLM就是比人类啰嗦,「提问的艺术」仍难参透

0
分享至


新智元报道

编辑:peter东 乔杨

【新智元导读】基于一段文本提问时,人类和大模型会基于截然不同的思维模式给出问题。大模型喜欢那些需要详细解释才能回答的问题,而人类倾向于提出更直接、基于事实的问题。

如果要你负责企业培训,培训结束需要出一份考试题目,那如今你可以选择将培训材料交给大模型,由大模型来负责出题并给出参考答案。

不过由大模型给出的考题,和人类出的题目究竟有没有差别,以及有哪些差别?

最近,加州大学伯克利分校、沙特阿拉伯阿卜杜拉国王科技城(KACST)和华盛顿大学的研究人员发表了一项研究,首次系统评价了大模型提问的能力,并指出大模型和人类的提问模式存在显著差异。


论文地址:https://arxiv.org/pdf/2501.03491

评价提问的四个维度

这项研究基于维基百科的文本,将文本拆分为86万个段落,之后通过亚马逊Mechanical Turk众包平台,由人类参与者为每个段落撰写对应的题目及答案,人类给出的文本将作为评估大模型的基准。


图1:大模型出题并评价的模式

之后,研究人员将这些段落交给主流的大模型,包括闭源的GPT-4o和开源的LLaMA-3.1-70b-Instruct,由大模型根据段落内容及上下文提问,之后对问题的评价也由大模型进行。

对问题的评价共包含6个指标,分为2组。前三个标准评估问题本身,而第二组标准负责评估反映问题质量的潜在答案。首先介绍与答案无关的标准。

1. 问题类型

对于人类来说,选择问哪个问题具有主观性。这项研究定义了十种问题类型,例如验证/确认问题,具体事实与数据问题及身份和归属问题等。

2. 问题长度

主要测量的是组成问题的单词数量。除了直接比较人类和大模型所生成的问题长度外,该研究还考察了问题长度与问题类型之间的关系。

3. 上下文覆盖率

上下文通常包括多个句子,问题可能只针对一个句子中的一个事实,或者需要跨越多个句子进行推理。这项标准旨在反映问题覆盖文本内容的长度,研究还分析了在生成过程中,大模型是否会有倾向性地关注上下文中的哪些特定部分。

4. 可回答程度

一个问题的关键质量标准是它是否可以在特定知识的基础上被精确地回答。具体来说,生成的提问应在提供上下文的情况下可回答,而非是模棱两可的。

5. 罕见性

大模型是在互联网上广泛可用的常识上进行训练。因此,即使没有明确提供上下文,大模型仍然可以进行提问,因此需要评估问题相对于其预训练数据的罕见程度,从而判断大模型究竟是有的放矢地提问,还是问给出一些泛泛而谈的问题。

6. 答案所需的长度

除了问题长度外,所需答案的长度是衡量提问模式的一个更有效的指标。然而,由于生成模型的回答往往冗长且包含很多无用细节,所以首先要明确提示模型提供最短的文本作为回答,并指导模型在一定的字数限制内生成答案。此外,研究者还会对这些答案进行额外评估,以确定是否可以用更少的词达到相同的质量评级。

大模型vs.人类,问题差异在哪

研究结果显示,首先:在问题类型上,与人类相比,大模型更倾向于提出需要描述性、更长答案的问题,大约 44%的人工智能生成问题是这一类。

这可能是因为大模型在训练过程中接触到了大量描述性文本。而人类倾向于提出更直接、基于事实的问题,例如核查具体的事实和数字,或者人物、地点、事件等。

而在问题长度上,,大模型生成的问题长度更长,而且不同模型对问题长度的偏好有所不同,例如GPT-4o 生成的描述性问题更长。而人类生成的问题更短,且不同类型的问题间长度差异较大。


图2:大模型提问的问题长度,前两行是人类参与者的问题长度

而在上下文覆盖上,人类产生的问题能更全面地覆盖上下文信息,包括句子级别和词语级别。这意味着相比人类,大模型的提问难以更全面地覆盖所有文本,往往会揪着一个细节去提问。


图3:大模型和人类提出问题对应的上下文在句子和单词层面的覆盖比

更值得关注的是,大模型更关注文本的前部和后部,而忽略中间部分,这一点之前的研究也有提及。


图4,大模型提问对不同位置的段落的覆盖情况

对于提出的问题是否可以被解答,需要根据上下文信息分别判断。如果提问所依据的文本包含了背景介绍,此时大模型生成的问题通常有清晰的答案。而如果文本中缺少上下文信息,缺乏常识的大模型生成的问题的可回答性会显著下降,甚至有些问题无法回答。


图5,对比文本包含上下文以及不包含上下文时,大模型提出的问题时具有可回答度的评分分布

类似的,由于生成模型的特性,大模型生成的问题通常需要更长的答案、包含更多细节。同时大模型生成的答案可压缩性较差:尽管可以压缩,但仍然需要比人类更长的答案。


图6:大模型和人类提出问题对应的回答的长度

研究AI提问的意义

这项研究中,交给AI提问的只是一个段落,而非具有更丰富上下文的文章。未来的研究,需要考察的是大模型面对更长的文本,甚至是多篇长文本组成的书籍时会提出怎样的问题,并考察不同阅读难度、不同学科背景的文本。

如今AI生成的提问在商业产品中变得越来越普遍。例如,亚马逊的购物助手会建议与产品相关的问题,而 搜索引擎Perplexity和X的聊天机器人Grok则使用后续问题来帮助用户深入了解主题。

由于AI问题具有于区别于人类提问者的独特模式,我们就可以据此测试RAG系统,或识别AI系统何时在编造事实。

对大模型提问模式的了解,还可以帮助用户编写更好的提示词,无论是希望AI生成更类人的问题,还是要求有特定特征的问题。

随着人们越来越依赖大模型,本文最初描述的基于大模型出考试题,将会在未来变得越来越普遍,进而潜移默化地影响人类学生的思考模式,也许会让我们的下一代变得啰啰嗦嗦,或者看文章时只关注特定细节,尤其是头尾部的(考核中的重点)。

不过大模型的提问模式也是可以微调的,知道了大模型提问和人类的差异,我们就可以有针对性地进行改变。

参考资料:

https://arxiv.org/pdf/2501.03491

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

Grok 3冲击诺奖级突破,成证明「黎曼猜想」关键!AI与数学家打出终极组合拳

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
刘强东24小时双板斧:白天给骑手安排社保,深夜低价杀进网约车

刘强东24小时双板斧:白天给骑手安排社保,深夜低价杀进网约车

简读视觉
2025-02-23 01:57:19
大s女儿终于发声!谁都别想把我和爸爸分开,小s:正合我意!

大s女儿终于发声!谁都别想把我和爸爸分开,小s:正合我意!

沧海一书客
2025-02-22 18:28:21
顶级谋略上桌:中国两队人马出发,一南一北很罕见,西方媒体炸锅

顶级谋略上桌:中国两队人马出发,一南一北很罕见,西方媒体炸锅

梁讯
2025-02-22 12:39:18
变了!美国提交,“65字”

变了!美国提交,“65字”

环球时报新闻
2025-02-23 00:15:56
0分,0分!中国男篮两大后卫一分不得,球迷:是搞笑的吗?

0分,0分!中国男篮两大后卫一分不得,球迷:是搞笑的吗?

生活新鲜市
2025-02-24 01:49:32
全面取代2.5升引擎,丰田第五代凌放HARRIER将搭载最新1.5升引擎

全面取代2.5升引擎,丰田第五代凌放HARRIER将搭载最新1.5升引擎

沙雕小琳琳
2025-02-24 02:07:06
C罗晒与沙特王储合影:很开心与王储殿下共同庆祝建国纪念日

C罗晒与沙特王储合影:很开心与王储殿下共同庆祝建国纪念日

直播吧
2025-02-23 21:22:18
曾是“烂片女王”,如今有钱有事业,自曝和小鲜肉同居14年

曾是“烂片女王”,如今有钱有事业,自曝和小鲜肉同居14年

温读史
2025-02-13 17:08:36
“台湾永远都不会是中国的一部分”,讲出这句话的人,被全网唾骂

“台湾永远都不会是中国的一部分”,讲出这句话的人,被全网唾骂

忠于法纪
2024-06-07 17:55:19
买疯了!上海店排队3小时,“买一件就停不下来”…有人却遭遇代购诈骗:10多万没了

买疯了!上海店排队3小时,“买一件就停不下来”…有人却遭遇代购诈骗:10多万没了

上观新闻
2025-02-22 18:48:44
背后飞铲染红,安东尼职业生涯首次领到直接红牌

背后飞铲染红,安东尼职业生涯首次领到直接红牌

懂球帝
2025-02-24 03:58:32
一个小时了,进京检查站堵得挺让人难过的

一个小时了,进京检查站堵得挺让人难过的

新浪财经
2025-02-23 18:12:14
同房疲软,进不去,学会一个小妙招

同房疲软,进不去,学会一个小妙招

今日养生之道
2025-02-20 03:04:51
皇马2-0,姆巴佩妙传,维尼修斯利剑出鞘,莫德里奇飙无敌世界波

皇马2-0,姆巴佩妙传,维尼修斯利剑出鞘,莫德里奇飙无敌世界波

侧身凌空斩
2025-02-24 01:09:17
田鹏飞:现任黑龙江省安达市委书记

田鹏飞:现任黑龙江省安达市委书记

阿离家居
2025-02-24 01:49:11
《难哄》白敬亭章若楠为戏宣传互动超冷,宋轶疑全程盯场画面曝光

《难哄》白敬亭章若楠为戏宣传互动超冷,宋轶疑全程盯场画面曝光

小邵说剧
2025-02-23 20:01:04
今年清明不一般!老人说:“60年一遇,4大属相避扫墓”,啥意思

今年清明不一般!老人说:“60年一遇,4大属相避扫墓”,啥意思

夏聊史
2025-02-21 12:38:45
论:大连石化公司搬迁之后的原厂区,让谁来接手最合适?

论:大连石化公司搬迁之后的原厂区,让谁来接手最合适?

爱看剧的阿峰
2025-02-23 23:05:50
这5种衣服“有毒”,再好看也别买,小心危害自己和家人健康

这5种衣服“有毒”,再好看也别买,小心危害自己和家人健康

平祥生活日志
2025-02-22 15:47:23
全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连倪萍都嫌弃

全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连倪萍都嫌弃

小故事娱乐
2025-01-15 11:05:06
2025-02-24 07:15:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
12218文章数 65912关注度
往期回顾 全部

科技要闻

高盛:AI基建看阿里,AI应用看腾讯

头条要闻

马斯克:泽连斯基已被“开除” 不再是乌克兰领导人

体育要闻

但愿这是他们的开始,而不是他们的结束

娱乐要闻

于文华不再隐瞒,承认与朱之文的关系

财经要闻

重磅!2025年中央一号文件发布

汽车要闻

每公里5分钱 宏光MINIEV四门版4.48万元起

态度原创

教育
时尚
数码
房产
亲子

教育要闻

一节课为什么是40分钟?而不是30分钟或者50分钟

中年女人初春买上衣,有这3件就够了,配裙子、裤子都特别美

数码要闻

荣耀 MagicBook Pro 14 笔记本细节公布,可与华为等品牌设备互联

房产要闻

开年狂卖10亿+,阿那亚再成海南楼市现象级!

亲子要闻

小孩姐想吃饺子,问爸爸会不会包,知道爸爸不会包饺子,竟开始教爸爸了。