网易首页 > 网易号 > 正文 申请入驻

UC伯克利等最新实锤:LLM就是比人类啰嗦,「提问的艺术」仍难参透

0
分享至


新智元报道

编辑:peter东 乔杨

【新智元导读】基于一段文本提问时,人类和大模型会基于截然不同的思维模式给出问题。大模型喜欢那些需要详细解释才能回答的问题,而人类倾向于提出更直接、基于事实的问题。

如果要你负责企业培训,培训结束需要出一份考试题目,那如今你可以选择将培训材料交给大模型,由大模型来负责出题并给出参考答案。

不过由大模型给出的考题,和人类出的题目究竟有没有差别,以及有哪些差别?

最近,加州大学伯克利分校、沙特阿拉伯阿卜杜拉国王科技城(KACST)和华盛顿大学的研究人员发表了一项研究,首次系统评价了大模型提问的能力,并指出大模型和人类的提问模式存在显著差异。


论文地址:https://arxiv.org/pdf/2501.03491

评价提问的四个维度

这项研究基于维基百科的文本,将文本拆分为86万个段落,之后通过亚马逊Mechanical Turk众包平台,由人类参与者为每个段落撰写对应的题目及答案,人类给出的文本将作为评估大模型的基准。


图1:大模型出题并评价的模式

之后,研究人员将这些段落交给主流的大模型,包括闭源的GPT-4o和开源的LLaMA-3.1-70b-Instruct,由大模型根据段落内容及上下文提问,之后对问题的评价也由大模型进行。

对问题的评价共包含6个指标,分为2组。前三个标准评估问题本身,而第二组标准负责评估反映问题质量的潜在答案。首先介绍与答案无关的标准。

1. 问题类型

对于人类来说,选择问哪个问题具有主观性。这项研究定义了十种问题类型,例如验证/确认问题,具体事实与数据问题及身份和归属问题等。

2. 问题长度

主要测量的是组成问题的单词数量。除了直接比较人类和大模型所生成的问题长度外,该研究还考察了问题长度与问题类型之间的关系。

3. 上下文覆盖率

上下文通常包括多个句子,问题可能只针对一个句子中的一个事实,或者需要跨越多个句子进行推理。这项标准旨在反映问题覆盖文本内容的长度,研究还分析了在生成过程中,大模型是否会有倾向性地关注上下文中的哪些特定部分。

4. 可回答程度

一个问题的关键质量标准是它是否可以在特定知识的基础上被精确地回答。具体来说,生成的提问应在提供上下文的情况下可回答,而非是模棱两可的。

5. 罕见性

大模型是在互联网上广泛可用的常识上进行训练。因此,即使没有明确提供上下文,大模型仍然可以进行提问,因此需要评估问题相对于其预训练数据的罕见程度,从而判断大模型究竟是有的放矢地提问,还是问给出一些泛泛而谈的问题。

6. 答案所需的长度

除了问题长度外,所需答案的长度是衡量提问模式的一个更有效的指标。然而,由于生成模型的回答往往冗长且包含很多无用细节,所以首先要明确提示模型提供最短的文本作为回答,并指导模型在一定的字数限制内生成答案。此外,研究者还会对这些答案进行额外评估,以确定是否可以用更少的词达到相同的质量评级。

大模型vs.人类,问题差异在哪

研究结果显示,首先:在问题类型上,与人类相比,大模型更倾向于提出需要描述性、更长答案的问题,大约 44%的人工智能生成问题是这一类。

这可能是因为大模型在训练过程中接触到了大量描述性文本。而人类倾向于提出更直接、基于事实的问题,例如核查具体的事实和数字,或者人物、地点、事件等。

而在问题长度上,,大模型生成的问题长度更长,而且不同模型对问题长度的偏好有所不同,例如GPT-4o 生成的描述性问题更长。而人类生成的问题更短,且不同类型的问题间长度差异较大。


图2:大模型提问的问题长度,前两行是人类参与者的问题长度

而在上下文覆盖上,人类产生的问题能更全面地覆盖上下文信息,包括句子级别和词语级别。这意味着相比人类,大模型的提问难以更全面地覆盖所有文本,往往会揪着一个细节去提问。


图3:大模型和人类提出问题对应的上下文在句子和单词层面的覆盖比

更值得关注的是,大模型更关注文本的前部和后部,而忽略中间部分,这一点之前的研究也有提及。


图4,大模型提问对不同位置的段落的覆盖情况

对于提出的问题是否可以被解答,需要根据上下文信息分别判断。如果提问所依据的文本包含了背景介绍,此时大模型生成的问题通常有清晰的答案。而如果文本中缺少上下文信息,缺乏常识的大模型生成的问题的可回答性会显著下降,甚至有些问题无法回答。


图5,对比文本包含上下文以及不包含上下文时,大模型提出的问题时具有可回答度的评分分布

类似的,由于生成模型的特性,大模型生成的问题通常需要更长的答案、包含更多细节。同时大模型生成的答案可压缩性较差:尽管可以压缩,但仍然需要比人类更长的答案。


图6:大模型和人类提出问题对应的回答的长度

研究AI提问的意义

这项研究中,交给AI提问的只是一个段落,而非具有更丰富上下文的文章。未来的研究,需要考察的是大模型面对更长的文本,甚至是多篇长文本组成的书籍时会提出怎样的问题,并考察不同阅读难度、不同学科背景的文本。

如今AI生成的提问在商业产品中变得越来越普遍。例如,亚马逊的购物助手会建议与产品相关的问题,而 搜索引擎Perplexity和X的聊天机器人Grok则使用后续问题来帮助用户深入了解主题。

由于AI问题具有于区别于人类提问者的独特模式,我们就可以据此测试RAG系统,或识别AI系统何时在编造事实。

对大模型提问模式的了解,还可以帮助用户编写更好的提示词,无论是希望AI生成更类人的问题,还是要求有特定特征的问题。

随着人们越来越依赖大模型,本文最初描述的基于大模型出考试题,将会在未来变得越来越普遍,进而潜移默化地影响人类学生的思考模式,也许会让我们的下一代变得啰啰嗦嗦,或者看文章时只关注特定细节,尤其是头尾部的(考核中的重点)。

不过大模型的提问模式也是可以微调的,知道了大模型提问和人类的差异,我们就可以有针对性地进行改变。

参考资料:

https://arxiv.org/pdf/2501.03491

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

不用GAN不用扩散,无需训练解锁AI生图新境界!判别模型成神秘第三极

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
1场5-0后,墨菲双重喜!轰147晋级,中国外卡出局,15席32强出炉

1场5-0后,墨菲双重喜!轰147晋级,中国外卡出局,15席32强出炉

刘姚尧的文字城堡
2025-02-24 11:19:17
25岁姆巴佩密会43岁伊万卡?俩萌娃成神助攻,库什纳这次真慌了!

25岁姆巴佩密会43岁伊万卡?俩萌娃成神助攻,库什纳这次真慌了!

欧美八卦圈
2025-02-16 08:00:03
曹德旺:当你一天赚到两三万后,你就会发现,勤劳根本发不了大财

曹德旺:当你一天赚到两三万后,你就会发现,勤劳根本发不了大财

清风拂心
2024-11-09 16:00:03
甲流狂飙,医院爆满!医生提醒:除了佩戴口罩,这5件事也要牢记

甲流狂飙,医院爆满!医生提醒:除了佩戴口罩,这5件事也要牢记

荷兰豆爱健康
2025-02-24 10:27:26
悲哀!同事提醒女子带孩子到机械厂上班,很不安全,反遭她驳斥…

悲哀!同事提醒女子带孩子到机械厂上班,很不安全,反遭她驳斥…

火山诗话
2025-02-24 06:39:34
确认了:上海已开始试点!30万人急需,168元/2小时?有爷叔感慨“我们没有后顾之忧了”

确认了:上海已开始试点!30万人急需,168元/2小时?有爷叔感慨“我们没有后顾之忧了”

上观新闻
2025-02-20 19:41:19
香不香?巴特勒攻防俱佳9中5拿到18分5助 正负值+28

香不香?巴特勒攻防俱佳9中5拿到18分5助 正负值+28

直播吧
2025-02-24 07:08:11
希望大家的肝功能化验单,这5项不要升高!

希望大家的肝功能化验单,这5项不要升高!

肝病专家梅祥冬
2025-02-21 14:20:52
年纪越大,海绵体越无力?教你一方宝刀不老,重回少年状态

年纪越大,海绵体越无力?教你一方宝刀不老,重回少年状态

荷兰豆爱健康
2025-02-23 20:37:22
黑又硬!勇士官方晒赢球海报 追梦、巴特勒携手登上封面

黑又硬!勇士官方晒赢球海报 追梦、巴特勒携手登上封面

直播吧
2025-02-24 09:39:08
这一次,汪小菲用行动 让台媒主编承认看走眼 郎咸平的话有人信了

这一次,汪小菲用行动 让台媒主编承认看走眼 郎咸平的话有人信了

沧海一书客
2025-02-22 09:58:32
半场8次丢失球权!媒体人:拜合拉木身体够硬肯拼,但不能触球多

半场8次丢失球权!媒体人:拜合拉木身体够硬肯拼,但不能触球多

直播吧
2025-02-23 20:42:20
复职条件已定,尹锡悦将重返政坛?新的文在寅诞生,民调遥遥领先

复职条件已定,尹锡悦将重返政坛?新的文在寅诞生,民调遥遥领先

蓝色海边
2025-02-24 10:38:11
“四时不开窗,家人才健康”,今天才知道:这4个时间不能开窗!

“四时不开窗,家人才健康”,今天才知道:这4个时间不能开窗!

阿离家居
2025-02-23 19:53:46
泰山队惊现内讧苗头,谢文能怒摔水瓶发泄给谁看?

泰山队惊现内讧苗头,谢文能怒摔水瓶发泄给谁看?

姜大叔侃球
2025-02-23 19:48:05
今天举行球衣退役仪式!勇士晒照致敬一哥:永远的9号

今天举行球衣退役仪式!勇士晒照致敬一哥:永远的9号

直播吧
2025-02-24 01:27:54
一哥发言结束语:我的球衣退役仪式 只是库里庆祝活动的序章

一哥发言结束语:我的球衣退役仪式 只是库里庆祝活动的序章

直播吧
2025-02-24 09:20:32
豪华车也逃不过“跌冒烟”,雷克萨斯RX300居然降到了33万!

豪华车也逃不过“跌冒烟”,雷克萨斯RX300居然降到了33万!

沙雕小琳琳
2025-02-24 10:04:46
《蛟龙行动》将重新拍摄,誓要翻盘创造更高票房

《蛟龙行动》将重新拍摄,誓要翻盘创造更高票房

影视高原说
2025-02-21 14:27:04
医生发现:习惯在饭后躺下的老年人,用不了半年,身体或有3变化

医生发现:习惯在饭后躺下的老年人,用不了半年,身体或有3变化

今日养生之道
2025-02-19 13:22:08
2025-02-24 14:20:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
12223文章数 65914关注度
往期回顾 全部

科技要闻

DeepSeek重磅开源,算力成本还能降

头条要闻

牛弹琴:一觉醒来德国变天 马斯克的希望破灭了

体育要闻

但愿这是他们的开始,而不是他们的结束

娱乐要闻

演员请就位3:王志飞好心助演被批喧宾夺主

财经要闻

梁文锋惊醒张一鸣雷军

汽车要闻

全新造型设计 新款宝马5系渲染图曝光

态度原创

艺术
本地
旅游
健康
亲子

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

本地新闻

非遗版春节|新春青岛行,是谁闯入了动漫世界?

旅游要闻

机票价格大跳水!多个城市热门航线跌至200多元

抑郁症患者称好的“乌托邦”宝地

亲子要闻

孩子一天玩300回,大人也抢着玩!超炫光机械玩具狗!