网易首页 > 网易号 > 正文 申请入驻

没想到吧,中文互联网上最好的大模型语料库是:弱智吧

0
分享至

作者 | 苗正
邮箱 | miaozheng@pingwest.com

如果让你在互联网上给大模型选一本中文教材,你会去哪里取材?是知乎,是豆瓣,还是微博?一个研究团队为了构建高质量的中文指令微调数据集,对这些社交媒体进行了测试,想找到训练大模型最好的中文预料,结果答案保证让你大跌眼镜——

弱智吧。

弱智吧是百度贴吧上的一个子版块,这是一个非常神奇的地方,吧友们热衷于创作和分享一语双关、一词多义、因果倒置、谐音梗等带着逻辑陷阱的内容,而且部分帖子甚至带有一定的哲学意味。但是,拿这些东西训练全知全能伟大的大模型?能行吗。

别急,我们先来看看这个研究团队做了什么实验。

这是一篇题为《COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning》的论文,作者来自多个国内外高校,简单来说,他们提出了一个中文指令微调数据集COIG-CQIA(全称为Chinese Open Instruction Generalist-Quality Is All You Need )。

对于中文大模型开发者来说,目前的一个重点挑战就在于没有一个高质量中文数据集,研究团队认为,各种中文社交媒体、论坛对于大模型的训练应该是很好的语料来源。

于是为了给这个数据集取材,他们从不同的社交平台(如问答社区、维基百科、考试材料、已有的 NLP 数据集等)收集了高质量的人工编写的文本集合,这些文本经过严格筛选和细致处理,最终才构建出了这个数据集。

论文称,这个数据集的目的是构建一个多样化、广泛的服务于中文大模型的指令调优数据集,以更好地使模型行为在中文环境下与人类互动相一致,提高指令响应的能力。

这里也科普一个概念,那就是大模型虽然有强大的知识储备,但是它是为解决通用自然语言处理任务而设计的,因此没有办法处理特定问题。此时,就需要对其进行“微调”,来让其输出结果符合特定问题的预期。而指令微调就是说明确了模型应执行的任务类型、输入要求、输出格式等具体细节情况下,再给出正确的结果。比如我用中文提问,并要求模型用西班牙语回答,那么模型的开发者为了满足我后半句话的要求,就得对模型进行指令微调。

这时就需要一个“指令微调数据集”。这类数据集通常包含大量的“指令-输出”对,其中每个对包括一个明确的指令(instruction),即用户希望模型执行的任务说明,以及与之对应的理想输出(output),即模型在接收到该指令后应当生成或执行的结果。

COIG-CQIA就是这样一个数据集。研究团队首先是对数据集进行了严格的筛选和清洗,确保数据集是比较健康的。具体做法是根据预设的筛选标准,去除无关或低质量的文本。这可能包括删除广告、无意义的灌水内容、含有敏感信息或违反社区规则的帖子等。

之后,团队还做了人工干预:对处理后的文本进行人工审核,确保其内容正确无误,符合预期的语义和知识标准,同时也确保数据集与真实的中文用户交互模式相一致。尤其是在一些诸如弱智吧语录这样深层隐喻比较强,模型基本没办法完全理解采集到的段子的含义,那就需要进行人工标注,提供明确的指令-输出示例,为模型微调提供精确的训练信号。

在做完了整理工作后,研究团队使用COIG-CQIA数据集对多个开源中文大模型做了微调。

而为了评估这些不同来源的数据质量,团队分别用不同的社交网站的数据微调了同一个模型,并做了测试。

在论文展示的对微调后的Yi系列模型的评估表现中,神奇的一幕出现。

在Yi-6B的性能对比中,在多个比分中(开放式问答,头脑风暴,分类问题,生成问题,封闭式问答和编程),用弱智吧的数据训练的模型表现在多个分类中表现是最好的。

而对微调后的Yi-34B的评测中,基于弱智吧数据训练出来的表现,更是直接拿了几乎全部领域的第一,综合评分遥遥领先。

除了性能外,COIG-CQIA还对其安全性能进行测试了,使用的是开源评估框架SafetyBench。可以看到,CQIA-Sub-6B的SafetyBench高达81.7,比GPT 3.5的SafetyBench还高。这么高的评分代表COIG-CQIA能够准确识别风险,并区分出含有有害信息、潜在违规内容、隐私敏感信息、误导性建议等不安全选项,选择出最符合安全原则的答案。换句话说,其具备一定的商业化潜力。

而其中,弱智吧的表现又亮了。超过了GPT3.5 。

论文里也对此感到惊讶,作者尝试做了分析:“有意思的是,弱智吧数据集在多个子集上的平均排名中最终位居第二,我们认为这可能是因为弱智吧的数据特性有助于增强模型的逻辑推理能力,从而在大多数遵循指令的任务中表现出色。”

在看完这篇论文后,我又去弱智吧看了看这些天才般的语料,这是有人整理的一部分弱智吧经典语录:


  • 玉皇大帝住的是平流层()还是对流层?

  • 导盲犬禁止入内,是给盲人看的,还是给导盲犬看的?

  • 空腹能吃饭吗?

  • 变形金刚买保险是买车险还是人险?

  • 我买了一斤藕,为什么半斤都是空的?

  • 雷公电母放的是直流电还是交流电?

  • 每天吃一粒感冒药,还会感冒吗?

  • 请问孕妇打人算群殴吗?

  • 去自首的路上被抓了还算自首吗?

  • 吃止痛药去打架,算开挂吗?

  • 被门夹过的核桃,还能补脑吗?


考虑到大模型最欠缺的就是逻辑能力,看来这些更像脑筋急转弯的问答确实是大语言模型的好语料。

而在弱智吧最近的首页上,一个排名靠前的帖子也很应景:

“什么工作都可能会被人工智能取代,但弱智不会。”

真的,有道理呢。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
尼科-威廉斯:比赛失利令人沮丧和失望,我们没有发挥出应有的水平

尼科-威廉斯:比赛失利令人沮丧和失望,我们没有发挥出应有的水平

懂球帝
2026-11-21 11:33:11
惨烈! 马来西亚10月汽车销量7.5万辆 宝腾1.9万 比亚迪333辆 大跌80%

惨烈! 马来西亚10月汽车销量7.5万辆 宝腾1.9万 比亚迪333辆 大跌80%

趣味萌宠的日常
2026-11-21 01:08:29
2018年末的剧本:美联储持续加息,美股从9月高点暴跌20%,迫使美联储1月“转向”

2018年末的剧本:美联储持续加息,美股从9月高点暴跌20%,迫使美联储1月“转向”

华尔街见闻官方
2026-11-21 13:22:36
冰冻三尺非一日之寒,男子路过小吃街,发现不到百米小街五家餐饮陆续旺铺转让关门,感慨苦了老板,富了房东

冰冻三尺非一日之寒,男子路过小吃街,发现不到百米小街五家餐饮陆续旺铺转让关门,感慨苦了老板,富了房东

捣蛋窝
2026-11-21 12:59:35
《星际迷航》传奇帕特里克·斯图尔特死因公布,享年86岁

《星际迷航》传奇帕特里克·斯图尔特死因公布,享年86岁

浅遇时光
2026-11-20 13:48:40
钱再多有什么用?被送进急救的于和伟,给所有男明星提了个醒

钱再多有什么用?被送进急救的于和伟,给所有男明星提了个醒

云舟史策
2026-11-19 07:13:32
伊朗称击中一架F-16战机

伊朗称击中一架F-16战机

新华社
2026-11-21 21:32:26
NBA开赛至今,表现最好的6名新秀:文班亚马全能,22年榜眼惊艳

NBA开赛至今,表现最好的6名新秀:文班亚马全能,22年榜眼惊艳

篮球圈里的那些事
2026-11-21 22:55:50
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
小米269元新品开售:1.77英寸+2190mAh

小米269元新品开售:1.77英寸+2190mAh

全是技能
2026-11-20 12:08:45
家中10样东西,过期1天也要扔!第一名家家都有,毒性最大

家中10样东西,过期1天也要扔!第一名家家都有,毒性最大

健康之光
2026-09-11 17:50:48
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
北京的第一批大龄未婚女性,已经搬进了养老院

北京的第一批大龄未婚女性,已经搬进了养老院

小怪吃美食
2026-11-21 10:55:17
事情坏就坏在国际奥委会自身;当年的中国举办奥运会,国际奥委会的委员们,反复来中挑毛病,让中国人身心受到了极大的伤害。

事情坏就坏在国际奥委会自身;当年的中国举办奥运会,国际奥委会的委员们,反复来中挑毛病,让中国人身心受到了极大的伤害。

回京历史梦
2026-11-14 09:07:49
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;有的种群30来年间,被吃掉约9成;贵州通报:已传唤涉案人员

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;有的种群30来年间,被吃掉约9成;贵州通报:已传唤涉案人员

扬子晚报
2026-11-20 16:49:50
黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

LOGO研究所
2026-11-09 19:40:24
开小饭馆一年能挣上百万,房东眼红非要将租金翻个倍,我痛快答应下来,转头三天搬空店铺,房东站在门口傻了

开小饭馆一年能挣上百万,房东眼红非要将租金翻个倍,我痛快答应下来,转头三天搬空店铺,房东站在门口傻了

晓艾故事汇
2026-11-18 16:14:50
湖人队主教练雷迪克谈凯斯勒在打国王队时,“拯救比赛”关键一球

湖人队主教练雷迪克谈凯斯勒在打国王队时,“拯救比赛”关键一球

好火子
2026-11-22 00:26:16
严厉查处!过紧日子仍然有单位顶风作案,一单位突击花1400万!

严厉查处!过紧日子仍然有单位顶风作案,一单位突击花1400万!

职场资深秘书
2026-11-21 11:55:27
约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

千秋文化
2026-11-21 21:19:47
2026-11-22 01:19:00
硅星人 incentive-icons
硅星人
硅(Si)是创造未来的基础,欢迎来到这个星球。
3584文章数 10549关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
教育
艺术
旅游
公开课

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

旅游要闻

广西南宁:冬日繁花似锦

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版