人工智能生成网络谣言的挑战和应对

核心提示：随着人工智能、区块链等技术的迅速发展，不法分子利用人工智能生成网络谣言的违法犯罪行为时有发生。对此，亟须针对人工智能特征构建谣言治理体系；发挥平台作用，加强信息核查；增强技术干预，抑制虚假信息；提升群众信息素养，创新预防网络谣言方式。

作者|邓辉

责编|薛应军‍‍‍‍

正文共2667个字，预计阅读需8分钟▼

9月19日，公安部发布消息，全国公安机关网安部门今年以来已办理网络谣言类案件2.7万余起，依法查处造谣传谣网民3.1万余人，依法关停违法违规账号19.9万余个，清理网络谣言信息156.2万余条。随着人工智能、区块链等技术的发展，不法分子利用人工智能（以下简称AI）生成网络谣言的违法犯罪行为也时有发生，四川、浙江、江苏等地公安机关积极行动，严厉整治并公布了一批典型案例。比如，公开信息显示，一篇题为《一场惊心动魄的“钞票大战”巴中市警民对峙引发轰动 谁将为胜利者》的文章引发广泛关注。经核实，事情真相系四川巴中一辆运钞车因在公交车站牌处占道停留，交警发现后请运钞车驶离。违法人员尚某某在网上获悉相关图片后，为“吸睛获流”，抱着侥幸心理，未经核实使用“AI千文”生成标题虚假信息并在某网络平台发布，引起社会恐慌。

随着ChatGPT、Sora等生成式人工智能的兴起，文字生成图片、音视频的质效显著提高。然而，一些不法分子利用人工智能技术生成和编辑虚假信息，大大降低了网络造谣、传谣的门槛，大幅提升了谣言的数量级和传播力，促使网络谣言定制化生成、精准化传播、智能化扩散，滋生出AI类网络谣言。在智能技术迭代助推下，网络谣言创建和实施过程趋向完全自动化，不仅数量激增、种类多样，且传播速度加快、识别难度增加、内容靶向定制，严重破坏人们对可验证事实的信任，增加人们对公共生活真相的怀疑。对此，亟须探索积极有效的系统治理方案。

网络谣言“智能制造”的全新挑战

深度伪造内容真假难辨。深度伪造技术在制造和传播网络谣言中的应用较为广泛，可以被利用生成深度伪造图像、音视频，使一般大众信以为真，达到散布谣言、引发骚乱、破坏社会秩序的目的。即使深度伪造内容很快被澄清，其仍然可能会侵蚀公共领域，占据大量信息资源，甚至淹没独立、可靠的专业新闻报道，这使得其消极影响不断扩大。

定向数据可扭曲信息传播。近年来，在新兴技术赋能下，“认知作战”等颠覆手段逐渐兴起，人工智能和神经网络技术竞赛持续加速，使得其破坏性不受限制地发展。这些“扭曲信息”、网络谣言会破坏人们对政府、专业新闻报道的信任，并造成人们信息“情绪化”。同时，通过伪造“马甲”、自动化僵尸网络，定制网络谣言的制作和传播将更精细化，可以让毫不知情的互联网用户备受影响。

肆意传播网络谣言危及国家安全。近年来， 数字化与社交网络服务的普及使得“叙事”传播结构发生重大变化，“信息社区”“数字国家”等新型共同体轮廓逐渐形成。如果任由社交媒体肆意传播网络谣言，甚至可能引发区域冲突，危及国家安全。需要注意的是，除专业写手外，社交账号机器人也在制造和传播虚假信息过程中起到关键作用。借助功能更强大且易于使用的大型语言模型，社交机器人具备擅长模仿、避免检测的特点，生成的虚假新闻和网络谣言会使信息生态系统遭受极大破坏，这值得重视。

利用算法、内容审核权等影响人们认知。借助AI技术批量生成虚假信息内容，使得有的社交平台利用算法、内容审核权等，影响人们对事实本身的认知与理解，甚至可能塑造冲突本身。因此，深谙好奇、“吃瓜”等人性弱点的网络谣言活动，使得社会公众容易陷入情绪宣泄和立场站队漩涡，通过社交互动、情绪传染造成“病毒式传播”后果。若对特定地区公众、精英的观念与情绪进行干预，将会对国家安全构成潜在威胁。

人工智能生成网络谣言的体系应对

针对AI特征构建谣言治理体系。明确“网络谣言”的法律界定，结合网络特征细化《中华人民共和国治安管理处罚法（修订草案）》对“散布谣言”的认定规则，出台网络谣言行政处罚裁量基准的具体规定和指导意见。确立网络谣言治理的基本原则，根据涉及领域的重要性和危害程度进行分类分级，强调基于风险的治理技术，构建完善的法律和伦理规范，促进网络谣言、虚假信息防治技术研发。探索网络谣言公益诉讼，通过先试先行破解诉讼动力、证据收集、资格认定等难题，为规范引导网络谣言治理提供支持。注重平衡行政监管和公民权利保护，正确区分善意评论和网络谣言，尊重和保护公民言论自由。充分发挥监管职能，网信、公安、市场监管等部门加强日常巡查、定期检查，坚持违法人员、信息和账号“一案三查”。依法打击惩治恶意炒作、造谣生事等网络违法乱象，持续开展生态治理，铲除网络谣言的寄生土壤。

发挥平台作用，加强信息核查。通过“可信度标签”和“上 下文标签”等形式，提高虚假信息辨识度，向用户展示真实信息或提供更多的相关信息，以便用户作出准确判断。加强平台与事实核查机构的合作，通过第三方事实核查机构实现对海量信息的检测、标注及虚假信息的辟谣，通过机器学习来扩大信息的检测范围，弥补人工审查在数量和速度上的局限性。推进平台事实核查机制建设，总结“澎湃明查”“腾讯较真”“微信辟谣小助手”“微博辟谣”“网络谣言粉碎机”等已有平台和服务的经验，完善举报、查删、标注、限制转发或话题置顶等功能。从源头把控敏感信息流入，严格审核人工智能生成的适用领域和结果，要求披露制作图像、视频或音频时使用相关技术的情况。

增强技术干预，抑制虚假信息。优化调整算法规则，建议优化平台型社交媒体推荐算法，降低虚假信息的排名、权威性和可见度，提高权威优质来源信息的优先级。发挥人工智能检测功能，加大对网络谣言识别技术的投入，研发多模态人工智能虚假信息检测工具，开发和优化基于固定特征的检测功能，利用人工智能分析曾被标记为虚假信息的线索识别词语模式。

提升群众信息素养，创新预防网络谣言方式。提高全民人工智能技能和数字素养，系统性地在高等院校、中小学、街道社区开展多层次的基础教育和专业教育，有针对性地在科技、广告、新媒体从业者等群体中加强宣传。通过公益广告、志愿活动等加强防骗宣传教育，展示揭露网络谣言的常用“套路”，鼓励群众关注可靠信息源信息，强化信息逻辑分析，提升识别防范网络谣言意识。灵活使用幽默、恶搞和讽刺等新型反击策略，发挥引起受众共鸣、即时理解、迅速传播和节省劳动的优势，缓解网络谣言信息压力，化解认知攻势。

本文为中国人民公安大学数据法学“双一流”学科建设经费科研项目（项目编号：2023SYL14）的阶段性研究成果。

（作者单位：中国人民公安大学法学院、数据法学研究院）