网易首页 > 网易号 > 正文 申请入驻

安全领域唯一!360智盾入选工信部未来产业创新发展优秀典型案例

0
分享至

日前,工业和信息化部正式发布2024年未来产业创新发展优秀典型案例名单,三六零集团(以下简称“360”)自主研发的大模型安全护栏产品解决方案(360“智盾”)成功入选,成为人工智能安全领域标志性产品。本次优秀案例征集与评选严格按照工业和信息化部等七部门《关于推动未来产业创新发展的实施意见》的部署要求,聚焦未来制造、未来信息、未来材料、未来能源、未来空间、未来健康等六大方向,旨在从国家层面遴选出一批具有标杆作用和样本示范引领作用的典型优秀案例。

在人工智能大模型高速发展的背景下,模型在实际应用中暴露出诸多安全隐患,包括恶意操控、内容违规、隐私泄露、幻觉误导等问题,带来了前所未有的挑战。

中国信息通信研究院发起的AI Safety Benchmark(大模型安全基准测试)结果显示,当模型面临恶意攻击时,生成有害内容的成功率显著上升,凸显安全防护机制的迫切需求。

以模制模:用大模型守护大模型

面对大模型落地应用中不断演化的内容安全挑战,360智脑团队深入探索、持续创新,率先提出“以模制模”理念——用大模型能力保障大模型自身的安全,并将相关能力产品化,打造出业界领先的大模型内容安全解决方案360“智盾”。

模型层:打造超级安全的“安全回复大模型”

360团队通过持续预训练(Safety Continual Pretraining)、安全监督微调(Safety Supervised Fine-Tuning)、安全对齐(Safety Alignment)等方式,结合插值/外插训练技术和真实场景数据,不断提升模型本身的原生安全性能,最终构建出一个能够应对越狱攻击、处理高风险问题时依然保持“向善”响应的“安全回复大模型”。

应用层:构建多层次内容护栏体系

在应用层,360“智盾”为业务大模型外部加装“内容防护盔甲”:

输入端:用户输入内容首先经过风险识别分类器,根据风险等级进行分级处理:

 红线类内容直接拒答;

 敏感但可答类交由“安全回复大模型”处理;

 安全内容正常进入业务模型;

输出端:模型生成内容再次经过检测,确保无违规风险。

语义理解驱动的风险识别模型

360自研的风险内容分类器基于语义大模型构建,在识别精度和训练效率上全面优于传统关键词匹配和BERT类分类模型。

其训练数据严格对标《生成式人工智能服务安全基本要求(TC260-003)》中5大类31小类的违法不良信息类型,并结合实际业务场景细化出100余类风险标签。仅需少量示例样本,即可训练出行业领先水平的检测能力。

红蓝对抗攻防靶场:模拟实战,快速迭代

线上大模型服务所面临的风险复杂多变,360创新构建基于大模型的红蓝对抗靶场体系,实现自动化、系统化评估与迭代:

红方(攻击方):由“360红蓝对抗攻击大模型”模拟真实攻击者,主动发起越狱、诱导等攻击;

蓝方(防御方):包括“安全回复大模型”在内的防护模型,接收攻击并构建防御机制;

裁判员:由“360安全评测大模型”担任,对每轮输入输出进行定量分析,自动评估攻防成效。

通过标准化指标与自动化评估流程,大大提高评测效率与覆盖率,实现产品能力的快速闭环迭代。

赋能行业落地,服务全面升级

目前,360“智盾”已全面部署于360内部各大模型业务中,为C端用户提供可靠的内容安全保障。同时也积极拓展外部服务,为政企客户提供大模型生态链漏洞安全检测、内容安全防护与评估、备案合规咨询、可信增强搜索等多项AI安全产品能力与服务,助力其在AI大模型应用落地过程中实现“安全可控”。截至目前,360“智盾”已在政务、金融、交通、能源等重点行业完成落地,持续为行业客户打造更稳固的大模型安全底座。

除“智盾”外,360推出的大模型安全产品还包括“360智鉴”和“360智搜”。其中,“360智鉴”为大模型系统安全检测平台(AISE),该产品覆盖了从模型训练到推理的全链路安全检测,支持对模型服务的相关组件识别、生态链漏洞扫描和多语言代码审计,确保大模型系统安全;“360智搜”则是一款大模型可信增强(AISO)工具,融合多模态检索与语义理解技术,能够提供精准的搜索结果,并支持基于企业私域数据的知识提炼与总结。其独特之处在于整合多领域精品知识库,实现全网与私域知识的无缝对接,提升信息获取效率,并可帮助大模型缓解幻觉问题,减少虚假或不准确信息,提升大模型的可信度与可靠性,从而为企业提供更安全、更高效的业务支持。

安全可控,向善可信

此次入选工信部《2024年未来产业创新发展优秀典型案例》,是唯一一个入选的大模型安全防护产品案例。这不仅是对360在大模型安全领域长期投入与领先能力的高度肯定,更充分体现出在AI应用加速落地的今天,安全可控的重要性正日益凸显。


此前360智脑团队研发的“360智盾:大模型内容安全护栏”在中国人工智能大赛大模型安全攻防赛题中获得A级证书/图源 360

未来,360 AI安全团队将继续在内容安全、漏洞安全、可信安全等方向深耕,为构建一个安全、向善、可信、可控的大模型应用环境持续贡献力量。

上游新闻 马亮

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

千里同风!重庆十所高校美术院系毕业生晒青春之作

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
超市老板一家4口遭灭门,凶手不图财不图色,真凶落网后家属崩溃

超市老板一家4口遭灭门,凶手不图财不图色,真凶落网后家属崩溃

碎碎纪实
2025-07-30 13:30:08
李湘做梦也想不到,释永信刚塌房,自己就因一张“黑丝照”被牵连

李湘做梦也想不到,释永信刚塌房,自己就因一张“黑丝照”被牵连

喜欢历史的阿繁
2025-07-31 00:39:01
NBA恐怖西部!“银河战舰”扎堆?球迷:季后赛比总决赛还难打?

NBA恐怖西部!“银河战舰”扎堆?球迷:季后赛比总决赛还难打?

海棠侃球
2025-07-30 07:35:02
10部电梯全停掉!大人不敢出门,孩子在家里闹,业主:谁来帮帮我们小区?

10部电梯全停掉!大人不敢出门,孩子在家里闹,业主:谁来帮帮我们小区?

潇湘晨报
2025-07-30 09:23:15
绝不向中方出售?国产“重器”打破天价进口,美日围追堵截失败

绝不向中方出售?国产“重器”打破天价进口,美日围追堵截失败

快看张同学
2025-07-30 19:38:49
组葡萄牙套?英媒:维加被切尔西告知不在计划内,利雅得胜利有意

组葡萄牙套?英媒:维加被切尔西告知不在计划内,利雅得胜利有意

直播吧
2025-07-31 00:36:13
造车十一年,巨亏1300亿,李斌被灵魂拷问:蔚来什么时候倒闭?

造车十一年,巨亏1300亿,李斌被灵魂拷问:蔚来什么时候倒闭?

半个诸葛
2025-06-12 06:05:03
苹果发布 iOS 18.6 修复可能导致回忆影片无法共享的问题

苹果发布 iOS 18.6 修复可能导致回忆影片无法共享的问题

威锋网
2025-07-31 01:05:03
几乎所有人都背着债,政府负债,企业负债,钱到底跑哪儿去了呢?

几乎所有人都背着债,政府负债,企业负债,钱到底跑哪儿去了呢?

流苏晚晴
2025-07-21 18:37:59
iPhone17ProMax大变样,这次苹果太高调了!

iPhone17ProMax大变样,这次苹果太高调了!

3C毒物
2025-07-31 00:07:53
宝马新X3,突然大降价!

宝马新X3,突然大降价!

爱论历史
2025-07-29 23:00:08
为了1万日元杀害一名日本女老师,这名日本女老师还在中国景德镇教书,回来过暑假惨遭不幸

为了1万日元杀害一名日本女老师,这名日本女老师还在中国景德镇教书,回来过暑假惨遭不幸

日本物语
2025-07-29 21:34:44
他最先发现毛泽东的才华,曾预言:这是一个可能改变中国未来的人

他最先发现毛泽东的才华,曾预言:这是一个可能改变中国未来的人

有范又有料
2025-07-10 10:34:04
苏超青面兽庞智超:家庭情况被扒,为练球不治胎记,已被武体录取

苏超青面兽庞智超:家庭情况被扒,为练球不治胎记,已被武体录取

大笑江湖史
2025-07-30 16:25:49
全家移民英国才真相大白,孙俪被公开“戳脊梁骨”,杨幂真没说错

全家移民英国才真相大白,孙俪被公开“戳脊梁骨”,杨幂真没说错

古木之草记
2025-07-31 00:06:52
1935年瞿秋白从容就义,建国后毛主席却对他评价出:以后少纪念他

1935年瞿秋白从容就义,建国后毛主席却对他评价出:以后少纪念他

纪实文录
2025-07-15 09:41:18
特朗普承认中国强硬,善意背后藏套路,中美博弈真相让人意外

特朗普承认中国强硬,善意背后藏套路,中美博弈真相让人意外

肖兹探秘说
2025-07-31 00:27:43
清华北大天塌了!今年中国最顶尖的学霸们正在集体抛弃清北

清华北大天塌了!今年中国最顶尖的学霸们正在集体抛弃清北

手工制作阿爱
2025-07-30 03:00:22
爷爷没有养老金,我爸每月给他存4000元,12年后我爸重病取钱哭了

爷爷没有养老金,我爸每月给他存4000元,12年后我爸重病取钱哭了

源远讲堂
2025-07-29 17:16:14
中国即将成“第二个沙特”?新疆竟发现超千万吨的稠油,何时挖掘

中国即将成“第二个沙特”?新疆竟发现超千万吨的稠油,何时挖掘

泠泠说史
2025-07-29 18:03:01
2025-07-31 01:51:00
上游新闻 incentive-icons
上游新闻
重庆“门户级”新闻客户端
227482文章数 583575关注度
往期回顾 全部

科技要闻

百度聚焦,心响失宠

头条要闻

美企高管排队来华谈合作 来了哪些人

体育要闻

拿什么拯救你,四十不获的阿里扎

娱乐要闻

汪小菲产品陷发霉风波!度假面色凝重

财经要闻

中央政治局:依法依规治理企业无序竞争

汽车要闻

向机器人公司演进,吉利的新野心

态度原创

游戏
艺术
健康
手机
军事航空

禁止杂交!你玩《植物大战僵尸》也不中!

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

呼吸科专家破解呼吸道九大谣言!

手机要闻

华为 MateBook Fold 非凡大师折叠屏笔记本获 HarmonyOS 5.1 升级

军事要闻

美开应答机运核武器 俄准备全面对抗