如何解决“国外一开源，国内就创新” AI治理与安全挑战？｜钛媒体AGI

（图片来源：钛媒体AGI编辑林志佳拍摄）

12月28日消息，钛媒体AGI获悉，阿里巴巴集团于26日联合发布《大模型技术发展及治理实践报告》，再度披露 AI 技术带来的治理与安全问题面临重要挑战。

据统计，随着ChatGPT引爆全球AI大模型热潮，截至2023年6月底，全球 AI 企业共计3.6万家。美国 AI 企业数量约1.3万家，在全球占比33.6%，中国5734家，全球占比为16%。截至目前，中国已经完成备案并对外服务的AI大模型超过270个，总注册帐户数超过13亿。

其中，北京占据国内大模型产业头部地位。据北京市互联网信息办公室副主任潘锋介绍，今年以来，北京推进第八批、第九批生成式人工智能大模型通过备案并上线，备案大模型数量达到105个。北京的头部大模型企业占全国一半以上，已经赋能超过1.4万家企业，辐射带动的能力和作用凸显。

然而，在大模型技术能力不断突破、模型性能不断提升的同时，人们对大模型安全风险以及安全治理的研究也在持续推进。根据大模型的技术特征和应用特点，对大模型进行有效治理，让大模型始终处在人类控制之下，不断降低大模型的安全风险，让大模型更好地服务人类发展，已成为全球共识。

“网上有个说法，‘国外一开源，国内就创新’，自主创新基础不牢。大量国产模型采用国外的开源架构进行训练，由于国外的原生创新是用国外的语料进行训练，导致国内与国际的顶尖水平还有一定的差距。”潘锋谈到，AI行业“百模大战”之下，真正有竞争力的模型并不多，不少企业还没有找到可盈利的商业模式，面临比较大的生存压力。在对话搜索场景面临竞争红海的同时，自动驾驶、办公、教育、医疗等垂直领域加速释放潜能，还没被充分挖掘。面临内生安全不足、原生程度不足、重生能力不足等挑战。

潘锋认为，政府部门需要建立健全大模型研发、上线、运行等全生命周期管理体系，统筹推进算力、数据等基础要素供给，协同各方夯实 AI 发展的基础。

作为提供全国80%的科技企业和超过一半AI大模型公司的头部AI和云服务商，阿里不仅提供通义大模型，而且还持续建立安全架构。据阿里巴巴集团副总裁、阿里安全总裁钱磊披露，过去一年，阿里坚持云和AI协同发展，投入大量资源到 AI 算力基础设施建设当中，“通义千问”API调用价格一年间下降了97%。同时，中国一汽、联想、微博等30多万家企业已经接入通义大模型。

另外，在开源层面，Hugging Face社区上，目前全球开发者基于阿里自研“通义”开源模型二次开发的衍生模型已经突破8万个，仅次于美国Meta的Llama系列；阿里 AI 模型社区“魔搭”(ModelScope)则提供超15000个优质AI模型， 汇聚了600万AI开发者，累计下载量超过1亿次。

值得注意的是，报告中提到，大模型的安全问题一直是学术界和工业界关注的热点问题。为了提升大模型的安全性，常见的技术可以归纳为两大类，一类是内生安全技术，包括安全微调(SFT) 、基于人类反馈的安全对齐(RLHF) 等。另一类是对模型的输入输出内容进行风险识别，例如Meta的LLama Guard等类型模型。这类技术一般称为外层护栏，对暴力犯罪、隐私、色情等风险进行识别，拦截用户请求或模型输出的内容，从而确保大模型的安全使用。然而，这两类技术都有各自的缺陷，安全对齐技术目前主要是依赖安全微调数据，这类数据驱动的方法往往是过拟合到数据，是数据上的对齐，而非让大模型真正了解如何回复才是得体的。此外，安全对齐往往会牺牲模型的通用能力，同时防控护栏出于安全考虑会无差异化地对各类风险问题进行拦截，但有些安全性高的模型实际上能够很好且得体地回答部分风险问题，无差异化的拦截策略使用户的体验变得很差。

因此，报告中提出一个新的概念：宪法人工智能 (Constitutional AI) 。

所谓宪法AI，是通过人为设定宪法准则，对模型进行微调和强化学习，从而让模型和宪法准则进行对齐，该技术最先由 Anthropic提出并用于基于 AI 反馈强化学习做对齐。IBM 也提出了基于准则的 Self-Align对齐技术。通过利用少量人类定义的原则 (或规则) 来引导大模型对用户查询生成响应，极大地减少了人工监督的工作量。

中国电子技术标准化研究院副院长范科峰表示，在 AI 时代，发展与安全从来都不是对立的，而是相辅相成。AI安全标准化工作，既是AI安全治理的重要支撑，也是推动技术健康发展的基本保证。展望未来，AI技术的发展与治理必然需要更加广泛、更加紧密的协作与配合。

（本文首发于钛媒体App，作者 | 林志佳，编辑 | 胡润峰）