北大团队研发智能设备模型隐私保护机制，有望降低10倍计算成本

当前，大语言模型于金融、医疗等隐私攸关行业的部署面临着隐私保护的严峻挑战。诸如医院、银行等模型用户，虽掌控着大量高质量机密数据，但却欠缺训练大模型的技术能力，故而需依赖外部供应商来提供基座大模型等必需的技术支撑。

然而，在大语言模型用户与供应商协作时，双方存在相互不信任的问题：用户担心机密数据泄露，不愿将其暴露给供应商；供应商则顾虑技术核心被窃取，不愿将基座大模型直接呈现给用户。

为解决大模型用户与供应商之间的互不信任问题，北京大学助理教授李锭团队研发出一种基于可信执行环境（TEE，Trusted Execution Environment）的模型保护技术，并构建了开源框架 TAOISM（https://github.com/ziqi-zhang/TAOISM）。

该技术可使供应商将其基座大模型部署至用户端的可信执行环境内，既确保用户的机密数据不出该环境范围，又能防止用户侵犯供应商基座大模型的隐私。此方法不但实现了全方位的模型隐私保护，还把计算成本降低至现有技术的 1/10。

相关论文以《域外无私：端侧机器学习中基于可信执行环境的模型切分技术的（不）安全性》以及《TEESlice：在攻击者拥有预训练模型的前提下，通过可信执行环境保护机密神经网络模型》为题相继发表于《IEEE 安全与隐私论坛》[1,2] 和《ACM 软件工程与方法论学报》[3]。论文主要作者涵盖北京大学博雅博士后张子祺、博士生蔡奕丰、助理教授李锭、教授郭耀以及教授陈向群。

图 | 李锭（来源：李锭）

该团队所研发的技术属于一种在新型可信执行环境保护之下的模型切分技术（TSDP，TEE-Shielded DNN Partition）。此技术能把供应商的基座大模型分割成“机密”与“公开”这两个部分。随后，一方面借助可信执行环境对“机密”部分予以保护，另一方面将模型的“公开”部分放置于图形处理器（GPU，Graphics Processing Unit）之上展开加速操作，以此实现在维护模型隐私的基础条件下，最大程度地确保模型的推理效率。

图丨相关论文（来源：arXiv）

用创新训练范式克服现有技术的局限性

该课题组的重要突破在于，其明确指出当下 TSDP 技术所运用的“先训练后划分”这一训练范式，在预训练模型愈发普及的大背景下，暴露出了极为显著的局限性。具体而言，“先训练后划分”的范式会致使隐私信息不可避免地扩散至整个模型，进而导致模型的“公开”部分出现隐私泄露的风险。在预训练模型尚未被大规模应用之前，该方法还能够在一定程度上有效地保障模型隐私。但进入大模型时代，随着大量预训练模型被广泛运用，攻击者能够借助开源的预训练模型，获取到模型中被保护的隐私部分的结构信息，进而有效地猜测出被保护在可信执行环境（TEE）中的关键模型的隐私信息，从而对模型的安全性构成严重威胁。

面对这一挑战，该团队提出一种“先划分后训练”的全新范式，也就是 TEESlice。与过往在系统层面着力优化 TEE 性能的传统做法截然不同，TEESlice 提出于模型层面展开优化的独特思路，将隐私敏感权重与模型的其他组件精准剥离，由此从根源上攻克了现存的一系列问题。相关实验数据表明，TEESlice 不但能够有效保护模型隐私，还能大幅削减隐私保护所需耗费的成本。

（来源：资料图）

降低 10 倍计算成本，赋能隐私保护与低延迟服务

TEESlice 在各类涉及隐私数据的场景中具有一定应用潜力，而这主要得益于其能够提供低延迟的隐私计算解决方案。鉴于当前大语言模型普遍具有高计算复杂度的特性，同时用户又对低延迟有着强烈的需求，TEESlice 恰好高度适配公司开展隐私计算服务的各类场景。这些场景涵盖医用大模型、金融大模型以及处理用户隐私数据等多个关键领域。

具体而言，TEESlice 主要聚焦于隐私数据驱动的大语言模型两方计算。在此场景下，模型的用户（如医院、银行等）可以在本地的可信执行环境中，部署大模型供应商所提供的大模型方案。在保证用户私密数据不出域的前提下，防止用户窃取大模型的隐私。TEESlice 为上述场景提供了一种更安全高效的解决方案，有望有效解决大模型用户与供应商在私密场景下互不信任的问题。

此外，TEESlice 在云端大模型服务场景中，同样具有广泛的应用前景。当前，许多公司的大模型服务需要依赖用户数据进行推理，而这些数据通常需要上传到公司的云服务器上。但是随着用户隐私保护意识的提高，以及国家相关法规的完善，公司在进行大模型推理时，必须更加谨慎地保护用户隐私数据。在此背景下，公司可以将 TEESlice 部署在自己的云服务器上，既满足了大语言模型推理的需求，又确保了用户隐私数据的安全。

而在接下来，该团队将继续深耕基于 TEE 的隐私保护框架，致力于针对企业在实际应用场景中遇到的各种挑战，提出更加创新且实用的解决方案。

在谈及 TEESlice 技术的研究历程时，研究人员表示他们始终保持对英伟达公司最新 GPU 架构发展的高度关注，并积极应对与之产生的竞争态势。鉴于英伟达同样开发并推出了针对 GPU 的可信执行环境架构，这一架构不仅在应用场景上与 TEESlice 存在重合，而且针对的隐私计算问题也颇为相似。基于此，他们将深入分析英伟达最新 GPU 产品的局限性，针对性地设计 TEESlice 的系统架构，直击现有产品的痛点，以提供更加优化的解决方案。

未来，他们将持续聚焦于隐私计算领域的最新前沿挑战，并依托 TAOISM 开源平台，致力于研发既高效又安全的隐私保护解决方案。后续，他们计划围绕 TAOISM 框架开展一系列研究工作，旨在进一步增强 TAOISM 的能力和应用范围。

参考资料：

https://doi.org/10.48550/arXiv.2310.07152

https://ieeexplore.ieee.org/xpl/conhome/10646615/proceeding

https://dl.acm.org/doi/10.1145/3707453

排版：多加