国科大&首师大白盒张量网络：增强量子机器学习的可解释性和效率

编辑 | 紫罗

深度机器学习在 AI 的各个领域取得了显著的成功，但同时实现高可解释性和高效率仍然是一个严峻的挑战。

张量网络（Tensor Network，TN）是一种源自量子力学的成熟数学工具，在开发高效的「白盒」机器学习方案方面显示出了其独特的优势。

近日，首都师范大学的冉仕举和中国科学院大学的苏刚从量子力学中汲取灵感，综述了一种基于 TN 的创新方法，为协调深度机器学习的可解释性和效率这一长期挑战提供了一个有前景的解决方案。

一方面，TN ML 的可解释性可以通过基于量子信息和多体物理的坚实理论基础来实现。另一方面，强大的 TN 表示和量子多体物理中开发的先进计算技术可以获得高效率。随着量子计算机的快速发展，TN 有望在不久的将来朝着「量子 AI」的方向产生可在量子硬件上运行的新颖方案。

该综述以《Tensor Networks for Interpretable and Efficient Quantum-Inspired Machine Learning》为题，于 2023 年 11 月 17 日发表在《Intelligent Computing》上。

论文链接：https://spj.science.org/doi/10.34133/icomputing.0061

深度机器学习（ML）模型，尤其是神经网络模型，通常被认为是「黑匣子」，因为它们的决策过程复杂且难以解释。神经网络是当今最强大的 ML 模型。展示其强大功能的一个典型例子是 GPT。然而，由于缺乏可解释性，即使是 GPT 也面临着稳健性和隐私保护等严重问题。

这些模型缺乏可解释性可能导致人们对其预测和决策缺乏信任，从而限制了它们在重要领域的应用。

基于量子信息和多体物理的张量网络为 ML 提供了「白盒」方法。研究人员表示：「张量网络在将量子概念、理论和方法与 ML 联系起来以及有效实现基于张量网络的 ML 方面发挥着至关重要的作用。」

TN：来自量子物理学的强大「白盒」数学工具

随着经典计算和量子计算的快速发展，TN 为克服可解释性和效率之间的困境提供了新的思路。TN 被定义为多个张量的收缩。它的网络结构决定了张量收缩的方式。

图 1 显示了 3 种类型的 TN 的图解表示，即矩阵乘积态（MPS）表示、树 TN，以及投影纠缠对态（PEPS）表示。

图 1：3 种类型的 TN 的图解表示：（A）MPS、（B）树 TN 和（C）PEPS。（来源：论文）

TN 作为大规模量子系统状态的有效表示，在量子力学领域取得了显著的成功。在 TN 理论中，满足纠缠熵面积定律的状态可以通过具有有限键维数的 TN 表示来有效地近似。

基于 MPS 的算法，包括密度矩阵重整化组和时间演化块抽取 ，在模拟纠缠熵时表现出显著的效率。此外，MPS 还可以表示许多广泛应用于量子信息处理和计算中的人工构造的状态，例如 Greenberger–Horne–Zeilinger 状态和 W状态。

PEPS 表示被提出遵守二维及更高维度的面积定律，并在高维量子系统的研究中取得了巨大的成功。总之，纠缠熵的面积定律为模拟量子系统的 TN 的表示或计算能力提供了内在的解释。此类解释也适用于 TN ML。此外，代表量子态的 TN 可以通过玻恩的量子概率解释（也称为玻恩规则）来解释。因此，TN 被视为一种「白盒」数值工具（Born 机器），类似于 ML 的（经典）概率模型。

图 2：MPS（TT 形式）可以有效地表示或公式化大量数学对象。（来源：论文）

受量子启发 ML 的 TN

凭借完善的理论和有效的方法，TN 为解决机器学习中可解释性和效率之间的困境提供了一条新的途径。为此，有两条相互纠缠的研究路线正在争论中：

1. 量子理论如何作为 TN ML 可解释性的数学基础？
2. 量子力学 TN 方法和量子计算技术如何产生高效的T N ML 方案？

在这里，研究人员围绕这两个问题，从特征映射、建模和基于量子计算的 ML 这三个角度介绍了近期在量子启发 ML 方面的神经网络的令人鼓舞的进展。这些与 TN 用于 ML 在提高效率和可解释性方面的优势密切相关。由于理论、模型和方法取自量子物理学或受其启发，这些 ML 方案通常被称为「量子启发」。然而，请注意，需要付出更多努力来开发基于量子物理学的可解释性系统框架。

下表中总结了下面提到的 TN ML 的主要方法以及它们与效率和可解释性的关系。

用于增强经典 ML 的 TN

作为一种基本的数学工具，神经网络在 ML 中的应用并不局限于那些遵循量子概率解释的应用。鉴于 TN 可用于有效地表示和模拟经典随机系统的配分函数，如 Ising 和 Potts 模型，TN 与玻尔兹曼机之间的关系已被广泛研究。

TN 还被用来增强 NN 并开发新颖的 ML 模型，忽略任何概率解释。

基于同样的基础，模型压缩方法被提出来将 NN 的变分参数分解为 TN 或直接将变分参数表示为 TN。后者可能不需要显式分解过程，其中神经网络的参数不会恢复为张量，而是直接恢复为 TT 形式 、矩阵乘积算子或深度 TN。非线性激活函数已添加到 TN 中，以提高其 ML 性能，将 TN 从多线性模型推广到非线性模型。

结论

解决 AI（尤其是深度 ML）效率和可解释性之间困境的方法长期以来一直受到人们的关注。在此，回顾了 TN 在可解释且高效的量子启发 ML 方面取得的鼓舞人心的进展。

图 3 中的「N ML butterfly」列出了 TN 在 ML 方面的优势。对于量子启发的 ML，TN 的优势可以从两个关键方面来总结：用于可解释性的量子理论和用于提高效率的量子方法。一方面，TN 使我们能够应用统计学和量子理论（例如纠缠理论）来构建可解释性的概率框架，这可能超出经典信息或统计理论的描述。另一方面，强大的量子力学 TN 算法和大幅增强的量子计算技术将使量子启发的 TN ML 方法在经典和量子计算平台上都具有高效率。

图 3：「TN ML butterfly」总结了 2 个独特优势：基于量子理论的可解释性（左翼）和基于量子方法的效率（右翼）。（来源：论文）

特别是，随着最近在 GPT 方面取得的显著进展，模型复杂性和计算能力出现了前所未有的激增，为 TN ML 带来了新的机遇和挑战。当面对 GPT 的新兴 AI 时，可解释性将变得越来越有价值，不仅可以提高研究效率，而且可以更好地使用和更安全的控制。

在当前的 NISQ 时代和即将到来的真正的量子计算时代，TN 正迅速成长为从理论、模型、算法、软件、硬件和应用等角度探索量子 AI 的重要数学工具。

参考内容：https://techxplore.com/news/2023-11-tensor-networks-efficiency-quantum-inspired-machine.html