网易首页 > 网易号 > 正文 申请入驻

神经网络偏微分方程求解器新突破:北大&字节研究入选Nature子刊

0
分享至

机器之心发布

机器之心编辑部

近年来,基于神经网络的偏微分方程求解器在各领域均得到了广泛关注。其中,量子变分蒙特卡洛方法(NNVMC)在量子化学领域异军突起,对于一系列问题的解决展现出超越传统方法的精确度 [1, 2, 3, 4]。北京大学与字节跳动研究部门 ByteDance Research 联合开发的计算框架 Forward Laplacian 创新地利用 Laplace 算子前向传播计算,为 NNVMC 领域提供了十倍的加速,从而大幅降低计算成本,达成该领域多项 State of the Art,同时也助力该领域向更多的科学难题发起冲击。该工作以《A computational framework for neural network-based variational Monte Carlo with Forward Laplacian》为题的论文已发表于国际顶级期刊《Nature Machine Intelligence》,相关代码已开源。

  • 论文链接:https://www.nature.com/articles/s42256-024-00794-x
  • 代码地址:
  • https://github.com/bytedance/LapNet
  • https://github.com/YWolfeee/lapjax

该项工作一提出即受到相关研究人员的密切关注,围绕该工作已有多个开源项目实现,编程框架 JAX 也计划将该项工作吸收其中。

该项工作由北京大学智能学院王立威课题组、物理学院陈基课题组联合字节跳动研究部门 ByteDance Research 一同开发完成,作者中有多位北京大学博士生在 ByteDance Research 实习。

背景简介

基于神经网络的量子变分蒙特卡洛方法(NNVMC)已成为量子化学 - 从头计算领域中一项前沿技术。它具备精度高、适用范围广等优点。但它的阿克琉斯之踵在于过高的计算成本,这也限制了该方法在实际化学问题中的应用。

作者提出了一套全新的计算框架 "Forward Laplacian",利用 Laplace 算子的前向传播,显著提升了 NNVMC 方法的计算效率,为人工智能在微观量子问题中的应用打开了新的大门。

方法介绍

Forward Laplacian 框架

在 NNVMC 方法中,神经网络的目标函数是微观体系的能量,包括动能与势能两项。其中动能项涉及对神经网络的拉普拉斯算子的计算,这也是 NNVMC 中耗时最长的计算瓶颈。现有的自动微分框架在计算拉普拉斯算子时,需要先计算黑塞矩阵,再求得拉普拉斯项(即黑塞矩阵的迹)。而作者所提出的计算框架 "Forward Laplacian" 则通过一次前向传播直接求得拉普拉斯项,避免了黑塞矩阵的计算,从而削减了整体计算的规模,实现了显著加速。

LapNet 网络

除了有效削减计算图规模之外,Forward Laplacian 框架的另一大特点是能有效利用神经网络梯度计算中的稀疏性,提出神经网络结构 LapNet。LapNet 通过增加神经网络中的稀疏性,在精度无损的同时,显著提升了网络计算的效率。

计算结果

绝对能量

作者首先就方法的效率及精度同当前 NNVMC 领域有代表性的几项工作进行了比较。从绝对能量的计算结果而言,作者提出的 LapNet 在 Forward Laplacian 框架下的效率高于参考工作数倍,精度上也与 SOTA 保持一致。此外,如果在相同计算资源(即相同 GPU hour)的情况下比较,LapNet 的计算结果可以显著优于之前的 SOTA。

加速标度

为了更明确地研究作者所提出方法相比于之前 SOTA 的加速标度,作者在不同大小的链式聚乙烯体系上进行了测试,结果可以很明显地看到 Forward Laplacian 工作带来的 O (n) 加速。此处 n 为目标分子中的电子数目。

相对能量

在物理、化学研究中,相对能量相较于绝对能量具有更明确的物理意义。作者也在一系列的体系上进行了测试,均取得了理想结果。

总结

为降低基于神经网络的量子变分蒙特卡洛方法(NNVMC)的使用门槛,北京大学与字节跳动研究部门 ByteDance Research 联合开发了计算框架 Forward Laplacian,实现了十倍的加速。该工作已受到相关研究人员的广泛关注,期望能够推动 NNVMC 方法在更多科学问题中发挥重要作用。

参考文献

[1] Han, J., Zhang, L., & Weinan, E. (2019). Solving many-electron Schrödinger equation using deep neural networks. Journal of Computational Physics, 399, 108929.

[2] Hermann, J., Schätzle, Z., & Noé, F. (2020). Deep-neural-network solution of the electronic Schrödinger equation. Nature Chemistry, 12 (10), 891-897.

[3] Pfau, D., Spencer, J. S., Matthews, A. G., & Foulkes, W. M. C. (2020). Ab initio solution of the many-electron Schrödinger equation with deep neural networks. Physical Review Research, 2 (3), 033429.

[4] Li, X., Li, Z., & Chen, J. (2022). Ab initio calculation of real solids via neural network ansatz. Nature Communications, 13 (1), 7895

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
好家伙,《我是刑警》开播就差评一片,观众的差评理由出奇一致

好家伙,《我是刑警》开播就差评一片,观众的差评理由出奇一致

娱乐圈笔娱君
2024-11-28 14:07:57
女友为了男助理让我被万人唾骂后,她却送他代步车祝他升职……

女友为了男助理让我被万人唾骂后,她却送他代步车祝他升职……

点读故事会
2024-11-15 14:54:43
印度冷知识:印度人发明了6项改变世界的发明,你知道几个?

印度冷知识:印度人发明了6项改变世界的发明,你知道几个?

七号说三国
2024-11-17 18:18:53
民警涉嫌猥亵继女案开庭,被害人坚持出庭:希望给自己前半生一个交代

民警涉嫌猥亵继女案开庭,被害人坚持出庭:希望给自己前半生一个交代

红星新闻
2024-11-28 13:00:25
美国头号通缉犯,在英国威尔士小村抓到了?!20年没线索,最后追到这里..

美国头号通缉犯,在英国威尔士小村抓到了?!20年没线索,最后追到这里..

英国那些事儿
2024-11-28 23:20:38
公示期结束 贵州两名省管干部新职明确

公示期结束 贵州两名省管干部新职明确

鲁中晨报
2024-11-28 17:04:10
为何说越南的南北高铁是个“诱饵”正引诱中国入局?原因很简单:

为何说越南的南北高铁是个“诱饵”正引诱中国入局?原因很简单:

现代春秋
2024-11-28 22:02:18
只剩关晓彤!《王牌》嘉宾名单曝光,李维嘉加入,TFBOYS首次合体

只剩关晓彤!《王牌》嘉宾名单曝光,李维嘉加入,TFBOYS首次合体

扒星人
2024-11-27 21:27:36
梅西接班人?新齐达内?20岁阿根廷新星出世,2大名帅为其护航

梅西接班人?新齐达内?20岁阿根廷新星出世,2大名帅为其护航

体育全天候
2024-11-27 23:49:16
炸裂,小米su7被外借拍色情片后续:狂洗6遍后还是膈应,无奈出售

炸裂,小米su7被外借拍色情片后续:狂洗6遍后还是膈应,无奈出售

你食不食油饼
2024-11-29 00:26:26
蒋介石孙子召开发布会,要将“两蒋”移灵大陆,两句话让世人唏嘘

蒋介石孙子召开发布会,要将“两蒋”移灵大陆,两句话让世人唏嘘

功标青史
2024-11-26 08:51:30
他是孙小果案唯一全身而退的官员,当年面对上级施压:可把我换了

他是孙小果案唯一全身而退的官员,当年面对上级施压:可把我换了

墨兰史书
2024-11-27 21:56:06
7元低价+固态电池+重组龙头,机构数量翻倍,12月只看这一家!

7元低价+固态电池+重组龙头,机构数量翻倍,12月只看这一家!

牛哥板
2024-11-28 19:35:34
有福之人:做到这四件事,走到哪儿都顺风顺水

有福之人:做到这四件事,走到哪儿都顺风顺水

有画说艺术
2024-11-04 09:10:02
巩俐这身材膀大腰圆,丰乳肥臀,网友:怪不得能成国际巨星

巩俐这身材膀大腰圆,丰乳肥臀,网友:怪不得能成国际巨星

简读视觉
2024-10-01 00:23:31
“人人喊打”,“今日头条们”如何成了过街老鼠?

“人人喊打”,“今日头条们”如何成了过街老鼠?

天天财经116
2024-11-26 16:29:48
皇马内讧爆发!姆巴佩踢飞点球,多巨星不满,霸占左路,佛爷失算

皇马内讧爆发!姆巴佩踢飞点球,多巨星不满,霸占左路,佛爷失算

阿泰希特
2024-11-28 12:20:05
可口可乐,骆驼烟,好彩烟,Zippo打火机,二战中的美国名牌

可口可乐,骆驼烟,好彩烟,Zippo打火机,二战中的美国名牌

知兵堂军事
2024-11-28 10:06:15
有种基因叫“生了个自己”,戚薇袁咏仪不算啥,看到陈意涵才是真的绝

有种基因叫“生了个自己”,戚薇袁咏仪不算啥,看到陈意涵才是真的绝

娱乐的小灶
2024-11-26 07:30:41
中国锋霸收获留洋西班牙联赛首球!世界波破门技惊四座,值得期待

中国锋霸收获留洋西班牙联赛首球!世界波破门技惊四座,值得期待

我就爱说足球
2024-11-28 11:46:20
2024-11-29 03:08:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
9764文章数 142088关注度
往期回顾 全部

科技要闻

讽刺谁?特斯拉称供应链付款周期缩至90天

头条要闻

大众宣布将出售其在新疆的业务 外交部回应

头条要闻

大众宣布将出售其在新疆的业务 外交部回应

体育要闻

道心破碎的姆巴佩,交出一张负分答卷

娱乐要闻

冯绍峰新恋情曝出!女方第一时间发文辟谣

财经要闻

洪灏:不要误解增量政策 不是数越大越好

汽车要闻

ID. CODE概念车/探岳L领衔 大众汽车携25款车亮相

态度原创

数码
教育
时尚
艺术
本地

数码要闻

索尼或推黑色版PS Portal及配件 售价149.99美元起

教育要闻

徐州市市高中数学题目,将向量与三角运算结合考察!

蛐蛐权志龙,成为权志龙

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

本地新闻

云游中国|来伦布夏果感受充满Passion的人生

无障碍浏览 进入关怀版