网易首页 > 网易号 > 正文 申请入驻

神经网络偏微分方程求解器新突破:北大&字节研究入选Nature子刊

0
分享至

机器之心发布

机器之心编辑部

近年来,基于神经网络的偏微分方程求解器在各领域均得到了广泛关注。其中,量子变分蒙特卡洛方法(NNVMC)在量子化学领域异军突起,对于一系列问题的解决展现出超越传统方法的精确度 [1, 2, 3, 4]。北京大学与字节跳动研究部门 ByteDance Research 联合开发的计算框架 Forward Laplacian 创新地利用 Laplace 算子前向传播计算,为 NNVMC 领域提供了十倍的加速,从而大幅降低计算成本,达成该领域多项 State of the Art,同时也助力该领域向更多的科学难题发起冲击。该工作以《A computational framework for neural network-based variational Monte Carlo with Forward Laplacian》为题的论文已发表于国际顶级期刊《Nature Machine Intelligence》,相关代码已开源。

  • 论文链接:https://www.nature.com/articles/s42256-024-00794-x
  • 代码地址:
  • https://github.com/bytedance/LapNet
  • https://github.com/YWolfeee/lapjax

该项工作一提出即受到相关研究人员的密切关注,围绕该工作已有多个开源项目实现,编程框架 JAX 也计划将该项工作吸收其中。

该项工作由北京大学智能学院王立威课题组、物理学院陈基课题组联合字节跳动研究部门 ByteDance Research 一同开发完成,作者中有多位北京大学博士生在 ByteDance Research 实习。

背景简介

基于神经网络的量子变分蒙特卡洛方法(NNVMC)已成为量子化学 - 从头计算领域中一项前沿技术。它具备精度高、适用范围广等优点。但它的阿克琉斯之踵在于过高的计算成本,这也限制了该方法在实际化学问题中的应用。

作者提出了一套全新的计算框架 "Forward Laplacian",利用 Laplace 算子的前向传播,显著提升了 NNVMC 方法的计算效率,为人工智能在微观量子问题中的应用打开了新的大门。

方法介绍

Forward Laplacian 框架

在 NNVMC 方法中,神经网络的目标函数是微观体系的能量,包括动能与势能两项。其中动能项涉及对神经网络的拉普拉斯算子的计算,这也是 NNVMC 中耗时最长的计算瓶颈。现有的自动微分框架在计算拉普拉斯算子时,需要先计算黑塞矩阵,再求得拉普拉斯项(即黑塞矩阵的迹)。而作者所提出的计算框架 "Forward Laplacian" 则通过一次前向传播直接求得拉普拉斯项,避免了黑塞矩阵的计算,从而削减了整体计算的规模,实现了显著加速。

LapNet 网络

除了有效削减计算图规模之外,Forward Laplacian 框架的另一大特点是能有效利用神经网络梯度计算中的稀疏性,提出神经网络结构 LapNet。LapNet 通过增加神经网络中的稀疏性,在精度无损的同时,显著提升了网络计算的效率。

计算结果

绝对能量

作者首先就方法的效率及精度同当前 NNVMC 领域有代表性的几项工作进行了比较。从绝对能量的计算结果而言,作者提出的 LapNet 在 Forward Laplacian 框架下的效率高于参考工作数倍,精度上也与 SOTA 保持一致。此外,如果在相同计算资源(即相同 GPU hour)的情况下比较,LapNet 的计算结果可以显著优于之前的 SOTA。

加速标度

为了更明确地研究作者所提出方法相比于之前 SOTA 的加速标度,作者在不同大小的链式聚乙烯体系上进行了测试,结果可以很明显地看到 Forward Laplacian 工作带来的 O (n) 加速。此处 n 为目标分子中的电子数目。

相对能量

在物理、化学研究中,相对能量相较于绝对能量具有更明确的物理意义。作者也在一系列的体系上进行了测试,均取得了理想结果。

总结

为降低基于神经网络的量子变分蒙特卡洛方法(NNVMC)的使用门槛,北京大学与字节跳动研究部门 ByteDance Research 联合开发了计算框架 Forward Laplacian,实现了十倍的加速。该工作已受到相关研究人员的广泛关注,期望能够推动 NNVMC 方法在更多科学问题中发挥重要作用。

参考文献

[1] Han, J., Zhang, L., & Weinan, E. (2019). Solving many-electron Schrödinger equation using deep neural networks. Journal of Computational Physics, 399, 108929.

[2] Hermann, J., Schätzle, Z., & Noé, F. (2020). Deep-neural-network solution of the electronic Schrödinger equation. Nature Chemistry, 12 (10), 891-897.

[3] Pfau, D., Spencer, J. S., Matthews, A. G., & Foulkes, W. M. C. (2020). Ab initio solution of the many-electron Schrödinger equation with deep neural networks. Physical Review Research, 2 (3), 033429.

[4] Li, X., Li, Z., & Chen, J. (2022). Ab initio calculation of real solids via neural network ansatz. Nature Communications, 13 (1), 7895

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
98万部手机被控制每月偷偷扣钱 涉案金额高达347万元

98万部手机被控制每月偷偷扣钱 涉案金额高达347万元

看看新闻Knews
2024-11-14 13:32:09
明明自己都没拿过“金鸡奖”,还来敢来当评委,难怪评论区沦陷

明明自己都没拿过“金鸡奖”,还来敢来当评委,难怪评论区沦陷

娱乐圈笔娱君
2024-11-14 14:08:15
民主党还有一条路,可以按照宪法规定,阻止特朗普成为第47任总统

民主党还有一条路,可以按照宪法规定,阻止特朗普成为第47任总统

蓝色海边
2024-11-14 15:58:52
96岁朱总理的退休哲学

96岁朱总理的退休哲学

我是娱有理
2024-10-21 06:37:26
沈东任常州市武进区委书记

沈东任常州市武进区委书记

鲁中晨报
2024-11-14 15:20:04
党中央作出战略部署,重庆市委书记“朋友圈”发声

党中央作出战略部署,重庆市委书记“朋友圈”发声

政知新媒体
2024-11-14 08:36:13
毁三观!33岁继父强奸17岁继女?整个过程被曝光,简直太恶心!

毁三观!33岁继父强奸17岁继女?整个过程被曝光,简直太恶心!

阿凫爱吐槽
2024-11-13 11:02:37
马斯克说漏嘴:北约的真正目标是先解决俄罗斯,再把火力瞄准中国

马斯克说漏嘴:北约的真正目标是先解决俄罗斯,再把火力瞄准中国

小lu侃侃而谈
2024-11-10 20:40:27
柯文哲的跌宕人生:一年前可以放国民党大佬鸽子,一年后变劳改头

柯文哲的跌宕人生:一年前可以放国民党大佬鸽子,一年后变劳改头

橘色数码
2024-11-14 15:19:09
头部吃播IP“浪胃仙”创始人,获刑8年!

头部吃播IP“浪胃仙”创始人,获刑8年!

FM93浙江交通之声
2024-11-14 13:37:04
47岁孙莉晒生活随拍,一脸苦相眼窝凹陷明显,网友:像个老奶奶

47岁孙莉晒生活随拍,一脸苦相眼窝凹陷明显,网友:像个老奶奶

木子爱娱乐大号
2024-11-14 17:06:06
不用药也能降胆固醇!坚持吃这5种食物,把甘油三酯降到正常值!

不用药也能降胆固醇!坚持吃这5种食物,把甘油三酯降到正常值!

今日养生之道
2024-11-14 21:10:55
一年新发68万尿毒症,这道菜是罪魁祸首!有的人还天天吃,赶紧撤下餐桌!

一年新发68万尿毒症,这道菜是罪魁祸首!有的人还天天吃,赶紧撤下餐桌!

书画艺术收藏
2024-11-07 18:38:05
上海刚刚宣布:明天,两个区发消费券!不少餐厅能用,一区还可与商家优惠活动叠加

上海刚刚宣布:明天,两个区发消费券!不少餐厅能用,一区还可与商家优惠活动叠加

上观新闻
2024-11-14 18:23:47
母亲是这五个大生肖,孩子智商超群,头脑灵活赛天才!未来成龙成凤不是梦,事业高升一路畅通无阻!

母亲是这五个大生肖,孩子智商超群,头脑灵活赛天才!未来成龙成凤不是梦,事业高升一路畅通无阻!

十二生肖运势分析
2024-11-07 19:20:20
身体出现这些求救信号千万一定要留个心眼

身体出现这些求救信号千万一定要留个心眼

荷兰豆爱健康
2024-11-11 00:33:58
小米打响了整治视频会员的第一枪!网友:雷军才是真的友军呀!

小米打响了整治视频会员的第一枪!网友:雷军才是真的友军呀!

小啾咪侃侃史
2024-11-13 07:55:06
此人在开国上将中级别最低,毛主席却给予其一特权,至今无人拥有

此人在开国上将中级别最低,毛主席却给予其一特权,至今无人拥有

朝暮荐
2024-11-14 15:23:36
从今年开始,死者的存款不再受银行的气了!

从今年开始,死者的存款不再受银行的气了!

巢客HOME
2024-11-13 05:40:03
中东富家女远嫁中国,婚后探亲崩溃大哭,直言:婆家的饭我不敢吃

中东富家女远嫁中国,婚后探亲崩溃大哭,直言:婆家的饭我不敢吃

史纪文谭
2024-11-14 16:25:14
2024-11-14 22:02:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
9698文章数 142059关注度
往期回顾 全部

科技要闻

官宣!极氪领克合并,吉利走向大整合

头条要闻

专家:迎来第二任期 特朗普在外交上或有"干大事"冲动

头条要闻

专家:迎来第二任期 特朗普在外交上或有"干大事"冲动

体育要闻

本季英超最炸裂的瓜,由一名裁判制造

娱乐要闻

娜扎张云龙恋情曝光!甜蜜细节被扒

财经要闻

"机构举报游资"导致A股大跌?

汽车要闻

七块屏幕四座布局 仰望U7中式百万座舱

态度原创

旅游
艺术
教育
家居
公开课

旅游要闻

山西公布2024年全省乡村旅游重点村镇名单

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

教育要闻

河南家庭教育讲师团“扩军”,南阳区两名老师入选!

家居要闻

现代潮流空间 轻奢现代风并重

公开课

一块玻璃,如何改变人类世界?

无障碍浏览 进入关怀版