网易首页 > 网易号 > 正文 申请入驻

《中国科学基金》 | 鄂维南院士:2024年诺贝尔物理学奖评述

0
分享至


来源: 中国科学基金

2024年诺贝尔物理学奖评述

鄂维南*

北京大学 北京科学智能研究院


鄂维南北京科学智能研究院理事长,北京大学国际机器学习研究中心主任。中国科学院院士,美国数学学会、美国工业与应用数学学会、英国物理学会、中国工业与应用数学学会、中国运筹学会、中国计算机学会Fellow。研究领域为机器学习、计算数学、应用数学。2022 年国际数学家大会1小时报告人。2022年国际机器学习大会特邀报告人。2003年获国际工业与应用数学协会Collatz奖。2020年获国际高性能计算最高奖ACM Gordon Bell奖。2023年获国际工业与应用数学协会Maxwell奖。

摘 要

深度学习方法起源于20世纪80年代。其根源一方面来自于霍普菲尔德在生物物理学方面的工作,另一方面来自于辛顿的玻尔兹曼机、多层感知机和反向传播算法等一系列工作。今年的诺贝尓物理学奖肯定了人工神经网络和深度学习作为物理学的研究对象,给物理学提供了一个迫切需要的新的增长点。这个奖项对物理学和人工智能的发展,都会带来帮助。

关键词:人工神经网络、记忆、吸引子、深度学习

2024年诺贝尔物理学奖授予了约翰·霍普菲尔德(John J. Hopfield)和杰弗里·辛顿(Geoffrey E. Hinton), 以表彰他们用开创性方法和概念在塑造人工神经网络领域方面发挥的重要作用。这一奖项引发了广泛关注和讨论,尤其是辛顿的获奖。从传统的观点来看,辛顿本人的研究生涯跟物理学几乎没有交集。那么他为什么能够获得诺贝尔物理学奖?在许多人眼里,诺贝尔物理学奖是诺贝尔奖中含金量最高也是要求最苛刻的一个奖项。物理学家或者物理学的工作在其它领域获奖的例子并不少见。例如密度泛函理论,虽然是物理学家的工作,也发表在物理学期刊上,但是获得了诺贝尔化学奖。而其他领域的科学家或其他领域的工作获得诺贝尔物理学奖的例子却很难找到。如何看待这个诺贝尔物理学奖,尤其是辛顿的获奖?本文提供一个个人视角。

首先,这个诺贝尔物理学奖究竟奖励的是什么工作。在公开的获奖介绍里提到,此奖项是表彰基于人工神经网络实现机器学习的基础性发现和发明。霍普菲尔德首先提出从一个充分大的、简单重复的动力系统中可以涌现出计算能力,比方说记忆[1]。

这些记忆以动力系统吸引子的形式出现。那些简单重复的单元可以被视为神经元。这个机制是鲁棒的,它对神经元模型的细节并不敏感,所以我们既可以把这个动力系统看成是一个脑神经网络的模型,也可以把它看成是一个集成电路或者人工神经网络的模型。

从一个充分大的、简单单元的叠加构建起来的动力系统中可以涌现出宏观吸引子,这个现象本身并不是霍普菲尔德首先发现的。流体力学中的涡就可以看成是这类现象。但我们不能把涡看成是记忆。一个有用的记忆模型必须能够记住任何我们希望它记住的状态。也就是说,任给几个状态,我们必须能够选取上述动力系统中的超参数,使得这些状态是这个动力系统的吸引子。霍普菲尔德的神经网络模型具备这个性质。

神经网络的概念起源于1943 年McCulloch 和 Pitts 的文章[2]。Rosenblatt的感知机对人工智能的发展也产生了巨大影响[3]。但这些工作关心的都是比较简单直接的计算功能。霍普菲尔德的工作让我们首先看到通过涌现现象,大神经网络可能带来的新的能力。这是一个新的视角,也是一项典型的生物物理学工作。它把复杂动力系统的想法应用于神经科学,对后来神经科学的发展产生了深远影响。随便提一下,多年之后,涌现现象成了深度学习大模型的一个重要标志。

辛顿则是深度学习的孕育者。他缔造了深度学习,也承受了过程中的痛苦。辛顿受霍普菲尔德工作的影响,但关注的是人工智能。他提出的玻尔兹曼机、多层感知机和反向传播算法,为现代深度学习奠定了基础[4, 5]。无论是玻尔兹曼机,还是反向传播算法,离诺贝尔物理学奖的要求还是有距离的。尽管玻尔兹曼机中创造性地引入了概率模型,但在众多的神经网络模型中,很难说它起到了很特别的作用。反向传播算法是训练深度神经网络的基本工具,但类似的想法已经更早出现在控制论方法中[6]。辛顿的主要贡献在于他通过一系列的工作,如多层感知机、反向传播算法以及AlexNet, 引入了深度学习这个工具并让我们看到了它的强大威力[7]。

这个过程并不很顺利,包括辛顿的博士指导导师在内的很多人对他选择的方向都不看好,但他最终通过AlexNet 等工作说服了学术界。这背后的动力,在于他对神经网络的深刻的洞察力。辛顿坚定不移地认为,神经网络有着巨大的潜在能力。如果有足够高质量的数据和足够大的模型,深度学习的威力就会显现出来。人工智能现在的进步,根本上还是来源于辛顿多年来的坚持和推动。

对物理学来说,这个诺贝尔奖至少有两方面的意义。第一,它强化了物理学对人工智能发展的贡献。通过霍普菲尔德到辛顿这样一条线索,让人们意识到物理学在人工神经网络乃至人工智能发展中的重要作用。这是一个极其高明的宣传手段。更重要的是,它为物理学的发展打开了一个巨大的空间。尽管神经网络本质上是一个数学工具,但是物理学的方法很可能可以提供一些新的视角和新的手段。尤其重要的是,大模型是一个复杂系统。许多复杂系统研究中观察到的现象和发展起来的方法,都可能对大模型的研究有帮助。如标度律和涌现现象,都已经在大模型中出现。把它作为物理学新的研究对象,无论是对物理学的发展,还是对人工智能的发展,都会带来帮助。它给物理学提供了一个迫切需要的新的增长点。

如果我们把深度学习看着是一个20世纪80年代诞生的婴儿,那么霍普菲尔德就像是它的父亲,辛顿就像是它的母亲。这就是这个诺贝尔物理学奖的意义。

参考文献(略)

阅读最新前沿科技研究报告,欢迎访问欧米伽研究所的“未来知识库”


未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。


截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为了拥有31岁巴恩斯妻子,41岁的费舍尔付出了多大的代价?

为了拥有31岁巴恩斯妻子,41岁的费舍尔付出了多大的代价?

欧美八卦圈
2024-12-15 08:00:03
比亚迪新车在国外火了!老外为了抢车,把官网都挤爆了!

比亚迪新车在国外火了!老外为了抢车,把官网都挤爆了!

沙雕小琳琳
2024-12-14 03:37:28
韩国执政党5名最高委员辞职,党首韩东勋将下台

韩国执政党5名最高委员辞职,党首韩东勋将下台

环球网资讯
2024-12-14 20:50:06
叙利亚!令人胆寒的一幕发生了!

叙利亚!令人胆寒的一幕发生了!

大嘴说天下
2024-12-14 22:18:42
大妈顺手“试吃”栗子,烫伤了嘴,大妈:要求店家赔偿医药费、精神损失费,法院判了!

大妈顺手“试吃”栗子,烫伤了嘴,大妈:要求店家赔偿医药费、精神损失费,法院判了!

暖心的小屋
2024-12-14 16:52:00
丢脸丢到国外,王冬龄在哈佛表演“书法”,视为唐代狂草的后继者

丢脸丢到国外,王冬龄在哈佛表演“书法”,视为唐代狂草的后继者

猫小狸同学
2024-12-14 14:45:03
安东森:决赛石宇奇会得到全场球迷的支持,我会尽力做到最好

安东森:决赛石宇奇会得到全场球迷的支持,我会尽力做到最好

懂球帝
2024-12-15 00:01:12
黑人为什么受欧美女性欢迎?原因有三点,看了你就懂了

黑人为什么受欧美女性欢迎?原因有三点,看了你就懂了

椰青美食分享
2024-12-13 00:23:13
上海全市国资系统党员,今天做了同一件事

上海全市国资系统党员,今天做了同一件事

上观新闻
2024-12-14 17:24:12
倪志宇,进京履新

倪志宇,进京履新

每日经济新闻
2024-12-13 16:52:07
美国不是赌中国造不出芯片中国也知道美国除了中国能买到所要商品

美国不是赌中国造不出芯片中国也知道美国除了中国能买到所要商品

哈迪
2024-12-08 06:51:09
10场0球!瓜帅不敢相信,曼城天才极速陨落,身价高达1.5亿欧

10场0球!瓜帅不敢相信,曼城天才极速陨落,身价高达1.5亿欧

足球狗说
2024-12-14 15:01:41
在极越的视频里,看到这个工位,真的让人心酸!

在极越的视频里,看到这个工位,真的让人心酸!

人情皆文史
2024-12-14 08:22:06
50年首冠!张本智和亚锦赛男单夺冠获日本乒协奖励100万日元

50年首冠!张本智和亚锦赛男单夺冠获日本乒协奖励100万日元

直播吧
2024-12-14 21:00:43
打响降薪第一枪!三甲通知:年薪降20万,绩效停发

打响降薪第一枪!三甲通知:年薪降20万,绩效停发

医殇
2024-12-11 21:55:29
“养骨王者”被发现,不是牛奶,50岁后常吃,骨骼强健,不易骨折

“养骨王者”被发现,不是牛奶,50岁后常吃,骨骼强健,不易骨折

今日养生之道
2024-12-13 19:14:30
最后一刻彻底清醒!拜登是真没想到,马科斯态度大变:绝不会出兵

最后一刻彻底清醒!拜登是真没想到,马科斯态度大变:绝不会出兵

浩若苍穹
2024-12-15 10:00:03
84岁佩洛西穿10CM恨天高!当着30人面前摔倒,美媒透露细节

84岁佩洛西穿10CM恨天高!当着30人面前摔倒,美媒透露细节

沧海一书客
2024-12-14 10:31:24
字母哥:我认为球队内部达成了共识 除了胜利其他什么都不重要

字母哥:我认为球队内部达成了共识 除了胜利其他什么都不重要

直播吧
2024-12-15 11:12:13
果然没让大陆失望!台当局又一“铁杆盟友”倒戈?统一指日可待

果然没让大陆失望!台当局又一“铁杆盟友”倒戈?统一指日可待

傲骨真心
2024-12-15 09:00:12
2024-12-15 11:47:00
人工智能学家 incentive-icons
人工智能学家
人工智能领域权威媒体
3390文章数 37040关注度
往期回顾 全部

科技要闻

直击2024网易未来大会:智能汽车驶向何方

头条要闻

牛弹琴:特朗普又获重大胜利 还洋洋得意发了篇推文

头条要闻

牛弹琴:特朗普又获重大胜利 还洋洋得意发了篇推文

体育要闻

中国足球,别再期盼“青天大老爷”

娱乐要闻

《九重紫》强势上桌的李昀锐有多逆袭

财经要闻

权威人士解读中央经济工作会议精神

汽车要闻

预售11-15万元 iCAR V23将于12月16日正式上市

态度原创

艺术
家居
时尚
游戏
公开课

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

家居要闻

现代轻奢 通透干净

冬天更适合大地色穿搭,拒绝花哨老套,这么穿简约优雅又高级

焕发第二春!《黑神话》Steam在线峰值重回20万

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版