网易首页 > 网易号 > 正文 申请入驻

拨开迷雾!贝叶斯推理:读懂“不确定性”

0
分享至

本文由「Light科普坊」出品

撰稿:焦述铭

审稿:左超

电影《三大队》

电影《三大队》中,程兵曾是一名警察,负责侦破一起命案。程兵一直着手寻找一名疑凶王二勇的下落。一开始,只有一个模糊的目标人形象,程兵判断对方是王二勇的可能性很低。后来获悉一名男子与王二勇长相酷似,程兵对其是目标人的信心增加了一些。

再经过深入调查,发现该名男子不仅爱看法制节目,还热衷于玩老式俄罗斯方块游戏,这两个与王二勇爱好吻合的线索,使程兵确信他就是自己要找的人,认为对方是王二勇的概率接近100%。

随着一个个新线索被发现,程兵对目标身份的判断在不断更新,从最初的低概率怀疑,到最终的高概率确认。这一过程正是运用了贝叶斯推理,不断修正先验概率,得出后验概率的结果。

程兵判断目标人物是王二勇的过程,实际上是在进行贝叶斯推理。假设有A、B两袋球,A袋内红球占3/4,B袋内绿球占3/4。随机给你一袋,通过一个个摸出球的颜色来判断是A袋还是B袋,这就类似于程兵在确定对方是否为王二勇的过程。

一开始没线索,假设A、B袋的概率均为50%,这是“先验概率”。如果摸出一个红球,因它更可能来自A袋,A袋的概率就上调到75%,这是根据新线索更新后的“后验概率”。接着如再摸出一个红球,A袋概率继续上调至90%。但接下来若连摸出两个绿球,A袋概率将重新降至50%。继续下去,再摸出4个球,如果8次中有6红2绿,A袋概率将高达98.8%,虽难确定绝对是A,但已极有把握。

这一动态更新概率的过程,就是将原先的判断与新线索不断融合,使结果越来越精确。贝叶斯推理不只给出最有可能的答案,还量化了对此答案的确信程度。它代表着一种思维理念:坚持反馈迭代,摒弃固步自封,包容不确定性,勤于学习探索,理论与实践并重。

小百科:什么是“贝叶斯推理”?

贝叶斯推理是一种在不确定情况下进行概率判断和决策的数学方法,它源于18世纪英国数学家托马斯·贝叶斯的研究。

贝叶斯推理的核心原理是:根据已知信息得出一个“先验概率”,然后每获取一条新证据,就利用贝叶斯公式,结合新线索对先验概率进行修正,得到"后验概率"的更新值。这一修正过程会不断重复,持续引入新信息,使概率估计值逐步向真实概率靠拢。

具体来说,贝叶斯公式运用了条件概率的乘法法则,将后验概率表示为:后验概率=先验概率*似然函数/证据概率。其中似然函数描述了新证据发生的概率,证据概率是一个归一化因子。这样就能通过简单的概率乘除法,将先验概率与新证据整合,得到修正后的后验概率估计。

通过循环迭代,贝叶斯推理让我们在不断吸收新信息的同时,动态调整对事件可能性的判断。最终不仅给出最有可能的结论选择,还能量化出对这个选择的确信程度有多高。

贝叶斯推理都发挥着重要作用,帮助我们在不确定的世界中作出明智的判断和决策。


图1:贝叶斯定理的提出者英国数学家托马斯·贝叶斯(1702-1761)

美国辛普森杀妻案

美国辛普森杀妻案曾在20世纪90年代引发轰动,辛普森聘请“梦幻律师团”为其辩护。检察官展示出辛普森曾长期家暴妻子的证据,认为这是“谋杀的前奏”。而辩护律师Alan反驳称,美国每年虽有400万妇女遭家暴,但仅1432人被杀,概率只有1/2800,暗示辛普森可能无辜[1]。

按贝叶斯推理,妻子确已被杀,问题是辛普森是否为凶手。辛普森的家暴行为虽是一个线索,但与1/2800的概率无关。我们应关注的是,在妻子遇害的情况下,凶手正是施暴者的概率有多大。数据显示,在遭家暴且遇害的妇女中,凶手是家暴男的概率高达90%。这一证据极大增加了辛普森的嫌疑,但Alan的诡辩削弱了其说服力。

这启示我们,在不确定情况下,不应止步于表面数字,而要注重条件概率之间的关联。贝叶斯推理教导我们,在获取新线索时,要动态修正既有判断,从先验概率推出后验概率。


图2:1995年法庭上的辛普森

贝叶斯推理的应用

贝叶斯推理应用范围广泛,包括二战密码破译、医学诊断、电商推荐、垃圾邮件识别、金融投资决策、剧本杀游戏等。在人工智能和计算光学成像领域也扮演重要角色。

我们拍照片时,相机记录完整光场数据,可直接获得清晰图像。但在很多情况下,相机只能获取有限的数据,却需重建出清晰照片。一个典型例子是2019年发布的首张黑洞照片。由于黑洞在遥远的宇宙深处,理想条件是建造一个地球大小的射电望远镜,但现实中只有分布在全球各处的8个普通大小望远镜采集数据。尽管数据有限,但通过对黑洞的科学认知,从中猜测出一张“合理的”照片成为可能。


图3:2019年发布的历史上第一张黑洞照片

重建照片既需要理想化地满足各种约束条件,又需现实化地拟合测量数据。在贝叶斯框架下,可将这两方面需求量化为概率值,并将它们结合为总体概率值,以此为目标寻找最佳重建结果。研究者历时两年,综合多种算法,最终才获得了那张被广为传播的黑洞照片,尽管无法百分百保证与真实一致,但已是正确可能性最大的猜测结果。

不止在宇宙探索中需要考虑照片真相的不确定性,我们日常应用中也是如此。例如普通相机只能拍摄平面图像,要测量物体的三维形状,需结合投影仪和相机共同实现。通常需多次投射不同结构光条纹图案才能获取足够数据,如果只有单张条纹图案,数据不足会导致重建结果的不唯一性。在这种情况下,如何顺利重建三维模型[2]?


图4:结构光三维测量:通常需要依次投影多张不同的条纹图案[3]

普通相机的另一个局限是只能记录光场的振幅(或者说强度),也就是光的明暗,这对于拍摄一张日常普通照片没有问题。但是在显微镜之下,面对所要观测的透明细胞和微生物, 光的振幅常常无法体现出样本细节,而光的相位信息更加重要,相位表示了光的传播路程长短,一个细胞不同部位不同厚度的差异都会造成光相位变化。但光相位又没办法直接测量和记录,而且我们不仅需要样本的相位照片,对于显微镜,还进一步希望相位照片是放大后的结果。

为了获得高分辨率的相位成像结果,研究者提出了差分相衬(Differential phase contrast, DPC)和傅里叶叠层显微成像(Fourier Ptychographic Microscopy, FPM)相结合的方法,简单说就是通过一个LED灯的阵列照射样本,每次只开启一部分数量的LED灯照明,这意味每次光从不同方向照射显微镜下的样本。在每一个照明模式下,都拍摄一张光强度的照片,最后从所有光强度照片的细节中,可以计算重建出原本不可见的高分辨率的相位成像结果。“世界上没有免费的午餐”,在这一方案中,要付出的代价是拍摄不同光照条件下照片的数量,常常要超过100张,那么如果我们只有5张这样的照片,数据严重不足的情况下,还能同样获得高质量的计算结果吗[4]?


图5:在差分相衬和傅里叶叠层显微成像相结合的方案中,将不同照明模式下光强度的照片数量从173张至185张降低到仅为5张,输入经数据训练的贝叶斯神经网络,仍然可以预测出显微镜下微小生物样本的高分辨率相位图像,并且同时附带生成一张不确定概率图,表示预测结果中各个不同部分的可信程度[4,5]

普通相机所使用的图像传感器通常是一个由很多微小单元组成的阵列,每个小单元用于记录照片中每个像素的信息,然而在可见光以外的一些波段,比如红外,X光和太赫兹,这种阵列传感器难以制造出来,或者价格非常昂贵,研究者转而尝试另一种称为单像素成像(Single-pixel Imaging, SPI)的替代方案。这种特殊的相机中,传感器只有一个像素,每次只能记录物体场景整体的光强弱,拍摄者需要每次把不同的投影图案照射到物体表面,经过很多次不同图案的照射,单像素探测器收集到足够多的数据,也可以计算重建出物体图像来。但同样这里的关键词是“足够多”,如果我们只希望照射很少量的投影图案,记录下很少的数据,能否依旧重建出清晰的物体图像呢[6]?


图6:一个单像素成像系统

图源:作者自行绘制

以上各种情形下所面临的共同挑战在于,实际获取的图像数据少得可怜,却又希望还原出一张完整清晰照片,看起来都是“不切实际的幻想”,寄希望于“空手套白狼”,而人工智能证明了“幻想还是要有的,万一实现了呢?”。一个深度学习神经网络数学模型,模拟人的大脑结构,包含了大量的神经元和相互之间的连接突触权重,研究者事先根据不同任务,准备大量训练数据,比如结构光三维测量中就是单张扭曲变形的条纹图案和对应的实际三维物体模型,相位显微成像中就是少数几张不同照明模式下的光强度照片和高分辨率的相位成像结果,单像素成像中就是数量有限的探测器数据和实际的物体图像。神经网络模型经过训练后,模型中所有的连接权重数值得到优化,就学会了怎样从不充足的数据中猜测出所希望获取的照片,能够帮我们完成上面这些看似不可能完成的任务。


图7:三种成像系统与贝叶斯神经网络相结合后重建结果:普通神经网络只能给出预测结果(红色框内),而贝叶斯神经网络既能给出预测结果(红色框内),又能给出不确定性的估计(蓝色框内)[2,4,6]

普通深度学习模型虽能给出预测结果,但无法量化该结果的可信程度。我们希望人工智能不仅能猜出答案,还要“有自知之明”,给出答案的可信度。

贝叶斯深度学习就可以满足了这一需求,它将神经网络当前的连接权重值视为先验概率模型,每个训练样本相当于一条新线索,可以不断将先验概率更新为后验概率。如此一来,神经网络不再固定不变,能同时给出预测结果及其不确定性估计。

举例来说,在计算成像任务中,普通神经网络只能输出重建的图像,而贝叶斯神经网络不仅能重建图像,还能为每个像素值附加一个不确定度评估。这就展现了不确定世界的更完整图景。

总结

总的来说,在现实生活中,我们常常面临种种不确定性问题,无法立即得知准确答案。比如刑侦人员需要从线索中判断嫌疑人是否为真凶;科学家需要从有限观测数据中推测出一张清晰的天文照片;医生需要从症状和检查结果中诊断疾病原因;等等。这些问题背后都存在多种可能的答案选择,我们很难一下子就下定论。

有了贝叶斯推理这一强大工具,我们就能泰然自若地面对这些不确定性。贝叶斯推理教导我们,要先基于已有信息给出一个初步的概率估计,这就是“先验概率”。之后只要不断获取新的线索和证据,就可以反复运用贝叶斯公式,将新信息与先验概率融合,动态更新出“后验概率”的新估计值。

通过这种循环迭代的方式,我们就能以一种客观理性、渐进式的思维方式,有序地将零散的新旧信息整合起来,逐步缩小不确定性的范围,将概率估计值向最终的真实答案靠拢。最终,贝叶斯推理不仅让我们找到正确可能性最大的答案选择,还能量化出对这个选择的确信程度有多高,让我们对结论的可靠性有个明确认知。

因此,无论是追查真凶,重建天文照片,还是诊断疾病,只要运用贝叶斯推理,我们就能在不确定的环境中游刃有余,作出明智的判断和决策。

参考资料

[1]Leonard Mlodinow著,郭斯羽译,醉汉的脚步:随机性如何主宰我们的生活,湖南科学技术出版社(2010)

[2]S. Feng, C. Zuo, Y. Hu, Y. Li, and Q. Chen, "Deep-learning-based fringe-pattern analysis with uncertainty estimation," Optica 8(12), 1507-1510 (2021)

[3]左超,张晓磊,胡岩,尹维,沈德同,钟锦鑫,郑晶,陈钱, "3D真的来了吗?——三维结构光传感器漫谈," 红外与激光工程, 49(3), 45 (2020).

[4]Y. Xue, S. Cheng, Y. Li, and L. Tian, "Reliable deep-learning-based phase imaging with uncertainty quantification," Optica 6(5), 618-629 (2019)

[5]L. Tian, X. Li, K. Ramchandran, and L. Waller, "Multiplexed coded illumination for Fourier Ptychography with an LED array microscope," Biomed. Opt. Express 5(7), 2376-2389 (2014)

[6]R. Shang, M. A. O’Brien, F. Wang, G. Situ, and G. P. Luke, “Approximating the uncertainty of deep learning reconstruction predictions in single-pixel imaging,” Commun. Eng. 2, 53 (2023).

监制:赵阳

编辑:赵唯

来源:中国光学

编辑:阿泊

转载内容仅代表作者观点

不代表中科院物理所立场

如需转载请联系原公众号

1.2.

3.

4.

5.

6.

7.

8.

9.

10.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刘德华演唱会妻女现身捧场,朱丽蒨衣着低调,刘向蕙全程不摘口罩

刘德华演唱会妻女现身捧场,朱丽蒨衣着低调,刘向蕙全程不摘口罩

缘浅娱深
2024-07-07 16:48:11
董宇辉重庆3天带货1.4亿元,俞敏洪坐不住了,年薪60万再招新主播

董宇辉重庆3天带货1.4亿元,俞敏洪坐不住了,年薪60万再招新主播

影像温度
2024-07-07 16:06:32
突然反转了!荷兰ASML公司正式做出决定?

突然反转了!荷兰ASML公司正式做出决定?

大卫聊科技
2024-07-07 19:30:03
吃不吃惊?巴黎奥运会还有半个月开幕,部分场馆竟然还未完工!

吃不吃惊?巴黎奥运会还有半个月开幕,部分场馆竟然还未完工!

十点街球体育
2024-07-07 14:42:26
故事:夫妻AA制20年,丈夫住院妻子却和男闺蜜旅游,回家后被离婚

故事:夫妻AA制20年,丈夫住院妻子却和男闺蜜旅游,回家后被离婚

墨染尘香
2024-04-19 12:11:05
两天内,信长星、胡昌升、许昆林、任振鹤四位省级党政“一把手”,多了新身份

两天内,信长星、胡昌升、许昆林、任振鹤四位省级党政“一把手”,多了新身份

政知新媒体
2024-07-07 22:23:44
越闹越大!马未都裁员不给赔偿,老员工爆炸裂内幕,王朔说的真准

越闹越大!马未都裁员不给赔偿,老员工爆炸裂内幕,王朔说的真准

兰子记
2024-07-05 16:16:46
小玥儿在日本旅游,用平板偷看母亲照片,从头到尾只有一套衣服?

小玥儿在日本旅游,用平板偷看母亲照片,从头到尾只有一套衣服?

咖啡店的老板娘
2024-07-07 22:00:01
判了,无期!敛财1395亿,伪装了12年的励志网红,还是露馅了

判了,无期!敛财1395亿,伪装了12年的励志网红,还是露馅了

毒sir财经
2024-07-06 22:52:05
明查|胡塞武装公开其击落美国F-22隐形战机的视频?

明查|胡塞武装公开其击落美国F-22隐形战机的视频?

澎湃新闻
2024-07-07 07:32:31
一个残酷的真相:国产车企仅国内称王,走出国门啥都不是

一个残酷的真相:国产车企仅国内称王,走出国门啥都不是

互联网.乱侃秀
2024-07-06 11:28:00
辛巴的一声“滚”,彻底戳穿了杨颖的惨淡结局,不敢生气只敢陪笑

辛巴的一声“滚”,彻底戳穿了杨颖的惨淡结局,不敢生气只敢陪笑

简读视觉
2024-07-06 01:04:16
女人这些部位,她渴望你的触碰,为何开不了口?

女人这些部位,她渴望你的触碰,为何开不了口?

心语者V
2024-07-07 18:29:04
工体沦陷!北京国安主场耻辱败北,2次要点球失败,裁判不给面子

工体沦陷!北京国安主场耻辱败北,2次要点球失败,裁判不给面子

国足风云
2024-07-07 21:39:46
本科应届生崩溃:面试月薪1200工作被拒,网友:这是读书的意义?

本科应届生崩溃:面试月薪1200工作被拒,网友:这是读书的意义?

说真话的小陈
2024-07-06 10:24:12
向太称被刘德华吓哭,发言警告华仔,刘德华老婆也发声

向太称被刘德华吓哭,发言警告华仔,刘德华老婆也发声

阿芒娱乐说
2024-07-07 20:56:18
科尔:詹姆斯训练的刻苦程度让我觉得不可思议

科尔:詹姆斯训练的刻苦程度让我觉得不可思议

懂球帝
2024-07-08 00:05:10
英格兰进4强,却诞生头号毒瘤:全场4项数据挂零,连续5场0球0助

英格兰进4强,却诞生头号毒瘤:全场4项数据挂零,连续5场0球0助

侃球熊弟
2024-07-07 03:25:48
笑死!韩国网友: 为什么中国不把张家界还回来?引发各国网友嘲讽

笑死!韩国网友: 为什么中国不把张家界还回来?引发各国网友嘲讽

有趣的火烈鸟
2024-07-07 21:11:09
海外网友热议TES淘汰G2:Creme像巅峰期Faker!TES看起来比T1更强

海外网友热议TES淘汰G2:Creme像巅峰期Faker!TES看起来比T1更强

贝塔看比赛
2024-07-07 04:28:38
2024-07-08 00:38:44
中科院物理所
中科院物理所
爱上物理,改变世界。
7926文章数 135819关注度
往期回顾 全部

头条要闻

道德沦丧的彭国甫被处理 曾称"千万莫让别人戳脊梁骨"

头条要闻

道德沦丧的彭国甫被处理 曾称"千万莫让别人戳脊梁骨"

体育要闻

转发这篇索斯盖特,你也能运气爆棚!

娱乐要闻

49岁林志玲在日本带娃被偶遇

财经要闻

齐创阶段新高 一线城市楼市又可以了?

科技要闻

临时加关税 欧版"元PLUS"成本涨近8000欧元

汽车要闻

18.98万起 宝马新电动MINI COOPER上市

态度原创

房产
家居
数码
本地
公开课

房产要闻

超大规模!海口迈瀛片区征收补偿方案曝光!

家居要闻

自然韵律 木质家居的宁静美学

数码要闻

AD102 核心,索泰海外推出 RTX 4070 Ti SUPER SOLID 系列显卡

本地新闻

云游中国 | 走进安塞,寻觅黄土高原文化记忆

公开课

连中三元是哪三元?

无障碍浏览 进入关怀版