网易首页 > 网易号 > 正文 申请入驻

大脑也在强化学习!加州大学提出「价值决策」被大脑高效编码,登Neuron顶刊

0
分享至

新智元报道

编辑:David

【新智元导读】人和动物的决策离不开大脑,大脑决策要靠「价值信息」。一项新研究揭示了这类关键信息更新和编码的详细机制,实验表明,它们被编入一个资源库,可以持久保存,长期调用。

我们每个人的一生都要做出大量的决定,小到「今天晚上吃什么」、「明天放假去哪里玩」,大到「这次战役怎么打」、「这部法律如何制定」。

这些决定的结果,要由决策者的大脑来给出最终裁决。

所以,大脑中负责这类「裁决」的关键区域,成为科学家们关注的重点。

2019 年,加州大学圣地亚哥分校的研究人员就发现了做出「价值决策」的大脑区域。

他们发现,这个区域被称为脾后皮层 (RSC),是用来做出「有价值的选择」的地方,比如决定今晚去哪家餐厅吃饭。然后,根据对今晚饭菜的喜好程度的新印象,用最新信息来更新RSC。

毕竟,只有及时更新信息,才能让大脑做出最正确的决策。

现在,这个团队在这个问题上又有新进展。该校生物科学系博士后 Ryoma Hattori 和 Takaki Komiyama 教授领导的新研究,揭示了大脑处理此类动态更新信息的详细机制。

近日发表在Neuron期刊上的论文结果表明,RSC中的更新信息可以持久保存,就像一个可调用的资源库。

这些「持久信息」可以最有效地表示或「编码」有价值的信号,能够跨越大脑的不同区域。

为了研究大脑活动如何表示基于价值的决策的细节,研究人员设置了强化学习实验。价值决策是人类大脑的关键机制,在精神分裂症、痴呆和成瘾等神经系统疾病中常常受损。

在实验中,研究人员小鼠提供了多个选项,对小鼠的选择以一定的概率奖励,并记录在强化学习过程中的相应大脑活动。

由此产生的数据和网络模拟指出了持续编码在如何表示老鼠及其价值决定方面的重要性,以及 RSC 作为这项活动的纽带。

研究人员在论文中解释说:「这些结果表明,尽管信息编码是高度分布的,但并非所有神经活动中表示的信息都可以在每个区域中使用。这些结果表明,依赖于上下文的持久性信息,促进了可靠的信号编码,扩大了信息在大脑中的分布。」

研究人员发现,信息的持久性,可以让价值信号在大脑的不同区域得到最高效的编码,尤其是在脾后皮层中。图片来源:加州大学圣地亚哥分校 Komiyama 实验室

研究团队成员,论文作者之一Hattori表示,众所周知,神经元会在不同的活动模式中循环,一些神经元的活动会激增,而另一些则保持沉默。

Ryoma Hattori

这些大脑活动模式已被证明与某些与任务相关的信息相关,例如决策的价值信息。由于 RSC 在连接多个大脑网络和功能方面发挥着核心作用,此次新发现进一步强化了2019年的成果。

“我们认为在小鼠大脑中,RSC的作用是价值信息的稳定储存库,当老鼠进行强化学习和决策时,RSC 会将价值信息分发到其他大脑区域,这些区域对于进一步处理价值信号至关重要。”

为了进一步测试他们的发现,Hattori 和 Komiyama 使用了他们在实验期间记录的超过 100000 次小鼠决策的「大数据」库。

研究人员对人工智能 (AI) 网络进行编程,模仿基于计算机的强化试验中的行为策略,得到了与现实世界的实验非常相似的结果。

Takaki Komiyama

「当我们训练AI做同样的行为时,它采用了相同的策略和相同的方式来表示神经活动中的信息,」Komiyama 说

「这表明,我们的发现确实是神经回路执行这种行为的选择策略。AI和小鼠之间的这种相似性真的很有趣。」

参考资料:

https://neurosciencenews.com/value-decision-encoding-19695/

https://www.cell.com/cell/pdf/S0092-8674(19)30446-5.pdf

https://www.cell.com/neuron/pdf/S0896-6273(21)00891-6.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
德甲大结局:拜仁122球,斯图加特第4,狼堡附加赛

德甲大结局:拜仁122球,斯图加特第4,狼堡附加赛

寒律
2026-05-17 16:33:31
那年我帮同学掰苞谷,吃了两碗手擀面,她追了我二里地逼我娶她

那年我帮同学掰苞谷,吃了两碗手擀面,她追了我二里地逼我娶她

人间百态大全
2026-05-15 06:40:07
王晓东被查

王晓东被查

财闻
2026-05-17 18:06:44
《给阿嬷的情书》单日票房过亿冲20亿!为何火得恐怖?

《给阿嬷的情书》单日票房过亿冲20亿!为何火得恐怖?

释凡电影
2026-05-17 04:51:47
这场顶级晚宴,真正的主角不是马斯克、黄仁勋,而是一方中式桌面

这场顶级晚宴,真正的主角不是马斯克、黄仁勋,而是一方中式桌面

魔都姐姐杂谈
2026-05-15 00:53:47
震惊!四张脸竟如复制粘贴,叶珂闺蜜照引爆全网热议

震惊!四张脸竟如复制粘贴,叶珂闺蜜照引爆全网热议

人间娱事集
2026-05-17 14:16:12
高市早苗发表涉台错误言论后,日本大臣首次访华

高市早苗发表涉台错误言论后,日本大臣首次访华

俄罗斯卫星通讯社
2026-05-17 16:07:35
别让模型烧Token了!GitHub 20k星神作:把全网变成命令行

别让模型烧Token了!GitHub 20k星神作:把全网变成命令行

量子位
2026-05-16 14:32:33
刚说要和中国好好相处,转头就收3个噩耗,特朗普回国

刚说要和中国好好相处,转头就收3个噩耗,特朗普回国

谛听骨语本尊
2026-05-16 14:58:39
大胆预测!明天G7骑士对阵活塞,骑士会晋级,理由有以下5点

大胆预测!明天G7骑士对阵活塞,骑士会晋级,理由有以下5点

阿晞体育
2026-05-17 15:31:06
特朗普肠子悔青,他亲手按下按钮,把中国电车送上了新高度

特朗普肠子悔青,他亲手按下按钮,把中国电车送上了新高度

北向财经
2026-05-16 22:30:43
四川武警营门推哨兵后续:大家都搞错了罪名,她面临的不是袭警罪

四川武警营门推哨兵后续:大家都搞错了罪名,她面临的不是袭警罪

奇思妙想草叶君
2026-05-13 18:25:17
中美差距最大的,其实不是AI

中美差距最大的,其实不是AI

罗sir财话
2026-05-16 20:51:56
77岁曹查理独居东莞租房:拍三级片赚了几千万,如今一套房都没留

77岁曹查理独居东莞租房:拍三级片赚了几千万,如今一套房都没留

飘飘然的娱乐汇
2026-05-14 21:50:07
连过4辆雅马哈!张雪机车赛季第四冠!

连过4辆雅马哈!张雪机车赛季第四冠!

五星体育
2026-05-16 19:21:33
泪目!38岁男子坦然面对死亡,还写下遗言,他是一个快递员,3孩

泪目!38岁男子坦然面对死亡,还写下遗言,他是一个快递员,3孩

火山詩话
2026-05-16 10:14:19
踢到钢板了!烫伤男童母亲正脸被扒社死,店家硬钢到底,准备起诉

踢到钢板了!烫伤男童母亲正脸被扒社死,店家硬钢到底,准备起诉

奇思妙想草叶君
2026-05-16 15:39:41
下一个“德比斯”来了?张雪想签杜卡迪5号车手马西亚,像把尖刀

下一个“德比斯”来了?张雪想签杜卡迪5号车手马西亚,像把尖刀

小娱乐悠悠
2026-05-17 14:44:44
为什么深圳GDP永远超不过上海?答案就四个字:老天赏饭

为什么深圳GDP永远超不过上海?答案就四个字:老天赏饭

民间胡扯老哥
2026-05-17 08:45:39
伊朗:恢复建设,恢复交易

伊朗:恢复建设,恢复交易

鲁中晨报
2026-05-17 11:46:03
2026-05-17 18:36:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
15235文章数 66874关注度
往期回顾 全部

科技要闻

三大运营商即将免月租?多方回应

头条要闻

3楼租户长期有噪音2楼夫妻买震楼器反击 结果1楼报警

头条要闻

3楼租户长期有噪音2楼夫妻买震楼器反击 结果1楼报警

体育要闻

生死战只拿3分的核心,还有留的必要吗?

娱乐要闻

《主角》刘浩存上线,死别猝不及防

财经要闻

OpenAI和苹果的“联盟”即将破裂

汽车要闻

大五座SUV卷王!乐道L80上市 租电15.68万元起

态度原创

本地
艺术
亲子
教育
公开课

本地新闻

用苏绣的方式,打开江西婺源

艺术要闻

王羲之行书《金刚经》全本,这字能“镇宅”

亲子要闻

夜的尽头是爱:当妻子产后抗拒同房,丈夫该如何拥抱她?

教育要闻

第28届研究生支教团分团长工作部署会顺利举办

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版