网易首页 > 网易号 > 正文 申请入驻

ICLR 2021杰出论文奖公布,DeepMind是最大赢家

0
分享至

萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

ICLR 2021杰出论文奖出炉!

今年共有2997篇投稿,接收860篇,最后共有8篇获得杰出论文奖。

这8篇论文中,谷歌成最大赢家,共有4篇论文获奖(包括DeepMind、谷歌大脑在内)。

除此之外,AWS、Facebook等机构,以及CMU、南洋理工等高校也纷纷上榜。

一起来看看都是哪些论文。

共有8篇论文上榜

1、Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with 1/n Parameters

来自AWS、Google、南洋理工大学。

这篇论文提出了一种基于四元数的全连接层(Fully-Connected Layers with Quaternions),用四元数的哈密顿乘积(Hamilton products),替代了全连接层中的实值矩阵乘法,节省了1/4的可学习参数。
论文对超复数乘积进行了参数化,允许模型从数据中学习乘法规则,无需在意这些规则是否被预定义。与普通的全连接层方法相比,这种方法只需要使用1/n(n即维度)的可学习参数。

2、Complex Query Answering with Neural Link Predictors

来自UCL、阿姆斯特丹自由大学。

这篇论文提出了一种名为复杂查询分解 (CQD)的框架,通过在嵌入空间实体集上的推理,来回答相对复杂的逻辑查询——回答复杂查询,被简化为回答每个子查询,并通过t-norm聚合所得分数。
只需要训练原子查询的神经网络链接预测模型,就可利用这一框架,来回答给定的复杂查询,而不需要用大量生成的复杂查询进行训练。
同时,无论查询的复杂性如何,这一框架还能对查询回答过程的每一步进行解释。论文所提出的方法与查询类型无关,可以在不明确训练特定类型查询的情况下进行归纳。

3、EigenGame: PCA as a Nash Equilibrium

来自DeepMind、Google。

这篇论文提出了一种天然并行化的随机梯度上升方法EigenGame(本征博弈),结合了Oja规则、Krasulina矩阵和Riemannian优化方法的优点,来计算Top-K主成分。
其中,PCA即博弈纳什均衡、及序列化全局收敛主成分算法。
这种方法为大规模矩阵的PCA计算提供了一种可扩展方法,可计算出近200 TB的Imagenet的RESNET-200激活矩阵的前32个主成分。

4、Learning Mesh-Based Simulation with Graph Networks

来自DeepMind。

这篇论文介绍了MeshGraphNets,一个用图神经网络进行网格仿真学习的框架。这一框架可以精确地预测各种物理系统的动力学,包括空气动力学、结构力学和织物的形状等。
这种方法拓宽了神经网络模拟器可以运行的问题范围,并有望提高复杂的、科学的建模任务的效率。

5、Neural Synthesis of Binaural Speech From Mono Audio

来自Facebook Reality Lab、CMU。

这篇论文提出了一种双声道合成的神经绘制方法,可以实时生成逼真、空间精确的双声道声音。所设计的网络以单声道音频源为输入,根据听者相对于声源的相对位置和方向,将双声道双耳声音合成为输出。
论文从理论上分析了原始波形上l2损耗的不足,并介绍了克服这些局限性的改进损耗。

6、Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime

来自东京大学。

这篇论文分析了过参数化(overparameterized)的双层神经网络回归问题的平均随机梯度下降的收敛性。
论文证明,平均随机梯度下降可以通过利用目标函数的复杂性以及与神经切线核(NTK)相关的再生希尔伯特空间(RKHS),在保证全局收敛的前提下,达到极小极大最优收敛速度。

7、Rethinking Architecture Selection in Differentiable NAS

来自UCLA、理海大学、Amazon。

可微神经结构搜索(differential Neural Architecture Search,NAS)以搜索效率高、搜索过程简单等优点,成为当前最流行的神经结构搜索(Neural Architecture Search,NAS)方法之一。
这篇论文分析认为,架构参数的大小,并不一定证明操作对贪心超网络(supernet)性能的贡献效果,并提出了一种可供选择的、基于扰动的体系结构选择,直接测量每个操作对贪心超网络的影响。

8、Score-Based Generative Modeling through Stochastic Differential Equations

来自斯坦福、谷歌、谷歌大脑。

论文提出了一种基于随机微分方程(SDEs)的分数式生成模型框架。其中,SDE通过缓慢注入噪声,平稳地将一个复杂的数据分布转换为一个已知的先验分布,相应的逆时SDE通过缓慢去除噪声将先验分布转换回数据分布。
逆时SDE只依赖于扰动数据分布随时间变化的梯度场(分数),引入了预测-校正框架来纠正离散逆时SDE演化中的错误,推导了与SDE相同的分布采样的等效神经ODE,使精确的似然计算成为可能,并提高了采样效率。

关于杰出论文奖评选

ICLR 2021杰出论文奖,主要从四个方向来考察论文质量:技术质量、影响潜力、是否提出新方向、以及是否解决了重要问题

今年负责评奖的委员会,成员分别来自Facebook、DeepMind、德州奥斯汀分校、斯坦福大学、微软等各高校和机构。

值得一提的是,虽然ICLR表示:

评分最高的论文也入选了此次奖项。

然而,在这8篇论文中,却并没有见到平均分最高的论文身影。

按平均分来看的话,得分最高的论文名为「How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks」,来自MIT、马里兰大学、华盛顿大学。

它的论文评分是9、9、8、9,平均分8.75,却并未入选此次的杰出论文奖。

相比于这篇论文,确实有几篇入选杰出论文奖的论文,获得过评委打出的10分。

但这两篇论文,却都收到过其他评审6、7分的打分,例如(9、6、6、10)和(7、10、7、7)等。

从打10分的评委评价来看,都是觉得这几篇论文“提出了开创性的观点”。

相比之下,评审在给MIT这篇论文打分时用得更多的评价是“有见解、有意思”。

关于ICLR

ICLR(International Conference on Learning Representations)又名“国际学习表征会议”,2013年举办第一届,由Yoshua Bengio和Yann LeCun牵头创办。

虽然创立时间较晚,但相比于其他顶会,ICLR推行Open Review公开评审制度,所有论文都会公开学校、姓名等信息,并接受所有同行的评价及提问。

在公开评审结束后,作者也能够对论文进行调整及修改。

值得一提的是,ICLR历年会议都只评选过最佳论文奖(Best Papers),今年应该是ICLR首次增加杰出论文奖。

这次ICLR 2021评选的杰出论文奖,国内并没有高校和研究机构入选,但有3篇论文的1作为华人作者。

对论文内容感兴趣的话,可以戳下方链接查看~

ICLR 2021杰出论文奖:
https://iclr-conf.medium.com/announcing-iclr-2021-outstanding-paper-awards-9ae0514734ab

参考链接:
[1]https://docs.google.com/spreadsheets/d/1n58O0lgGI5kI0QQY9f4BDDpNB4oFjb5D51yMr9fHAK4/edit#gid=1546418007
[2]https://openreview.net/group?id=ICLR.cc/2021/Conference

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
逼良为娼,被强迫拍了50部三级片:从车模到女优,她只走错了一步

逼良为娼,被强迫拍了50部三级片:从车模到女优,她只走错了一步

爱过的人去了哪里
2022-06-19 16:40:26
Woj:76人托拜厄斯-哈里斯2年5200万加盟活塞

Woj:76人托拜厄斯-哈里斯2年5200万加盟活塞

懂球帝
2024-07-01 22:34:16
150天生产1703亿块芯片,出口猛增21%,中国芯反杀海外市场

150天生产1703亿块芯片,出口猛增21%,中国芯反杀海外市场

别人都叫我阿腈
2024-07-01 21:50:27
朝鲜即将出兵乌克兰?美军警告:一旦参战,将沦为炮灰

朝鲜即将出兵乌克兰?美军警告:一旦参战,将沦为炮灰

历史有些冷
2024-06-30 18:30:02
CCTV16直播!上海申花对阵山东泰山,让路欧洲杯,央视独播这一场

CCTV16直播!上海申花对阵山东泰山,让路欧洲杯,央视独播这一场

实事球是
2024-07-01 22:27:19
不知啥原因,老赵突然消失了

不知啥原因,老赵突然消失了

靠山屯闲话
2024-06-30 09:59:22
朝鲜将出兵乌克兰 对世界来说并不是一个好兆头 我们必须时刻准备着

朝鲜将出兵乌克兰 对世界来说并不是一个好兆头 我们必须时刻准备着

笔墨V
2024-06-29 19:35:23
贵州茅台突传重磅

贵州茅台突传重磅

风风顺顺
2024-07-01 15:26:39
俄罗斯外交官扎哈罗娃有多厉害?怒怼西方各国,却对中国情有独钟

俄罗斯外交官扎哈罗娃有多厉害?怒怼西方各国,却对中国情有独钟

华人星光
2024-06-30 19:46:21
差点9-1!西班牙变态统治力:狂射35脚,8成控球!大黑马自闭了!

差点9-1!西班牙变态统治力:狂射35脚,8成控球!大黑马自闭了!

风过乡
2024-07-01 06:54:10
美记:拥有最多薪资空间的76人和活塞 均不再有意迈尔斯-布里奇斯

美记:拥有最多薪资空间的76人和活塞 均不再有意迈尔斯-布里奇斯

直播吧
2024-07-01 06:04:10
今天的中国,比巅峰时期苏联更强,为何美国不联合俄罗斯搞中国?

今天的中国,比巅峰时期苏联更强,为何美国不联合俄罗斯搞中国?

探秘历史
2024-06-13 13:05:03
印度3天3座机场顶棚垮塌!印度人戏称这叫莫迪工业3.0的帽子戏法

印度3天3座机场顶棚垮塌!印度人戏称这叫莫迪工业3.0的帽子戏法

据说说娱乐
2024-07-01 16:07:06
胡昌升、任振鹤,首次以这一新身份召开重要会议

胡昌升、任振鹤,首次以这一新身份召开重要会议

政知新媒体
2024-07-01 20:32:21
教育部同意:北京,再添一部属大学!

教育部同意:北京,再添一部属大学!

双一流高校
2024-06-29 17:41:27
美国摊上大事?菲律宾彻底怒了:这次,我们要替中国讨回公道!

美国摊上大事?菲律宾彻底怒了:这次,我们要替中国讨回公道!

青年的背包
2024-07-01 21:42:22
胡友平家人拒绝捐款捐物不符合常理

胡友平家人拒绝捐款捐物不符合常理

深度财线
2024-07-01 22:22:27
东南大学交通学院院长陈峻获公示拟任江苏高职院校正职

东南大学交通学院院长陈峻获公示拟任江苏高职院校正职

澎湃新闻
2024-07-01 12:54:30
74年中央为贺龙恢复名誉,叶帅直言:我和贺龙个人关系并不是很好

74年中央为贺龙恢复名誉,叶帅直言:我和贺龙个人关系并不是很好

历史龙元阁
2024-07-01 16:21:51
马克龙首轮选举惨败!牵手71岁爱妻回家乡,布里吉特把LV穿身上

马克龙首轮选举惨败!牵手71岁爱妻回家乡,布里吉特把LV穿身上

译言
2024-07-01 09:13:26
2024-07-01 23:10:44
量子位
量子位
追踪人工智能动态
9604文章数 175390关注度
往期回顾 全部

科技要闻

天兵科技巩义现场工作人员:正寻找黑匣子

头条要闻

刚履新两天 韩俊首次离京调研农业防汛抗旱

头条要闻

刚履新两天 韩俊首次离京调研农业防汛抗旱

体育要闻

他们距离创造历史,只差1分33秒

娱乐要闻

今年内娱最大的闹剧,该收场了

财经要闻

债牛疯狂不止,引央行“出手”!

汽车要闻

奥迪Q6 e-tron Sportback官图曝光

态度原创

房产
游戏
数码
公开课
军事航空

房产要闻

官宣去库存!海南这一区域商办产品,已无限接近住宅!

《星鸣特攻》内容将非常丰富!预告只是冰山一角

数码要闻

750元,我买了一台“洋垃圾”,竟是全世界最轻薄笔记本?

公开课

连中三元是哪三元?

军事要闻

泽连斯基:俄乌谈判可采取“第三国调解”模式

无障碍浏览 进入关怀版