网易首页 > 网易号 > 正文 申请入驻

Bengio精简了传统RNN,性能可与Transformer媲美

0
分享至

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

深度学习三巨头之一的Yoshua Bengio,刚刚发布了一篇有趣的新论文——

RNN就是所需的全部吗?
Were RNNs All We Needed?



不仅论文的名字有意思,其结论更是精彩。

研究表明,精简十几年前的RNN们,性能上可以与最近序列模型(如Transformer等)相媲美!



具体而言,Bengio等人重新审视了诸如LSTM(1997)和GRU(2014)这些传统的RNN,认为这些模型的缺点是由于需要时间反向传播 (BPTT) 而导致速度较慢。

所以他们直接大刀阔斧地移除了LSTM和GRU中的隐藏状态依赖,让它们不再需要BPTT,从而可以高效地并行训练。

而精简改良版的RNN们,名字分别叫做minLSTMminGRU

它们和传统RNN相比,不仅训练时所需的参数量大幅减少,并且完全可并行化。

嗯,是颇有一种大道至简的感觉了。

那么Bengio等人具体又是如何实现的?我们继续往下看。



精简版RNN

Transformer和它的变体们可以说是近几年大热的架构,但与此同时缺点也是较为明显,那便是在处理长序列时的计算复杂度问题。

具体来说,Transformer模型在序列长度上的计算复杂度是二次方的,这使得它在处理长序列时资源的消耗就比较高。

因此就需要能够在训练时有效地处理长序列,同时在推理时保持高效性能的替代方案——简化版的RNN。

这个过程的关键便是隐藏状态依赖,让它们不再需要BPTT,让效率直接飙升。

minGRU

首先我们来看下Bengio团队对GRU的处理,即minGRU,总共分为2步。

第一步,去除之前隐藏状态的依赖。

在传统的GRU模型中,更新门zt和候选隐藏状态h~t的计算依赖于前一时刻的隐藏状态 ht-1。这导致模型在训练时无法实现并行处理,因为每个时间步的计算都依赖于前一个时间步的结果。

为了解决这个问题,minGRU对GRU进行了修改,使更新门和候选隐藏状态的计算仅依赖于当前时刻的输入xt,而不依赖于ht-1:



通过这种方式,minGRU的每一时刻的计算可以独立于其他时刻并行执行。

第二步,去除候选状态的范围限制。

在第一步中,候选隐藏状态h~t仍然使用双曲正切函数(tanh)来限制其值的范围在 [−1,1][−1,1] 之间。虽然这有助于模型的稳定性,但它并不是并行化所必需的。

minGRU进一步简化模型,去除了对h~t的范围限制,将其替换为一个无需激活函数的线性变换:



这样,候选隐藏状态的计算变得更加简单,并且没有任何范围限制。

在这种结构下,minGRU不仅减少了模型参数,而且可以利用并行扫描算法在训练时实现并行化,从而显著提高了处理长序列的速度。

此外,minGRU的输出尺度在时间上是独立的,这有助于优化过程中的数值稳定性。整体变化如下:



minLSTM

接下来,我们再来看下Bengio团队对LSTM的处理,即minLSTM,共分为三步。

第一步,去除之前隐藏状态的依赖。

在传统的LSTM模型中,遗忘门ft、输入门it和候选细胞状态c~t的计算依赖于前一时刻的隐藏状态ht-1。

这导致模型在训练时无法实现并行处理,因为每个时间步的计算都依赖于前一个时间步的结果。

为了解决这个问题,minLSTM对LSTM进行了修改,使遗忘门、输入门和候选细胞状态的计算仅依赖于当前时刻的输入xt,而不依赖于ht-1:



通过这种方式,minLSTM的每一时刻的计算可以独立于其他时刻并行执行。

第二步,去除候选状态的范围限制。

在第一步中,候选细胞状态c~t仍然使用双曲正切函数(tanh)来限制其值的范围在 [−1,1][−1,1] 之间。虽然这有助于模型的稳定性,但它并不是并行化所必需的。

minLSTM进一步简化模型,去除了对c~t的范围限制,将其替换为一个无需激活函数的线性变换:



这样,候选细胞状态的计算变得更加简单,并且没有任何范围限制。

第三步,确保输出在时间上是独立的。

在许多序列建模设置中(例如文本生成),优化目标/输出在时间上是独立的。

为了确保LSTM的输出在时间上是独立的,minLSTM对遗忘门和输入门进行了归一化,确保它们的和为1,并且细胞状态的尺度在时间上是独立的:



通过这种方式,minLSTM确保了其输出在时间上是独立的,这有助于优化过程中的数值稳定性。

minLSTM的最终形式为:



Were RNNs All We Needed?

在精简了RNN们之后,Bengio团队也展示了实验结果。

例如下图显示了minGRU、minLSTM和Mamba模型在训练效率方面的比较,具体包括训练运行时间、加速比和内存占用。

这些指标是在T4 GPU上,以64的批次大小进行测量的:



以及在下图中,还展示了在Shakespeare语言建模任务中,不同模型的学习曲线。

这个任务使用字符级生成对抗训练,目的是评估模型在文本生成任务中的表现,简化RNN模型在处理语言建模任务时具有较好的有效性和高效率(特别是在需要快速训练和部署的应用场景中):



总而言之,Bengio团队认为,经过简化的RNN可能仍然是处理长序列任务的理想选择,尤其是在资源有限的场景下,因此也提出了问题 “Were RNNs All We Needed?”

华人一作

在这项研究中,作者除了Bengio之外,还有一点值得关注,那便是一作是一位华人,Leo Feng



从公开的个人网站来看,Leo Feng师从Bengio,目前是蒙特利尔大学的博士生,目前正在Borealis AI进行研究实习。

Leo Feng的研究范围包括元学习和高效模型的设计,其本科毕业于牛津大学。

那么你觉得精简版RNN这项研究如何?欢迎在评论区留言讨论。

论文地址:
https://arxiv.org/abs/2410.01201

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

Felix Hill临终信公开:耗时18个月写完,AI天才的挣扎与告别

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
王中磊儿子晒北京别墅,一家4口吃剩菜显朴素,姐姐首度出镜坐C位

王中磊儿子晒北京别墅,一家4口吃剩菜显朴素,姐姐首度出镜坐C位

老鹈爱历史
2025-01-06 11:20:35
看了山西逆转30分击溃新疆的第四节,才知道,广厦为何要签下博班

看了山西逆转30分击溃新疆的第四节,才知道,广厦为何要签下博班

后仰大风车
2025-01-06 09:25:03
25款腾势D9重磅上市,树立MPV新标杆

25款腾势D9重磅上市,树立MPV新标杆

小磊侃侃车
2024-12-30 08:40:54
打破30000分纪录有多难?库里还差5729分,现役这2人有希望

打破30000分纪录有多难?库里还差5729分,现役这2人有希望

大西体育
2025-01-06 15:28:10
崽卖爷田心不疼!废品站出现很多“宝贝”,都是年轻人处理掉的

崽卖爷田心不疼!废品站出现很多“宝贝”,都是年轻人处理掉的

收藏大视界
2025-01-05 17:53:03
赵丽颖晒与林更新张碧晨聚餐照,林更新红了眼眶 网友:家属感太强

赵丽颖晒与林更新张碧晨聚餐照,林更新红了眼眶 网友:家属感太强

小咪侃娱圈
2025-01-06 08:59:01
反转!演员王星进入园区是假消息!业内斥徐大久胡说,曝光实情!

反转!演员王星进入园区是假消息!业内斥徐大久胡说,曝光实情!

古希腊掌管月桂的神
2025-01-06 13:50:58
男子3500元“实体娃娃”4天就玩坏了,店家:你这也太能折腾了!

男子3500元“实体娃娃”4天就玩坏了,店家:你这也太能折腾了!

猫小狸同学
2024-12-13 15:50:03
马斯克突然翻脸:你不适合当领导

马斯克突然翻脸:你不适合当领导

观察者网
2025-01-06 14:18:29
“特鲁多最快今天辞职,明白已无路可走”

“特鲁多最快今天辞职,明白已无路可走”

观察者网
2025-01-06 11:59:09
日本五年内从中国进口 3 万吨落叶,差点毁掉中国的一项百年工程

日本五年内从中国进口 3 万吨落叶,差点毁掉中国的一项百年工程

流苏晚晴
2025-01-03 19:12:11
胡明轩提前复出+超级外援即将加盟!春风擂战鼓,广东当为冠军拼

胡明轩提前复出+超级外援即将加盟!春风擂战鼓,广东当为冠军拼

晓徙历史
2025-01-06 13:53:34
布林肯刚落地首尔,尹锡悦重获自由,局势逆转,李在明下场如何?

布林肯刚落地首尔,尹锡悦重获自由,局势逆转,李在明下场如何?

手工制作阿歼
2025-01-06 11:49:39
又双叒叕有阿冷,晴天还能留住吗?

又双叒叕有阿冷,晴天还能留住吗?

广东天气
2025-01-06 14:28:37
尴尬!支持尹锡悦的民众围攻谩骂中文记者,推搡到很远的地方

尴尬!支持尹锡悦的民众围攻谩骂中文记者,推搡到很远的地方

大风文字
2025-01-05 12:55:54
央妈出手降准降息!1月6日,今日凌晨的三大消息持续发酵!

央妈出手降准降息!1月6日,今日凌晨的三大消息持续发酵!

风口招财猪
2025-01-06 07:35:28
总决赛预演?雷霆逆转绿军豪取15连胜,一战让人产生3点感慨!

总决赛预演?雷霆逆转绿军豪取15连胜,一战让人产生3点感慨!

田先生篮球
2025-01-06 09:45:34
中国的努力,付之东流!沙伊大和解失败,沙特还转身咬了中国一口

中国的努力,付之东流!沙伊大和解失败,沙特还转身咬了中国一口

利刃号
2025-01-06 11:08:03
炸裂!澳洲空姐在斐济中转站遭轮奸,直言:力气很大,毫无快感可言

炸裂!澳洲空姐在斐济中转站遭轮奸,直言:力气很大,毫无快感可言

鋭娱之乐
2025-01-05 14:54:13
网友:感动所有人!男子当兵18年退伍,妻子领着他在小区走了一圈

网友:感动所有人!男子当兵18年退伍,妻子领着他在小区走了一圈

火山诗话
2025-01-06 06:55:57
2025-01-06 15:51:00
量子位 incentive-icons
量子位
追踪人工智能动态
9876文章数 175833关注度
往期回顾 全部

科技要闻

国内至少50团队研发AI眼镜 但无核心卖点

头条要闻

德外长访叙被指遭"双重蔑视":被拒握手 照片遭模糊化

体育要闻

利物浦太子公开反了!心已飞皇马 球迷:快滚

娱乐要闻

突发!演员星星泰国试戏失踪,曾发求救

财经要闻

2025年货币政策走向定了!

汽车要闻

10万元级无图智驾 悦也PLUS全路况实测

态度原创

数码
艺术
家居
时尚
手机

数码要闻

三星在CES 2025推出新款生活方式电视:The Frame/Pro

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

家居要闻

奶油空间 自然晋开四季城

中年女人冬季要会穿搭,用这些单品塑造简约美,优雅高级又耐看

手机要闻

真我Neo7不良人限定版正式发布,售价2899元!