网易首页 > 网易号 > 正文 申请入驻

一文看懂循环神经网络-RNN(独特价值+优化算法+实际应用)

0
分享至

卷积神经网络 – CNN 已经很强大的,为什么还需要RNN?本文会用通俗易懂的方式来解释 RNN 的独特价值——处理序列数据。同时还会说明 RNN 的一些缺陷和它的变种算法。最后给大家介绍一下 RNN 的实际应用价值和使用场景。

为什么需要 RNN ?独特价值是什么?

卷积神经网络 – CNN 和普通的算法大部分都是输入和输出的一一对应,也就是一个输入得到一个输出。不同的输入之间是没有联系的。

但是在某些场景中,一个输入就不够了!

为了填好下面的空,取前面任何一个词都不合适,我们不但需要知道前面所有的词,还需要知道词之间的顺序。

这种需要处理「序列数据 – 一串相互依赖的数据流」的场景就需要使用 RNN 来解决了。

典型的集中序列数据:

文章里的文字内容语音里的音频内容股票市场中的价格走势……RNN 之所以能够有效的处理序列数据,主要是基于他的比较特殊的运行原理。下面给大家介绍一下 RNN 的基本运行原理。

RNN 的基本原理

传统神经网络的结构比较简单:输入层 – 隐藏层 – 输出层。如下图所示:

RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果,带到下一次的隐藏层中,一起训练。如下图所示:

下面用一个具体的案例来看看 RNN 是如何工作的:

假如需要判断用户的说话意图(问天气、问时间、设置闹钟…),用户说了一句“what time is it?”我们需要先对这句话进行分词:

然后按照顺序输入 RNN ,我们先将 “what”作为 RNN 的输入,得到输出「01」

然后,我们按照顺序,将“time”输入到 RNN 网络,得到输出「02」。

这个过程我们可以看到,输入 “time” 的时候,前面 “what” 的输出也产生了影响(隐藏层中有一半是黑色的)。

以此类推,前面所有的输入都对未来的输出产生了影响,大家可以看到圆形隐藏层中包含了前面所有的颜色。如下图所示:

当我们判断意图的时候,只需要最后一层的输出「05」,如下图所示:

RNN 的缺点也比较明显

通过上面的例子,我们已经发现,短期的记忆影响较大(如橙色区域),但是长期的记忆影响就很小(如黑色和绿色区域),这就是 RNN 存在的短期记忆问题。

RNN 有短期记忆问题,无法处理很长的输入序列训练 RNN 需要投入极大的成本由于 RNN 的短期记忆问题,后来又出现了基于 RNN 的优化算法,下面给大家简单介绍一下。

RNN 的优化算法

RNN 到 LSTM – 长短期记忆网络

RNN 是一种死板的逻辑,越晚的输入影响越大,越早的输入影响越小,且无法改变这个逻辑。

LSTM 做的最大的改变就是打破了这个死板的逻辑,而改用了一套灵活了逻辑——只保留重要的信息。

简单说就是:抓重点!

举个例子,我们先快速的阅读下面这段话:

当我们快速阅读完之后,可能只会记住下面几个重点:

LSTM 类似上面的划重点,他可以保留较长序列数据中的「重要信息」,忽略不重要的信息。这样就解决了 RNN 短期记忆的问题。

具体技术上的实现原理就不在这里展开了,感兴趣的可以看看 LSTM 的详细介绍《 长短期记忆网络 – LSTM 》

从 LSTM 到 GRU

Gated Recurrent Unit – GRU 是 LSTM 的一个变体。他保留了 LSTM 划重点,遗忘不重要信息的特点,在long-term 传播的时候也不会被丢失。

GRU 主要是在 LSTM 的模型上做了一些简化和调整,在训练数据集比较大的情况下可以节省很多时间。

RNN 的应用和使用场景

只要涉及到序列数据的处理问题,都可以使用到,NLP 就是一个典型的应用场景。

文本生成:类似上面的填空题,给出前后文,然后预测空格中的词是什么。

机器翻译:翻译工作也是典型的序列问题,词的顺序直接影响了翻译的结果。

语音识别:根据输入音频判断对应的文字是什么。

生成图像描述:类似看图说话,给一张图,能够描述出图片中的内容。这个往往是 RNN 和 CNN 的结合。

视频标记:他将视频分解为图片,然后用图像描述来描述图片内容。

总结

RNN的独特价值在于:它能有效的处理序列数据。比如:文章内容、语音音频、股票价格走势…

之所以他能处理序列数据,是因为在序列中前面的输入也会影响到后面的输出,相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题,长期的数据影响很小(哪怕他是重要的信息)。

于是基于 RNN 出现了 LSTM 和 GRU 等变种算法。这些变种算法主要有几个特点:

长期信息可以有效的保留挑选重要信息保留,不重要的信息会选择“遗忘”RNN 几个典型的应用如下:

文本生成语音识别机器翻译生成图像描述视频标记

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

/阅读下一篇/

从国学大师到被北大学子赶下台,于丹经历了什么

返回网易首页 下载网易新闻客户端
相关推荐
热点推荐
六连胜5分领跑!南通2-1盐城 程鑫精彩抽射破门盐城首败仍居第2

六连胜5分领跑!南通2-1盐城 程鑫精彩抽射破门盐城首败仍居第2

直播吧
2025-07-19 21:43:15
时机已到,该收拾冯德莱恩了!中国一道禁令封锁,必须杀鸡儆猴

时机已到,该收拾冯德莱恩了!中国一道禁令封锁,必须杀鸡儆猴

视听故事局
2025-07-19 16:57:41
惊爆!叙利亚政府军血洗医院,以色列怒炸大马士革震惊世界!

惊爆!叙利亚政府军血洗医院,以色列怒炸大马士革震惊世界!

虎哥闲聊
2025-07-18 15:56:22
老干部是改革的最大阻力

老干部是改革的最大阻力

求实处
2025-07-20 00:59:18
男孩被塞后备箱后续!亲妈曝光与前公公聊天记录,毁三观

男孩被塞后备箱后续!亲妈曝光与前公公聊天记录,毁三观

魔都姐姐杂谈
2025-07-19 11:41:24
娃哈哈黑幕尾巴露出来了:国资股份长达24年未分红,某领导一年分红36万元

娃哈哈黑幕尾巴露出来了:国资股份长达24年未分红,某领导一年分红36万元

雪中风车
2025-07-19 19:15:49
网红女骑手车祸去世,年仅35岁!知情人:头盔没戴好

网红女骑手车祸去世,年仅35岁!知情人:头盔没戴好

扬子晚报
2025-07-19 20:28:22
跌惨了!单价从22000元到5700元,南京一楼盘沦落到2折销售…

跌惨了!单价从22000元到5700元,南京一楼盘沦落到2折销售…

火山诗话
2025-07-19 18:34:40
中国女篮输球主因:三分6-16外线狂输30分 宫鲁鸣大练三分成空谈

中国女篮输球主因:三分6-16外线狂输30分 宫鲁鸣大练三分成空谈

醉卧浮生
2025-07-19 21:42:01
输日本发布会!宫鲁鸣直指双塔防守问题,韩旭自责将争取海外机会

输日本发布会!宫鲁鸣直指双塔防守问题,韩旭自责将争取海外机会

篮球资讯达人
2025-07-19 22:04:40
7月19日特讯!台岛周边67舰机包围,发生激烈对峙,台当局慌了

7月19日特讯!台岛周边67舰机包围,发生激烈对峙,台当局慌了

智观科技
2025-07-19 10:50:09
《你行!你上!》首映口碑崩塌,各种理由出奇一致:挂羊头卖狗肉

《你行!你上!》首映口碑崩塌,各种理由出奇一致:挂羊头卖狗肉

洲洲影视娱评
2025-07-19 19:14:11
自责!韩旭19中7后,泪洒发布会现场,亲承会争取海外打球机会!

自责!韩旭19中7后,泪洒发布会现场,亲承会争取海外打球机会!

篮球资讯达人
2025-07-19 21:49:51
水质恢复之后不少市民用纱布测试,放几小时后纱布依旧变黑

水质恢复之后不少市民用纱布测试,放几小时后纱布依旧变黑

映射生活的身影
2025-07-19 18:43:38
宗庆后家族内讧升级!宗馥莉霸气反击,更换包装,一语双关情商高

宗庆后家族内讧升级!宗馥莉霸气反击,更换包装,一语双关情商高

180视角
2025-07-18 08:42:15
印度的噩梦来了,建雅鲁藏布江电站开建,相当于3个三峡

印度的噩梦来了,建雅鲁藏布江电站开建,相当于3个三峡

影孖看世界
2025-07-19 23:07:55
103岁奶奶还在世,是第一位继承人!杜建英鱼死网破目的逐渐清晰

103岁奶奶还在世,是第一位继承人!杜建英鱼死网破目的逐渐清晰

大鱼简科
2025-07-19 21:35:08
17秒4枚钻地弹!以色列“斩首”大马士革,朱拉尼24小时从胜到败

17秒4枚钻地弹!以色列“斩首”大马士革,朱拉尼24小时从胜到败

流年拾光
2025-07-19 17:39:18
已证实!他被撕票,年仅24岁

已证实!他被撕票,年仅24岁

昆明信息港
2025-07-19 18:36:54
炸裂!杜建英被曝脚踩两条船,旧照曝光,与原配从未离婚育有一子

炸裂!杜建英被曝脚踩两条船,旧照曝光,与原配从未离婚育有一子

吭哧有力
2025-07-19 16:23:44
2025-07-20 05:19:00
亮哥谈科技
亮哥谈科技
亮哥带你了解最新科技资讯
1604文章数 1254关注度
往期回顾 全部

科技要闻

工信部等约谈17家车企巨头,竞争划新红线

头条要闻

缅甸园区老板送回19岁高考生:你前途光明 不该留在这

头条要闻

缅甸园区老板送回19岁高考生:你前途光明 不该留在这

体育要闻

女篮无缘亚洲杯决赛 韩旭泪洒发布会

娱乐要闻

肖战微博改名:去掉X玖少年团头衔

财经要闻

娃哈哈争产大战:杜建英的进击

汽车要闻

中汽中心新能源检验中心焕新发布"汽车行车控制安全技术验证VCTA"

态度原创

教育
时尚
数码
手机
游戏

教育要闻

选科不是选专业,是选命运的牌面

随手拍也能美上热搜,这个穿搭真的自带美女氛围

数码要闻

三星Galaxy Buds 3 FE渲染图曝光 黑牌配色新增AI功能

手机要闻

小米16系列独占9月:骁龙8 Elite2+多款版本,友商或晚一步!

LPL第三阶段:宇智波柴,摧毁極影村!TES三局击溃IG!