当前位置: 首页>> 蚁坊指数 >>正文
深度学习-循环神经网络RNN
2020-02-25 11:05:00 作者:蚁坊软件研究院 浏览次数:226 标签: 深度学习算法

循环神经网络(RNN)是一种特殊的网络结构,特殊在于同一隐藏层的节点之间是有连接的。还有个最大的特点是在于将时间序列思想引入到神经网络构建中,通过时间关系不断加强数据间的影响关系。结合过去的经验记忆和现正在学习的知识,融合贯通得到现在的认知。也就是说RNN模型不仅考虑到当前的输入,还赋予网络对过去的记忆,并且隐藏层的输入不仅包括当前时刻的输入,还需要加入上一时刻隐藏层的输出。

0 循环神经网络的主要学习内容

1)循环神经网络的基本结构

2)循环神经网络的改进结构

3)循环神经网络的应用

1循环神经网络的基本结构

RNN可有多个隐藏层,隐藏层可不断的循环和递归信息。例如,在双层循环神经网络中,数据进入第一隐藏层得到的输出以一定的权重进入第二隐藏层,然后最后一层的输出反过来通过损失函数,反向调整各层的连接权重,利用梯度下降方法寻找最优化参数。

RNN网络结构大致是由输入层、隐藏层、输出层构成。如图1.1所示:

虽然RNN可以处理序列信息,但比较偏向最后输入的信息,这使得较早留下的信息越来越少,甚至丢失。同时在网络训练过程中,梯度也会随着时序(链式法则求导)逐渐消失,也就是我们常说的梯度消失或爆炸。

对于这一问题,目前主要采用的解决方案有:

1)避免使用极大或极小值来初始化权重。

2)改进RNN结构,使得它能够很好的处理长时间的记忆问题,如今对此处理效果好的结构有LSTM(长短期记忆网络)和GRU(门控循环单元)。

1.1 LSTM网络结构

LSTM是RNN的改进。在传统的RNN结构中,隐藏层每个神经元(也称记忆细胞)只包含一个简单激活函数,而LSTM在细胞中构建了四层网络结构,5个激活函数。如图1.2所示,它克服了原始RNN的不足,可通过门控机制回忆过去,并且有选择性的忘记一些不重要的信息来解决学习长期依赖关系。

LSTM主要是通过遗忘门、输入门、输出门和细胞状态来控制信息的传递。遗忘门可以理解为一种选择性忘记策略,它控制了上一时刻有多少信息流入当前时刻。输入门决定了当前的输入有多少进入细胞单元,输出门控制当前细胞单元流向下一时刻的内容有多少。细胞状态类似一个传送带,在整个链上运行,存在一些线性关系,信息容易流传。

1.2 GRU网络结构

LSTM内部结构比较复杂,因此就衍生了简化版GRU。

GRU可看成是LSTM的改进,将遗忘门和输入门合并成为一个单一的更新门,同时合并了LSTM中原有的细胞更新状态和输出状态,结构比LSTM更简单,运行速度要更快。在实际运用方面,效果能够与LSTM媲美,甚至更好。

1.3 Bi-LSTM网络结构

Bi-LSTM又称双向长短期记忆网络,是结合正反两个方向的LSTM网络。LSTM擅长处理连续数据,若是单向的LSTM,就只能学习一个方向的规律,而Bi-LSTM不仅可以学习它的正向规律,还可以学习反向规律[50]。文本、语句等包含博大精深的信息,正向理解与反向理解也许是不同的句意,故使用正反两向相结合的LSTM网络会比单向LSTM网络有更高的拟合度。

2 RNN参数更新

RNN模型有比较多的变种,这里介绍最主流的RNN模型结构如下:

上图中左边是RNN模型没有按时间展开的图,如果按时间序列展开,则是上图中的右边部分。我们重点观察右边部分的图。

2.1 前向传播算法

有了上面的模型,RNN的前向传播算法就很容易得到了。

2.2 反向传播算法

有了RNN前向传播算法的基础,就容易推导出RNN反向传播算法的流程了。RNN反向传播算法的思路和DNN是一样的,即通过梯度下降法一轮轮的迭代,得到合适的RNN模型参数U,W,V,b,c。由于我们是基于时间反向传播,所以RNN的反向传播有时也叫做BPTT。当然这里的BPTT和DNN也有很大的不同点,即这里所有的U,W,V,b,c在序列的各个位置是共享的,反向传播时我们更新的是相同的参数。

3 循环神经网络的优缺点

单纯的循环神经网络具有梯度消失或爆炸问题,当序列很长的时候问题尤其严重,故一般不能直接用于应用领域。LSTM和GRU是RNN的改进版,能够较大的改善梯度消失等问题,能够很好地训练序列数据。但由于序列数据是逐步加入,不能并行运算,故训练速度相比CNN要慢很多,要求运行环境的配置较高。

4 循环神经网络的应用

注意这里所说的循环神经网络是长短期记忆网络LSTM和门控单元网络GRU,它们常用于:

1)文本分类

2)语言识别

3)时间序列

4)文本生成

参考文献

[1] https://www.cnblogs.com/pinard/p/6509630.html

[2] https://blog.csdn.net/qq_23348071/article/details/89073519

[3] https://www.cnblogs.com/arachis/p/RNN.html

[4] https://www.cnblogs.com/pinard/p/6519110.html

[5] https://www.jianshu.com/p/87aa03352eb9


(部分文字、图片来自网络,如涉及侵权,请及时与我们联系,我们会在第一时间删除或处理侵权内容。电话:4006770986  邮箱:zhangming [at]eefung.com  负责人:张明)

热门文章
文章推荐
舆情监测关注问题换一换
标签云 换一换
舆情监测软件排名 抗疫英雄事迹舆情 虚假新闻 什么是舆情 舆情传播 舆情分析研判 互联网舆情 网络舆情网 如何网络舆情 2020年舆情报告 2020年舆情 社交媒体舆情 疫情舆情 医院舆情 舆论风险防范 热点监测 舆论监测软件 深度学习算法 机器学习 网络在线教学舆情 抗击疫情 疫情舆情分析 舆论分析 舆情公关 财经金融舆情监测 舆情事件 舆情案例 舆情系统 虐童事件 免费舆情监测软件 反转新闻 免费大数据平台有哪些 在线舆情监测 舆情监测哪家好 舆情监测方法 舆情监测报价 做好舆情监控 网红 微舆情 微博传播分析 舆情监测工具 传播路径分析 网红直播 舆情预警系统 近期舆情 手机舆情监测 全网舆情监测 新浪舆情 舆情搜索 网络热点事件 新华舆情 2019网络热词 网络流行语 在线监测软件 大数据分析工具 百度舆情监测 舆情监控前几大公司 数据分析软件有哪些 企业危机管理 315 网络舆情危机 网络舆情监测公司 中国食品药品安全舆情事件案例 社交新全媒体监测系统工具平台公司 网信办信息汇总 危机公关 政府舆情 舆情监测预警 舆情监测解决方案 互联网舆情监控系统 网络舆论监测 网络舆情分析系统 互联网舆情分析 舆情是什么意思 德云社 网络舆论分析 大数据舆情监测案例 互联网舆情监测平台 政府舆情监测系统 互联网舆情监测系统哪家好 网络社会热点舆情分析系统 舆情信息收集 假期舆情 媒体监测 数据监测 谣言传播 新闻舆情 舆情查询 舆情预警 网络热词 地方舆情 社会事件舆情分析 微博数据分析 地震舆情 民生舆情 舆情风险监测 高考舆情 政府舆情监测 舆情监测方案 舆情案例分析 网红舆情 舆情监测公司 2019舆情热点 舆情监测软件 舆情监测 社会舆论热点 犯罪舆情 科技舆情 股票舆情 月度舆情分析 消防舆情 舆情信息分析 航空舆情 微信舆情监测 民航舆情 舆情数据分析 消费舆情 环境舆情 人物舆情 公益舆情 食品舆情 新媒体舆情 新媒体舆情监测 感动中国 学校舆情 舆情监测平台 大数据舆情 大数据舆情分析 影视舆情 舆论监督 2019舆情 网络舆情监测 2018舆情事件盘点 2018舆情报告 舆情监测服务商 免费舆情监测系统 舆情报告 负面舆情 舆情分析 舆情研判 舆论监测 校园舆情 舆情热点事件 公共事件舆情 雾霾舆情 蚁坊软件 高校舆情 港澳台舆情 媒体舆情 涉军舆情 涉法舆情 拆迁舆情 网络舆情 舆情反转 旅游舆情 反腐舆情 海外舆情 信息惠民 灾害舆情 应急管理 智慧城市 体育舆情 景区舆情 媒体舆论 娱乐舆情 检察舆情 舆情管理 政务舆情 税务舆情 强拆舆情 司法舆情 舆情研究 交通舆情 企业舆情 法院舆情 舆情指数 政策舆情 舆情汇总 会议舆情 医疗舆情 环保舆情 涉警舆情 明星舆情 社会舆情 教育舆情