当前位置: 首页>> 舆情简评 >>正文

深度学习-循环神经网络RNN

2020-02-25 11:05 作者:蚁坊软件研究院 浏览次数:4303 标签: 深度学习算法
"速读全网"舆情,了解传播路径,把握发展态势——点击试用鹰眼速读网全网舆情监测分析系统

循环神经网络(RNN)是一种特殊的网络结构,特殊在于同一隐藏层的节点之间是有连接的。还有个最大的特点是在于将时间序列思想引入到神经网络构建中,通过时间关系不断加强数据间的影响关系。结合过去的经验记忆和现正在学习的知识,融合贯通得到现在的认知。也就是说RNN模型不仅考虑到当前的输入,还赋予网络对过去的记忆,并且隐藏层的输入不仅包括当前时刻的输入,还需要加入上一时刻隐藏层的输出。

0 循环神经网络的主要学习内容

1)循环神经网络的基本结构

2)循环神经网络的改进结构

3)循环神经网络的应用

1循环神经网络的基本结构

RNN可有多个隐藏层,隐藏层可不断的循环和递归信息。例如,在双层循环神经网络中,数据进入第一隐藏层得到的输出以一定的权重进入第二隐藏层,然后最后一层的输出反过来通过损失函数,反向调整各层的连接权重,利用梯度下降方法寻找最优化参数。

RNN网络结构大致是由输入层、隐藏层、输出层构成。如图1.1所示:

虽然RNN可以处理序列信息,但比较偏向最后输入的信息,这使得较早留下的信息越来越少,甚至丢失。同时在网络训练过程中,梯度也会随着时序(链式法则求导)逐渐消失,也就是我们常说的梯度消失或爆炸。

对于这一问题,目前主要采用的解决方案有:

1)避免使用极大或极小值来初始化权重。

2)改进RNN结构,使得它能够很好的处理长时间的记忆问题,如今对此处理效果好的结构有LSTM(长短期记忆网络)和GRU(门控循环单元)。

1.1 LSTM网络结构

LSTM是RNN的改进。在传统的RNN结构中,隐藏层每个神经元(也称记忆细胞)只包含一个简单激活函数,而LSTM在细胞中构建了四层网络结构,5个激活函数。如图1.2所示,它克服了原始RNN的不足,可通过门控机制回忆过去,并且有选择性的忘记一些不重要的信息来解决学习长期依赖关系。

LSTM主要是通过遗忘门、输入门、输出门和细胞状态来控制信息的传递。遗忘门可以理解为一种选择性忘记策略,它控制了上一时刻有多少信息流入当前时刻。输入门决定了当前的输入有多少进入细胞单元,输出门控制当前细胞单元流向下一时刻的内容有多少。细胞状态类似一个传送带,在整个链上运行,存在一些线性关系,信息容易流传。

1.2 GRU网络结构

LSTM内部结构比较复杂,因此就衍生了简化版GRU。

GRU可看成是LSTM的改进,将遗忘门和输入门合并成为一个单一的更新门,同时合并了LSTM中原有的细胞更新状态和输出状态,结构比LSTM更简单,运行速度要更快。在实际运用方面,效果能够与LSTM媲美,甚至更好。

1.3 Bi-LSTM网络结构

Bi-LSTM又称双向长短期记忆网络,是结合正反两个方向的LSTM网络。LSTM擅长处理连续数据,若是单向的LSTM,就只能学习一个方向的规律,而Bi-LSTM不仅可以学习它的正向规律,还可以学习反向规律[50]。文本、语句等包含博大精深的信息,正向理解与反向理解也许是不同的句意,故使用正反两向相结合的LSTM网络会比单向LSTM网络有更高的拟合度。

2 RNN参数更新

RNN模型有比较多的变种,这里介绍最主流的RNN模型结构如下:

上图中左边是RNN模型没有按时间展开的图,如果按时间序列展开,则是上图中的右边部分。我们重点观察右边部分的图。

2.1 前向传播算法

有了上面的模型,RNN的前向传播算法就很容易得到了。

2.2 反向传播算法

有了RNN前向传播算法的基础,就容易推导出RNN反向传播算法的流程了。RNN反向传播算法的思路和DNN是一样的,即通过梯度下降法一轮轮的迭代,得到合适的RNN模型参数U,W,V,b,c。由于我们是基于时间反向传播,所以RNN的反向传播有时也叫做BPTT。当然这里的BPTT和DNN也有很大的不同点,即这里所有的U,W,V,b,c在序列的各个位置是共享的,反向传播时我们更新的是相同的参数。

3 循环神经网络的优缺点

单纯的循环神经网络具有梯度消失或爆炸问题,当序列很长的时候问题尤其严重,故一般不能直接用于应用领域。LSTM和GRU是RNN的改进版,能够较大的改善梯度消失等问题,能够很好地训练序列数据。但由于序列数据是逐步加入,不能并行运算,故训练速度相比CNN要慢很多,要求运行环境的配置较高。

4 循环神经网络的应用

注意这里所说的循环神经网络是长短期记忆网络LSTM和门控单元网络GRU,它们常用于:

1)文本分类

2)语言识别

3)时间序列

4)文本生成

参考文献

[1] https://www.cnblogs.com/pinard/p/6509630.html

[2] https://blog.csdn.net/qq_23348071/article/details/89073519

[3] https://www.cnblogs.com/arachis/p/RNN.html

[4] https://www.cnblogs.com/pinard/p/6519110.html

[5] https://www.jianshu.com/p/87aa03352eb9


(部分文字、图片来自网络,如涉及侵权,请及时与我们联系,我们会在第一时间删除或处理侵权内容。电话:4006770986  邮箱:zhangming [at]eefung.com  负责人:张明)

热门文章 换一换
文章推荐换一换
舆情监测关注问题换一换
舆情监测公司排名 舆情分析 舆情管理 舆情监测系统 全网舆情监测系统 舆情监测 舆论 舆情监测平台 互联网舆情监测 舆情监控系统 舆情监测服务平台 热点舆情 网络舆情分析报告 舆论聚焦 中山大学张鹏 超强台风山竹 个人所得税起征点 微博传播分析 网红直播 手机舆情监测 做好舆情监控 舆情监测报价 网络热点事件 舆情搜索 舆情预警系统 近期舆情 舆情报告 舆情 免费舆情软件 舆情监测方案 舆情监测解决方案 舆情是什么意思 网络舆情监测 舆情案例分析 专业舆情监测 媒体舆情监测 药品安全事件 长春长生疫苗事件 洁洁良 乐清女孩 新浪微舆情 网络舆情分析报告 2019网络舆情事件 山东寿光水灾 社会舆情 舆情监测哪家好 舆情监测方法 舆情监测报价 新浪舆情 手机舆情监测 近期舆情 网红直播 舆情事件 免费舆情监测软件 社会舆情 网络舆情监测系统 舆情监测报告 舆情监测软件 网络舆情监测公司 互联网舆情监测系统 舆情监测分析 舆情监控前几大公司 网络舆情监控软件 网络舆情监控系统 舆情监控是什么意思 免费舆情监控 互联网舆情监控系统 网络舆情分析 舆情 政务舆情 什么是舆情 新华网舆情在线 舆情监控系统 互联网舆情分析 社区舆情信息 网络舆情信息 网络舆情分析系统 网络舆情管理 人民舆情监控 军犬网络舆情监控系统 舆情监控 涉警舆情 鹰击 鹰眼舆情
标签云 换一换
信息挖掘 舆情信息收集 地方舆情 属地舆情监测 如何网络舆情 舆情监测 政务舆情 舆情舆论汇总 新闻舆情 民生舆情 社会舆情 市场监管 舆情周报 近期舆情 舆情事件 涉警舆情 网络舆情监测系统 网络舆情监测 涉法舆情 检察舆情 互联网舆情监测平台 网络热点事件 社会舆论热点 舆情汇总 教育舆情 医疗舆情 金融舆情 金融监督管理局 财经金融舆情监测 行业舆情 互联网舆情监测 舆情监测方案 危机公关 新媒体舆情 政府舆情 政府舆情监测 开源情报工具 舆情系统 舆情告警 突发公共事件 应急舆情 假期舆情 灾害舆情 应急管理 舆情报告 舆情分析 旅游舆情 景区舆情 智慧城市 交通舆情 舆情管理 舆情预警 舆论监测 舆情案例 免费大数据平台有哪些 数据分析软件有哪些 数据监测 舆情查询 网信办信息汇总 舆情研究 舆情平台 短视频 视频舆情监测 舆情监测哪家好 热点监测 舆情热点事件 舆情研判 舆情风险 网络舆情 消费舆情 舆情监测系统 网络舆情网 舆情监测报价 农村舆情 乡镇舆情 舆论风险防范 税务舆情 舆情处置 学校舆情 校园舆情 互联网舆情监测系统 互联网舆情 舆情监测解决方案 全网舆情监测 舆情风险监测 舆情数据分析 舆情监测预警 生态环境舆情 舆情搜索 负面舆情 消防救援舆情 政策舆情 舆情案例分析 地震舆情 娱乐舆情 高校舆情 谣言传播 电力舆情 明星舆情 辖区舆情监测 新媒体舆情监测 疫情舆情 自媒体舆情监测 舆情监控前几大公司 社交新全媒体监测系统工具平台公司 网络综合治理 舆情分析研判 法治舆情 司法舆情 法院舆情 网红舆情 23年舆情报告 网络舆情分析系统 舆情应对 老年人保护舆情 医院舆情 网络安全 公安舆情监测分析 公安类舆情 网络意识形态 网络舆情治理 网上舆情 网红直播 在线舆情监测 能源舆情 舆情信息分析 妇女儿童舆情 涉毒舆情 科技舆情 鹰眼速读网 鹰击早发现 食品舆情 监狱舆情舆论 互联网舆情监测系统哪家好 大数据分析工具 企业舆情 大数据舆情监测 舆情传播 做好舆情监控 安全生产 网络社会热点舆情分析系统 政府舆情监测系统 2023年舆情分析报告 互联网舆情分析 大数据舆情分析 媒体舆情 媒体舆论 网络在线教学舆情 烟草舆情舆论 会议舆情 大数据舆情 网络舆论监测 舆情监测方法 舆情预警系统 媒体监测 环境舆情 公共事件舆情 舆情态势 舆论态势 舆论趋势 农业舆情 新闻舆论阵地管理 自媒体传播 自媒体乱象 女权舆论 性别矛盾 民族宗教舆情 宗教舆情 网络传播规律 银行舆情 舆情治理 互联网舆情治理 2022年舆情报告 未成年人舆情 舆情引导 舆情日报 两会舆情 审计局 舆情回应 舆论失焦 政法舆情 网络实名制 舆情监督 奥运会 涉稳舆情 疫情搜索大数据 铁路舆情 舆论知识点 新闻传播理论 新疆棉花 社会情绪指数 正面舆情 网络暴力 社会性死亡 辟谣 涉犬舆情 事件过程 鹰眼舆情 鹰击 清博大数据舆情 蚁坊 舆情格式 疫情舆情分析报告 舆情监测软件排名 抗疫英雄事迹舆情 虚假新闻 什么是舆情 2020年舆情报告 2020年舆情 社交媒体舆情 舆论监测软件 深度学习算法 机器学习 抗击疫情 疫情舆情分析 舆论分析 舆情公关 虐童事件 免费舆情监测软件 反转新闻 网红 微舆情 微博传播分析 舆情监测工具 传播路径分析 手机舆情监测 新浪舆情 新华舆情 2019网络热词 网络流行语 在线监测软件 百度舆情监测 企业危机管理 315 网络舆情危机 网络舆情监测公司 中国食品药品安全舆情事件案例 互联网舆情监控系统 舆情是什么意思 德云社 网络舆论分析 大数据舆情监测案例 网络热词 社会事件舆情分析 微博数据分析 高考舆情 舆情监测公司 2019舆情热点 舆情监测软件 犯罪舆情 股票舆情 月度舆情分析 消防舆情 航空舆情 微信舆情监测 民航舆情 人物舆情 公益舆情 感动中国 舆情监测平台 影视舆情 舆论监督 2019舆情 2018舆情事件盘点 2018舆情报告 舆情监测服务商 免费舆情监测系统 雾霾舆情 蚁坊软件 港澳台舆情 涉军舆情 拆迁舆情 舆情反转 反腐舆情 海外舆情 信息惠民 体育舆情 强拆舆情 舆情指数 环保舆情