会考成绩查询,RNN神经网络长时间依靠问题及其优化,腐乳扣肉

频道:欧洲科技 日期: 浏览:167

目录:

  • 常用的循环神经网络结构
  • 多青蒿素层循环神经网络
  • 双向循环神经网络
  • 递归神经网络
  • 长时间依托问题及其优化
  • 长时间依托问题
  • 长时间依托问题的优化
  • 参考文献

一、 常用的循环神经网络结构

前面的内容里咱们介绍了循环神经网络的根本结构,这一末节里咱们介绍几种更常用的循环神经网络的结构。

1. 多层循环神经网络

多层循环神经网络是最简略想到的一种变种结构,它的结构也很简略,便是在根本的循环神经网络的基础上增加了躲藏层的数量。


图1 多层循环神经网络结构


多层循环神经网络按时刻打开后,每一层的参数和根本的循环神经网络结构相同,参数同享,而不同层的参数则一般不会同享(能够类比CNN的网络结构)。和根本结构的循环神经网络比较,多层循环神经网络的泛化才能更强,不过练习的时刻复杂度和空间复杂度也更高。在TensherorFlow里,咱们能够凭借MultiRNNCell这个类来完成深度循环神经网络,下面咱们用一个详细的比如来演示TensorFlow中多层循环神经网络的完成。

示例:航班乘客人数猜测

本示例所运用的数据来自DataMarket:https://datamarket.com/da外蒲岛ta/set/22u3/international-airline-passengers-monthly-totals-in-thousands-jan-49-dec-60#!ds=22u3&display=line。该数据集包含了从1949年到1960年共144个月的乘客总人数的数据,每个月的乘客人数是一条记载,共144条记载。其间部分数据显现如下:



咱们将一切数据可视化显现会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉:


图2 数据可视化作用图


从可视化的作用能够看到数据的改动呈现周期性,关于RNN来说,学习这种很明显的序列联系并非难事。咱们界说一个多层循环神经网络(完好项目代码能够在本书配套的GitHub项目中找到):



在第1行代码中界说了一个办法用来回来单层的cell,在第6行代码中,咱们运用MultiRNNCell类生成了一个3层的循环神经网络。终究的猜测成果如下图左边所示:


图3 多层循环神经网络的猜测成果



上图烤冰脸的做法中,蓝色线条是原始数据,绿色线条是从原始数据中区分出来的测试数据,赤色线条是在测试数据上的猜测作用,左边是多层循环神经网络的猜测成果,右侧是单层循环神经网络的猜测成果(除网络层数不同外,其它参数均相同)。能够看到两个猜测成果都简直和实在数据重合,五行属木的字细心比较会发现,多层循环神经网络的拟合作用更好一些。

2. 双向循环神经网络自缚教程

无论是简略循环神经网络仍是深度循环神经网络[1],网cpu开盖是什么意思络中的状况都是跟着时刻向后传达的,可是实际中的许多问题,并不都是这种单向的时序联系。例如在做词性标示的时分,咱们需求结合这个词前后相邻的几个词才能对该词的词性做出判别,这种状况就需求双向循环神经网络来处理问题。


图4 双向循环神经网络结构


图片来源于http://www.wildml.com

双向循环神经网络能够简略的看成是两个单向循环神经网络的叠加,按时刻打开后,一个是从左到右,一个是从右到左。双向循环神经网络的核算与单向的循环神经网络相似,仅仅每个时刻的输出由上下两个循环神经网络的输出一起决议。双向循环神经网络也能够在深度上进行叠加:



图片来源于htt会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉p://www.wildml.com

鄙人南山一章的项目实战部分,咱们会运用TensorFlow来完成深度双向循环神经网络处理文本多分类问题,会结合代码来赏罚介会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉绍双向循我的好兄弟环神经网络。

3. 递归神经网络

递归神经网络[2](recursive neuralnetwork,RNN)是循环神经网络的又一个变种结构,看它们的称号缩写,很简略将两者混杂(一般咱们说的RNN均特指recurrent neural network,一起也不主张将recurrent neural network说成是递归神经网络。一般默许递归神经网络指的是recursive neural network,而循环神经网络指的是recurrentneural network)。咱们前面所介绍的循环神经网络是时刻上的递归神经网络,而这儿所说的递归神经网络是结构上的递归。递归神经网络相较于循环神经网络有它必定的优势,当然这个优势只适用于某些特定场合。现在递归神经网络在自然语言处理和核算机视觉范畴现已有所运用,并获得了必定的成功,可是因为其对输入数据的要求相对循环神经网络更为严苛,因而并没有被广泛的运用。


图6 递归神经网络结构示意图



二、 长时间依托问题及其优化

1. 长时间依托问题

什么是长时间依托?咱们知道循环神经网络具有回忆才能,凭着它的回忆才能,能够较好的处理一般的序列问题,这些序列问题的数据内部根本上都存在着必定的依托性,例如咱们虐腹仔微博在前面提到过的词性标示的问题以及咱们在演示项目里边人工结构的二进制数据。在有些实际问题中,会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉数据间的依托都是部分的、较短时刻距离的依托。会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉仍是以词性标示为例,判别一个词是动词仍是名词,女警妈妈或者是形容词之类,咱们往往只需求看一下这个词前后的两个或多个词就能够做出判别,这种依托联系在时刻上的跨度很小。


图7 时刻跨度较小的依托联系示意图



如上图所示,时刻网络的输出(上图中到是qq通讯录躲藏层的输出)除了与当时时刻的输入相关之外,还遭到和时刻网络的状况影响。像这种依托联系在时刻上的跨度较小的状况下,RNN根本能够较好地处理,但假如呈现了像图6-12所示的依托状况,就会呈现长时间依托问题:梯度消失和梯度爆破。


图8 时刻跨度较大的依托联系示意图



什么是梯度消失和梯度爆破?图9是一个较为形象的描绘,在深层的神经网络中,因为多个权重矩阵的相乘,会呈现许多如图所示的峻峭区域,当然也有或许会呈现许多十分平整的区域。在这些峻峭的当地,Loss吕蒙函数的倒数十分大,导致终究的梯度也很大,对参数进行更新后或许会导致参数的取值超出有用的取值规模,这种状况称之为梯度爆破。而在那些十分平整的当地,Loss的改动很小,这个时分梯度的值也会很小(或许趋近于0),导致参数的更新十分缓慢,乃至更新的方向都不清晰,这种状况称之为梯度消失。长时间依托问题的会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉存在会导致循环神经网络没有办法学习到时刻跨度较长的依托联系。

正如上面所说,长时间依托问题遍及存在于层数较深的神经网络之中,不只存在于循环神经网络中,在深层的前馈神经网络中也存在这一问题,但因为循环神经网络中循环结构的存在,导致这一问题尤为杰出,而在一般的前馈神经网络中,这一问题其实并不严峻。

值得注意的是,在第三章中介绍激活函数的时分睡觉磨牙咱们其实现已提到过梯度消失的问题,这是因为Sigmoid型的函数在其函数图画两头的倒数趋近于0,使得在运用BP算法进行参数更新的时分会呈现梯度趋近于0的状况。针对这种状况导致的梯度消失的问题,一种有用的办法是运用ReLU激活函数。可是因为本节所介绍的梯度消失的问题并不轮回是由激活函数引起的,因而运用ReLU激活函数也无法处理问题。如上会考成果查询,RNN神经网络长时间依托问题及其优化,腐乳扣肉图所示,咱们界说一个简化的循环神经网络,该网络中的一切激活函数均为线性的,除了在每个时刻步上同享的参数W以外,其它的权重矩阵均设为1,偏置项均设为0。假定输入的序列中除了的值为1以外,其它输入的值均为0,则依据前一篇解说RNN的原理内容,可g7126以知道:


公式1


终究能够得到,神经网络的输出是关于权重矩阵W的指数函数。当W的值大于1时,跟着n的增加,神经网络终究输出的值也成指数级增加,而当W的值小于1时,跟着n的值增加,神经网络终究的输出则会十分小。这两种成果分别是导致梯度爆破和梯度消失的根本原因。

从上面的比如能够看到,循环神经网络中梯度消失和梯度爆破问题发生的根本原因,是因为参数同享导致的。

2. 长时间依托问题的优化

关于梯度爆破的问题,一般来说比较简略处理。咱们能够用一个比较简略的办法叫做“梯度切断”,“梯度切断”的思路是设定一个阈值,当求得的梯度大于这个阈值的时分,就运用某种办法来进行干与,金海心近况然后减小梯度的改动。还有一种办法是给相关的参数增加正则化项,使得梯度处在一个较小的改动规模内。

梯度消失是循环神经网络面对的最大问题,相较于梯度爆破问题要更难处理。现在最有用的办法便是在模型上做一些改动,这便是咱们下一节要介绍的门控循环神经网络。本篇首要介绍了RNN的一些常用的循环网络结构,以及长时间问题和怎么优化。下一篇咱们将介绍根据门操控的循环神经网络,也便是我们常见的LSTM以及GRU模型原理。

原文转自:https://mp.weixin.qq.com/s?__biz=MzAxMjMwODMyMQ==&mid=2456338438&idx=1&sn=e432b44e54076f299ec1d1ab3ba鲜竹沥a18f5&chksm=8c2fba08bb58331e2746d78ae586cd6725a763e6bc0857e9f98777d76d3d5d0839985b42211e&scene=21#wechat_redirect

热门
最新
推荐
标签