深度学习 —— RNN

一、什么是RNN模型循环神经网络一般以序列数据为输入通过网络内部的结构有效捕捉二、RNN单层网络结构1.句子中的词全部处理完2.循环次数达到我们的要求只有一个神经元对标代码理解就是一个result。展开RNN的循环机制使模型隐层上一时间产生的结果能够作为当下时间步输入的一部分当下时间步的输入除了正常的输入外还包括上一步的隐藏层输出对当下时间步的输出产出影响。RNN模型的作用是处理序列数据并捕捉数据中的时间依赖关系。广泛应用于NLP领域的各项任务如文本分类、情感分析、意图识别、机器翻译等。三、RNN模型的分类按输入和输出的结构进行分类① N vs N - RNN 理解为对联应用场景 - 词性标注POS Tagging为每个单词标注词性② N vs 1 - RNN 文本分类 - 对N个句子 进行分类应用场景情感分析根据一段文本判断情感倾向。输入[I, love, programming]输出Positive文本分类将一段文本分类到某个类别。③ 1 vs N - RNN (文生成图片、图片生成文字. eg一句话 生成多张图片)应用场景文本生成根据一个初始词生成一段文本。输入I输出[I, love, programming]图像描述生成根据一张图像生成描述文本。输入图像特征输出[A, dog, is, running]④ N vs M - RNN 语义理解、文本摘要。eg 一篇文章-得出一篇摘要它由编码器和解码器两部分组成两者的内部结构都是某类RNN它也被称为seq2seq架构应用场景机器翻译将一种语言的句子翻译成另一种语言。输入[I, love, programming]英文输出[我, 喜欢, 编程]中文文本摘要将长文本压缩为短文本。输入[The, quick, brown, fox, ...]输出[Quick, fox, story]按RNN内部构造神经元内部进行分类传统 RNNLSTMBI-LSTMGRUBI-GRU四、RNN内部结构图解公式激活函数tanh的作用用于帮助调节流经网络的值tanh函数将值压缩在-1和1之间。分析单层OUT(t-1) 是 第1个时间步的输出RNN的输出可以是y向量和最后一个时刻隐藏层的输出多层output 记录的是 最后一层 在每个时间步的隐藏状态hidden 记录的是每一层 在 最后一个时间步的隐藏状态不管 RNN 有多少层最后时刻输出层 output 的最后一个值 隐藏层 hidden 的最后一个值五、RNN代码使用import torch import torch.nn as nn# 0.设置随机种子 torch.manual_seed(4) # 1.构造RNN层的输入张量 # 1.1 模拟当前时间步的词向量(batch_size,seq_len,embed_dim) x torch.randn(1,3,10) # 1.2 上一个时间步的隐藏状态这里是初始隐藏状态(num_layers*num_directions,batch_size,hidden_size) h0 torch.zeros(1,1,8) # 2.创建传统RNN层 rnn nn.RNN( input_size10, # 输入维度也就是词向量维度embed_dim hidden_size8, # 隐藏层维度 num_layers1, # RNN层的层数默认1 batch_firstTrue, # 输入/输出张量的0轴是否为batch轴默认为False, 设为True时输入和输出张量的0轴为batch轴 bidirectionalFalse # 是否开启双向RNN, 默认False )output, hn rnn(x, h0)