《神经网络与深度学习》(邱锡鹏) 内容概要【不含数学推导】

第1章 绪论

• 基本概念：介绍了人工智能的发展历程及不同阶段的特点，如符号主义、连接主义、行为主义等。还阐述了深度学习在人工智能领域的重要地位和发展现状，以及其在图像、语音、自然语言处理等多个领域的成功应用。
• 术语解释
  • 人工智能：旨在让机器模拟人类智能的技术和科学。
  • 深度学习：一种基于对数据进行表征学习的方法，通过构建具有很多层的神经网络模型，自动从大量数据中学习复杂的模式和特征。

第2章 机器学习概述

• 基本概念：讲解了机器学习的基本任务，包括监督学习、无监督学习和强化学习。介绍了机器学习的一般流程，即从数据收集、预处理，到模型选择、训练、评估和调优的过程。
• 术语解释
  • 监督学习：给定输入和对应的输出标签，学习一个模型，使其能够对新的输入进行准确预测。
  • 无监督学习：只有输入数据，没有明确的输出标签，旨在发现数据中的内在结构和模式。
  • 强化学习：智能体在环境中通过不断试错来学习最优行为策略，以最大化长期奖励。
  • 模型评估指标：如准确率、召回率、F1值、均方误差等，用于衡量模型在测试数据上的性能。

第3章 线性模型

• 基本概念：主要介绍了线性回归和对数几率回归这两种基本的线性模型。线性回归用于预测连续的数值，通过最小二乘法拟合数据得到最佳的线性模型参数。对数几率回归则用于处理分类问题，将线性函数的输出通过对数几率函数转换为概率，进而进行分类预测。
• 术语解释
  • 线性回归：假设输入特征和输出之间存在线性关系，通过学习线性方程的系数来进行预测。
  • 最小二乘法：一种优化方法，通过最小化预测值与真实值之间误差的平方和来求解线性回归模型的参数。
  • 对数几率回归：也叫逻辑回归，将线性回归的结果通过对数几率函数进行变换，得到属于某个类别的概率，用于二分类问题。
  • 损失函数：衡量模型预测结果与真实结果之间的差异程度，用于模型训练时的优化目标。

第4章 前馈神经网络

• 基本概念：前馈神经网络是一种基本的神经网络结构，信息从输入层单向传递到输出层，中间经过若干个隐藏层。它通过神经元之间的连接权重和激活函数来对输入数据进行非线性变换，从而学习数据中的模式和特征，实现分类或回归等任务。
• 术语解释
  • 神经元：神经网络的基本单元，接收输入信号，通过加权求和并经过激活函数处理后产生输出。
  • 激活函数：用于给神经元引入非线性因素，使神经网络能够学习和拟合复杂的非线性函数，如Sigmoid函数、ReLU函数等。
  • 权重：神经元之间连接的强度，在训练过程中通过调整权重来使网络学习到最优的参数。
  • 偏置：每个神经元的一个可调整参数，用于调整神经元的激活阈值。

第5章 反向传播算法

• 基本概念：反向传播算法是训练前馈神经网络的一种有效方法，基于链式法则，通过计算损失函数对网络中各层权重和偏置的梯度，来更新网络参数，使得损失函数最小化。它从输出层开始，将误差反向传播到输入层，依次调整各层的参数。
• 术语解释
  • 梯度：表示函数在某一点的变化率，在神经网络中用于衡量损失函数对参数的敏感程度。
  • 链式法则：用于计算复合函数导数的法则，在反向传播中用于计算损失函数对各层参数的梯度。
  • 学习率：在更新网络参数时的步长，控制着参数更新的速度，过大或过小都可能影响训练效果。

第6章 卷积神经网络

• 基本概念：卷积神经网络专门用于处理具有网格结构数据，如图像和音频等。它通过卷积层、池化层和全连接层等组件，自动提取数据的局部特征，大大减少了模型的参数数量，提高了模型的泛化能力和训练效率。
• 术语解释
  • 卷积层：通过卷积核在输入数据上滑动进行卷积操作，提取数据的局部特征，生成特征图。
  • 卷积核：也叫滤波器，是卷积层中的可学习参数，用于对输入数据进行卷积操作，不同的卷积核可以提取不同的特征。
  • 池化层：对卷积层输出的特征图进行下采样，减少数据维度，同时保留主要特征，常用的有最大池化和平均池化。
  • 感受野：卷积神经网络中神经元对输入数据的局部感知区域，随着网络层数的增加，感受野逐渐增大。

第7章 循环神经网络

• 基本概念：循环神经网络主要用于处理序列数据，如文本、语音等。它的神经元之间存在循环连接，使得网络能够记住序列中的历史信息，从而对序列中的长期依赖关系进行建模，在不同的时间步上共享参数，具有一定的记忆能力。
• 术语解释
  • 时间步：序列数据中的一个位置或时刻，循环神经网络在每个时间步上处理一个数据点。
  • 隐藏状态：循环神经网络在每个时间步上的内部状态，包含了之前时间步的信息，用于对当前时间步的输入进行处理。
  • 序列到序列学习：将一个序列映射到另一个序列的学习任务，如机器翻译，循环神经网络可以作为编码器和解码器来实现这种映射。

第8章 网络优化与正则化

• 基本概念：介绍了在训练神经网络时如何对网络进行优化和正则化，以提高网络的性能和泛化能力。优化方法旨在更快更稳定地找到损失函数的最小值，而正则化方法则通过对模型参数添加约束，防止过拟合。
• 术语解释
  • 优化算法：如随机梯度下降、Adagrad、Adadelta等，用于调整网络参数以最小化损失函数，不同的优化算法具有不同的更新策略和特点。
  • 过拟合：指模型在训练数据上表现很好，但在测试数据上性能很差的现象，通常是由于模型过于复杂或训练数据过少导致的。
  • 正则化：通过在损失函数中添加正则项，如L1正则化和L2正则化，对模型参数进行约束，使模型更简单，提高泛化能力。
  • Dropout：一种正则化方法，在训练过程中随机丢弃一些神经元，以减少神经元之间的共适应，提高模型的鲁棒性。

第9章 注意力机制

• 基本概念：注意力机制是一种模仿人类注意力的机制，能够让模型在处理序列数据时聚焦于关键信息。它通过计算每个输入元素的注意力权重，动态地分配不同的注意力资源，从而更好地捕捉序列中的长时依赖关系和重要信息。
• 术语解释
  • 注意力权重：表示模型对输入序列中每个元素的关注程度，通过计算得到，权重越大表示越关注该元素。
  • 自注意力机制：在序列内部进行注意力计算，每个元素都可以关注到序列中的其他元素，能够并行计算，提高效率。
  • 多头注意力机制：使用多个并行的注意力头，每个头学习不同的注意力权重，然后将结果拼接或平均，能够捕捉更丰富的信息。

第10章 无监督预训练

• 基本概念：无监督预训练是一种利用大量无监督数据对神经网络进行预训练的方法，先在无监督数据上学习数据的一般特征和模式，然后再在有监督的任务上进行微调，能够提高模型的性能和泛化能力，尤其适用于有监督数据较少的情况。
• 术语解释
  • 无监督预训练：在没有明确的输出标签的情况下，使用无监督学习算法对网络进行训练，得到一个初步的模型参数。
  • 微调：在无监督预训练的基础上，使用有监督数据对模型进行进一步的训练和优化，使其适应具体的任务。
  • 迁移学习：将在一个领域或任务上学习到的知识和模型参数应用到其他相关领域或任务上，无监督预训练可以看作是一种迁移学习的方式。

第11章 概率图模型

• 基本概念：介绍了概率图模型作为一种用图来表示变量之间概率依赖关系的模型。它通过节点表示随机变量，边表示变量之间的概率依赖关系，能有效处理不确定性和复杂的概率分布。包括有向图模型如贝叶斯网络和无向图模型如马尔可夫随机场，可用于推理和学习变量之间的潜在关系。
• 术语解释
  • 概率图模型：是一种将概率论与图论相结合的模型，用于表示和处理随机变量之间的概率关系。
  • 贝叶斯网络：一种有向无环图模型，每个节点表示一个随机变量，边表示变量之间的条件依赖关系，通过条件概率表来量化这种依赖关系。
  • 马尔可夫随机场：一种无向图模型，节点表示随机变量，边表示变量之间的相互作用，其联合概率分布基于团势能函数来定义。
  • 推理：在已知部分变量的观测值的情况下，计算其他变量的概率分布的过程。

第12章 深度信念网络

• 基本概念：深度信念网络是一种包含多个隐层的概率生成模型，由多个受限玻尔兹曼机堆叠而成。它可以通过无监督的预训练学习数据的内部表示，然后进行有监督的微调，在一定程度上解决了深度神经网络难以训练的问题，能够有效提取数据的特征。
• 术语解释
  • 深度信念网络：一种深度学习模型，具有多层的神经网络结构，通过逐层预训练和微调来学习数据的特征表示。
  • 受限玻尔兹曼机：一种无向概率图模型，由可见层和隐层组成，通过能量函数来定义变量的联合概率分布，可用于学习数据的概率分布和特征表示。
  • 预训练：在深度神经网络的训练过程中，先使用无监督学习的方式对网络的每一层进行初始化训练，以学习到数据的一些基本特征。
  • 微调：在预训练的基础上，使用有监督学习的方式对整个网络进行进一步的训练和优化，以适应具体的任务。

第13章 深度生成模型

• 基本概念：深度生成模型旨在学习给定数据的概率分布，并能够根据该分布生成新的类似数据。包括变分自编码器和生成对抗网络等，通过对数据的潜在空间进行建模，实现从潜在向量到真实数据的生成过程，在图像、文本等领域有广泛应用。
• 术语解释
  • 深度生成模型：一类能够学习数据的概率分布并生成新数据的深度学习模型。
  • 变分自编码器：一种生成模型，由编码器和解码器组成，通过学习数据的潜在变量分布，将输入数据编码为潜在向量，再通过解码器将潜在向量解码生成与输入类似的数据。
  • 生成对抗网络：由生成器和判别器组成，生成器试图生成与真实数据相似的数据来欺骗判别器，判别器则试图区分真实数据和生成数据，两者通过对抗训练不断优化，最终生成器能够生成逼真的数据。

第14章 深度强化学习

• 基本概念：深度强化学习将深度学习与强化学习相结合，通过神经网络来近似表示强化学习中的价值函数或策略函数，使智能体能够在复杂环境中通过与环境的交互学习最优行为策略。涉及马尔可夫决策过程、价值函数估计、策略梯度等概念，在机器人控制、游戏等领域取得了显著成果。
• 术语解释
  • 深度强化学习：一种结合深度学习和强化学习的方法，利用神经网络来处理强化学习中的状态表示和策略学习。
  • 马尔可夫决策过程：用于描述强化学习问题的数学模型，包括状态、动作、奖励、转移概率等要素，智能体在环境中根据当前状态选择动作，获得奖励并转移到下一个状态。
  • 价值函数：用于估计在某一状态下采取某种策略所能获得的长期奖励的期望，帮助智能体评估不同状态的价值。
  • 策略梯度：一种通过计算策略函数的梯度来更新策略参数的方法，使智能体的策略朝着获得更高奖励的方向优化。

第15章 序列生成模型

• 基本概念：主要介绍了用于处理序列数据的生成模型，如循环神经网络的扩展模型长短时记忆网络和门控循环单元，以及基于注意力机制的序列到序列学习模型等。这些模型能够有效处理序列数据中的长期依赖关系，在自然语言处理等领域广泛用于文本生成、机器翻译等任务。
• 术语解释
  • 序列生成模型：专门用于处理序列数据并生成序列的模型，能够根据输入序列的上下文生成后续的序列元素。
  • 长短时记忆网络：一种特殊的循环神经网络，通过引入记忆单元来有效处理序列中的长时依赖问题，能够选择性地记住和遗忘信息。
  • 门控循环单元：也是一种改进的循环神经网络，通过门控机制来控制信息的流动，在处理序列数据时具有更好的性能和效率。
  • 序列到序列学习：一种将一个序列映射到另一个序列的学习任务，通常使用编码器-解码器架构，通过注意力机制来更好地捕捉输入序列和输出序列之间的对应关系。