车辆重识别代码笔记12.18

1、实例归一化（Instance Normalization）和批量归一化（Batch Normalization）

实例归一化（Instance Normalization）：

• 计算步骤：

1. 对于每个输入样本，在每个通道上分别计算均值和标准差。

2. 使用每个通道上的均值和标准差，对该样本中的每个通道内的元素进行归一化。

• 区别：实例归一化独立于批次和通道。每个样本都有自己的归一化参数。

• 适用场景：适用于图像生成、风格迁移等需要保留每个样本独特性的任务，因为它不会引入批次间的相关性，更适合处理单个样本或小批量的情况。

批量归一化（Batch Normalization）：

• 计算步骤：

1. 对于每个通道，计算整个批次中该通道上的均值和标准差。

2. 使用整个批次的均值和标准差，对每个样本内的通道进行归一化。

• 区别：批量归一化考虑了整个批次的统计信息，因此具有一定的批次间相关性，能够加速训练收敛、稳定梯度流动。

• 适用场景：适用于加速训练、改善模型稳定性的任务，如分类和深度卷积神经网络。

 

2、contiguous()函数的使用

contiguous() 是 PyTorch 中一个常用的张量操作，它的作用是确保一个张量在内存中是连续的。在 PyTorch 中，一些操作会返回不连续的张量，contiguous() 方法的作用就是将这些不连续的张量转换为一个内存中连续存储的张量。

contiguous() 的作用

• 返回一个新的张量：contiguous() 方法会返回一个新的张量，这个张量的内存是连续的。如果原张量已经是连续的，那么 contiguous() 不会做任何改变，只是返回原始张量本身。

• 创建副本：如果原始张量是一个不连续的张量，contiguous() 会创建一个新的副本，确保这个新张量在内存中是连续的。