深度学习3-pytorch学习

深度学习3-pytorch学习

Tensor 定义与 PyTorch 操作

1. Tensor 定义：

Tensor 是 PyTorch 中的数据结构，类似于 NumPy 数组。可以通过不同方式创建 tensor 对象：

import torch# 定义一个 1D Tensor
x1 = torch.Tensor([3, 4])# 定义一个 Float 类型的 Tensor
x2 = torch.FloatTensor([4, 4])# 使用正态分布随机生成 Tensor
x3 = torch.randn(3, 4)
print(x1)
print(x2)
print(x3)

2. PyTorch 与 NumPy 之间的转换：

可以使用 torch.from_numpy() 和 .numpy() 方法在 PyTorch Tensor 和 NumPy 数组之间进行转换：

import numpy as np# 创建一个 NumPy 数组
numpy_tensor = np.random.randn(10, 20)# 将 NumPy 数组转换为 PyTorch Tensor
pytorch_tensor = torch.from_numpy(numpy_tensor)# 将 PyTorch Tensor 转换为 NumPy 数组
new_numpy_tensor = pytorch_tensor.numpy()

3. GPU 和 CPU 之间的转换：

PyTorch 支持在 GPU 上进行计算，可以通过 .cuda() 方法将 Tensor 转移到 GPU，使用 .cpu() 将其转回 CPU：

x = torch.randn(3, 4)# 转移到 GPU（GPU 0）
x_gpu = x.cuda(0)# 转移到 GPU（GPU 1）
x_gpu = x.cuda(1)# 转回 CPU
x_cpu = x_gpu.cpu()# 转换为 NumPy 数组
x_array = x_gpu.cpu().numpy()

4. Tensor 的形状和维度：

可以使用 .shape 或 .size() 查看 Tensor 的维度和形状，unsqueeze 和 squeeze 方法分别用于增加和减少维度：

x = torch.randn(4, 3)# 查看形状
print(x.shape)# 增加一个维度
x_unsqueezed = x.unsqueeze(1)
print(x_unsqueezed.shape)  # 形状变为 [4, 1, 3]# 减少一个维度
x_squeezed = x_unsqueezed.squeeze()
print(x_squeezed.shape)  # 形状变回 [4, 3]

5. Tensor 的高级操作：

• 求最大值和索引：

max_index, max_value = torch.max(x, dim=1)  # 获取每行的最大值和索引
print(max_index)
print(max_value)

• 求和：

sum_tensor = torch.sum(x, dim=1, keepdim=True)  # 求每行的和
print(sum_tensor)

6. 求梯度：

Tensor 的 requires_grad_() 方法使得 Tensor 可以追踪梯度，允许进行反向传播（自动求导）：

x = torch.tensor(3.0, requires_grad=True)
y = x**2# 求导
y.backward()# 打印梯度
print(x.grad)  # 输出：tensor(6.)

注意： 求得的梯度会累积，如果不清零会对后续计算产生影响。

python复制编辑x.grad = torch.tensor(0.0)  # 清空梯度
y2 = x**2
y2.backward()
print(x.grad)  # 输出：tensor(6.)

7. 创建不同类型的 Tensor：

# 创建全为 1 的 Tensor
tensor1 = torch.ones((10, 4))
print(tensor1)# 创建全为 0 的 Tensor
tensor2 = torch.zeros((10, 4))
print(tensor2)# 创建正态分布随机值的 Tensor
tensor3 = torch.normal(0, 0.1, (4, 10, 4))
print(tensor3)

8. Variable：

为了构建神经网络，PyTorch 引入了 Variable 类，主要用于对 Tensor 进行自动求导操作。Variable 包含了三个重要属性：

• .data：用于访问 Tensor。
• .grad：用于访问梯度（导数）。
• .grad_fn：描述如何计算这个 Variable。

from torch.autograd import Variable# 创建 Variable
x = Variable(torch.ones(2, 2), requires_grad=True)
y = Variable(torch.ones(2, 2), requires_grad=True)
z = torch.sum(x + y)# 查看数据
print(z.data)# 反向传播
z.backward()# 打印梯度
print(x.grad)

9. 动态图/静态图

PyTorch 采用动态图（Dynamic Computation Graph）的方式，每次计算时都会重新构建计算图，这样便于调试，而 TensorFlow 则使用静态图（Static Computation Graph），在定义计算图之后执行。这使得 PyTorch 更适合快速开发和调试。

• Tensor 是 PyTorch 中最基本的数据结构，类似于 NumPy 数组，但可以在 GPU 上进行加速计算。
• PyTorch 提供了丰富的 Tensor 操作，如求最大值、求和、改变形状、求梯度等。
• Variable 是 Tensor 的高级封装，它使得 PyTorch 在进行梯度计算时更加灵活。
• 动态计算图使得 PyTorch 在调试和开发时非常方便，但相较于 TensorFlow 的静态图，可能会稍慢。