【pytorch】tensor.detach()和tensor.data的区别

序言

• .detach()和.data都可以用来分离tensor数据，下面进行比较
• pytorch0.4及之后的版本，.data仍保留，但建议使用.detach()

相同点

• x.detach()和x.data返回和x相同数据的tensor，这个新的tensor和原来的tensor共用数据，一者改变，另一者也会跟着改变
• 新分离得到的tensor的requires_grad = False, 即不可求导的

不同点

• (1) .data是一个属性，.detach()是一个方法
• (2) x.data不能被autograd追踪求微分，即使被改了也能错误求导；x.detach()也不能被autograd追踪求微分，被改了会直接报错，避免错误的产生
• (3) .data是不安全的，.detach()是安全的

测试实例

• .data测试

  import torcha = torch.tensor([1 ,2 ,3.], requires_grad = True)  # float类型,支持求导
  out = a.sigmoid()
  print(out)    # 输出(0.0, 1.0)结果
  b = out.data  # 分离tensor
  b.zero_()     # 改变b的值，原来的out也会改变
  print(b.requires_grad)  # .data后requires_grad=False
  print(b)                # 归0后的值 tensor([0., 0., 0.])
  print(out.requires_grad)    # out的requires_grad=True
  print(out)                  # b的值改变了out也变了 tensor([0., 0., 0.])
  print("----------------------------------------------")out.sum().backward()  # 对原来的out求导
  print(a.grad)         # 不会报错，但结果不正确
  

  • 更改分离之后的变量值b，导致原来的张量out的值也跟着改变
  • 但是这种改变对于autograd是没有察觉的，它依然按照求导规则来求导，导致得出完全错误的导数值却浑然不知
  • 它的风险性就是如果我再任意一个地方更改了某一个张量，求导的时候也没有通知我已经在某处更改了，导致得出的导数值完全不正确

• .detach()测试

  import torcha = torch.tensor([4, 5, 6.], requires_grad=True)
  out = a.sigmoid()
  print(out)
  c = out.detach()
  c.zero_()               # 改变c的值，原来的out也会改变
  print(c.requires_grad)  # detach后requires_grad=False
  print(c)                # 已经归0
  print(out.requires_grad)    # 输出为True
  print(out)
  print("----------------------------------------------")out.sum().backward()  # 对原来的out求导，
  print(a.grad)         # 此时会报错: 梯度计算所需要的张量已经被“原位操作inplace”所更改了# RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
  

  • 更改分离之后的变量值c，导致原来的张量out的值也跟着改变
  • 这个时候如果依然按照求导规则来求导，由于out已经更改了，所以不会再继续求导了，而是报错，这样就避免了得出错误的求导结果

应用

• forward时使用.data或.detach()，不进行梯度计算和梯度跟踪
• backward时梯度回传，不能使用.detach()或.data，比如loss信息被detach的话就无法进行梯度回传更新参数，会导致模型无法收敛

 

---

【参考文章】
[1]. .detach和.data的区别和作用
[2]. .detach和.data的区别
[3]. .detach和.data求导时的区别

created by shuaixio, 2024.02.24