【Python】torch.norm()用法解析

【Python】torch.norm()用法解析

1. 介绍

torch.norm()是对输入的tensor求对应的范数。tensor的范数有以下三种：

1.1 p-范数

1.2 Frobenius 范数

即，矩阵各项元素的绝对值平方的总和。

1.3 核范数

也即，求矩阵奇异值的和。该范数常被用于约束矩阵的低秩，对于稀疏性质的数据而言，其矩阵是低秩且会包含大量冗余信息，这些信息可被用于恢复数据和提取特征。

2. API

def norm(input, p="fro", dim=None, keepdim=False, out=None, dtype=None):

参数解释：

• input：输入tensor类型的数据

• p：指定的范数

  • 默认为p=‘fro’，计算矩阵的Frobenius norm (Frobenius 范数)，就是矩阵各项元素的绝对值平方的总和。
  • p='nuc’时，是求核范数，核范数是矩阵奇异值的和。（不常用）
  • p为int的形式，是求p-范数。（常用）

• dim：指定在哪个维度进行，如果不指定，则是在所有维度进行计算

• keepdim：True or False，如果True，则保留dim指定的维度，False则不保留

• out：输出的 tensor

• dtype：指定输出的tensor的数据类型

3. 示例

import torch
a = torch.ones(5, 2, 2)
a_norm = a.norm(1, 1)
print(a)
print(a_norm)

• 输出：
  
• 说明：
  • 指定p=1，dim=1。也就是在a的第2个维度(dim=1)进行1(p=1)范数计算。
    可以发现：a_norm的shape为（5，2），keepdim默认设置的是False，所以第2个维度对应的2消失了，如果keepdim=True，将会保留第3个维度，但是会变成（5，2，1）。
  • 每一个元素都是为2，也就是1范数的结果。