模型的参数量、计算量、延时等的关系

基本概念

1.参数量：Params
2.计算量：FLOPs，Floating Point Operations，浮点运算次数，用来衡量模型计算复杂度。
3.延时：Latency

4.内存访问成本： MAC，memory access cost，存储模型所需的存储空间。
例如某个模型需要256000个浮点参数定义，转化为bit 乘以32得8192000bit，再除8转化为Byte，1024KB，也就是1M，那么这个模型大小约为1M。

5.乘加运算次数：MACs，multiply and accumulate operations，通常MACs=2FLOPs

6.每秒浮点运算次数：FLOPS，Floating Point Operations Per Second，是一个衡量硬件速度的指标。

7.每秒万亿次操作：TOPS，Tera Operations Per Second，1TOPS代表处理器每秒钟可进行一万亿次（10^12）操作，是处理器运算能力单位。

注意：区分FLOPs和FLOPS。

相互关系

1.相同 FLOPs 的两个模型，它们的延时可能会差很多。因为 FLOPs 只考虑模型总的计算量，而不考虑内存访问成本 (memory access cost, MAC) 和并行度 (degree of parallelism)。

2.在相同的 FLOPs 下，MAC 大的模型将具有更大的延时。

3.计算量有时候可以忽略，但是MAC却不能忽略。比如Add 或 Concat 的计算量可以忽略不计。

4.对于并行度而言，在相同的 FLOPs 下，具有高并行度的模型可能比另一个具有低并行度的模型快得多。

5.更高的 FLOPS可能 Params 会降低，比如当模型使用共享参数时。

代码计算

参数量Params：

params = sum(p.numel() for p in model.parameters())
print(f"params: {params/(1000 * 1000):.4f} M")

计算量FLOPs：

from thop import profile
flops, _ = profile(model, inputs=(image_tensor))
print("GFLOPs:", flops/(1000*1000*1000))

乘加运算次数MACs：

from ptflops import get_model_complexity_info
macs, params = get_model_complexity_info(model, (3,224,224), as_strings=True, print_per_layer_stat=True)

打印模型结构：

from torchsummary import summary
summary(model, input_size=(3, 224, 224))