Pruning Papers

[ICML 2020] Rigging the Lottery: Making All Tickets Winners

• 整个训练过程中mask是动态的，有drop和grow两步，drop是根据权重绝对值的大小丢弃，grow是根据剩下激活的权重中梯度绝对值生长
• 没有先prune再finetune/retrain的两阶段过程
  
  
• Layer-wise sparsity
  • Uniform：$s^l=S$
  • Erdos-Renyi：$1-(n^{l-1}+n^l)/(n^{l-1}\ast n^l)$
  • Erdos-Renyi-Kernel（ERK）：$1-(n^{l-1}+n^l+w^l+h^l)/(n^{l-1}\ast n^l\ast w^l\ast h^l)$
  • 每层的参数量越大，可以分配更大的sparsity，ERK的实验效果最好

[WACV 2022] Hessian-Aware Pruning and Optimal Neural Implant

• 用Hessian trace（二阶导）作为剪枝敏感度的指标，敏感度高的部分保留，敏感度低的部分被剪枝
• Prune之后finetune
  

[ICLR 2019] SNIP: Single-shot Network Pruning based on Connection Sensitivity

• 在模型初始化时根据连接敏感度一次性剪枝，然后进行常规的训练
  

[ICLR 2021] Progressive Skeletonization: Trimming more fat from a network at initialization

• 在SNIP的基础上，提出progresssive找mask
• 提出FORCE，前面所剪枝掉的权重可以在后面被激活
• 这个过程是没有训练（权重更新）的，只是在算被mask过后的权重的梯度，然后topk