[TPAMI‘21] Heatmap Regression via Randomized Rounding

paper: https://arxiv.org/pdf/2009.00225.pdf

code: https://github.com/baoshengyu/H3R

• 总结：本文提出一套编解码方法：
  • 编码：random-round整数化 + 激活点响应值表征小数部分，使得GT可以通过编码后的heatmap解码得到；
  • 解码：提出两种激活点选择，最终预测值为激活点坐标 * 激活值的加权和。
• WFLW上结果非常好
• 该方法是2021年8月26日挂载arxiv上，早于Local Soft-max（Subpixel Heatmap Regression for Facial Landmark Localization），两篇文章都是想解决热图的量化误差问题，解码思路很相近。

beyond the scope of this paper；

目录

摘要

方法

量化系统

量化误差

激活点的选择

实验

人脸关键点检测​编辑

全身位姿检测

消融实验

---

摘要

• 本文探索了热图回归中的量化误差问题；
• 本文提出了一个简单但有效的系统randomized rounding operation，包含两个部分：
  • 在训练时，用一种概率方法，将坐标小数部分编码到GT heatmap中；
  • 在测试时，从激活点集合中解码预测坐标
• 本文在人脸关键点数据集（WFLW、300W、COFW和AFLW）和人体位姿检测数据集（MPII和COCO）上实验验证了本文方法的有效性。

方法

• 介绍热图回归中的量化系统；
• 在该系统中公式化描述量化误差；
• 通过随机近似（randomized rounding）设计了新的量化系统。

量化系统

现有方法：1）编码：针对浮点坐标，计算Gaussian kernel matrix开销大，现有方法是将坐标整数化后，使用kernel模型填充；2）解码：最大激活点。

本文从误差出发，将误差拆分为热图误差和量化误差：

其中，x^p是预测值，x_q是GT，x_opt则是自设GT，自设GT是指根据GT坐标编码后的热图，解码得到的坐标值。本文只考虑量化误差。

量化误差

首先定义误差，其中s为放缩倍数，例如原图大小为256，热图为64，则放缩倍数为4。

其次定义坐标整数化，其中t为整数化阈值，对round来说，t=0.5。

 

量化偏差（quantization bias）为： 

因此，当t=0.5，也即整数化方法是round时，编码方法是无偏的。对于t的其他取值，可以在解码时加入偏移量，使它无偏：

虽然，上述编码系统是无偏的，但是它会导致non-invertible localization error，也即当整数化后，误差就不可避免了。

定理1：当量化系统是无偏时，量化误差的上限是：

由定理1可知，当s越大，误差也即越大。

Randomized Rounding

本文提出Randomized Rounding，通过多个激活点去表示整数化误差，

 并提出random-round：

希望预测热图为：

 

最后的解码为：
 

激活点为四个：

 

定理2：当为上述编解码操作时，量化系统是无偏的，且没有量化误差。

激活点的选择

 包含两套方案：

1）取得极值点后，包围近邻点都是激活点，例如上图；

2）选择tok p个点，这些点为激活点。

实验

人脸关键点检测

全身位姿检测

消融实验

当使用高斯热图时，sigma越大，需要的激活点越多，最好效果在sigma=1.0/1.5时取得。