论文阅读笔记——Reactive Diffusion Policy

RDP 论文

• 通过 AR 提供实时触觉/力反馈；
• 慢速扩散策略，用于预测低频潜在空间中的高层动作分块；快速非对称分词器实现闭环反馈控制。

ACT、${\pi }_0$ 采取了动作分块，在动作分块执行期间处于开环状态，无法及时响应环境变化，缺乏触觉输入，无法适应高精度（力控制）任务和及时响应。现有的触觉输入是侧重于观察方面，利用触觉输入提供视觉遮挡或接触状态判断等信息。在数据上，MTDP（Mixed-Teleoperation Demonstration Policy）通过增强现实（AR）技术实现了两大突破性改进：1）异构机器人兼容性 - 克服了传统ALOHA双边控制系统必须使用同构机器人的限制；2）成本优化 - 相比基于专业力/扭矩传感器的触觉反馈方案，显著降低了硬件成本。并且现有的触觉输入的方案均排除了视觉输入。

• 力/扭矩传感器——直接测量末端或关节的力/扭矩数值，高速运动时噪声明显且成本高。
• 触觉传感器
  • 电学式触觉传感器——通过电容、电阻等原理感知，空间分辨率较低，且少数型号能直接输出法向力与切向力，且需依赖力/扭矩传感器标定；
  • 光学式触觉传感器——通过相机捕捉凝胶变形的高分率图像，追踪凝胶表面的法向/剪切变形场，力/扭矩信息需通过剪切长间接表征。
    MTDP 采取 GelSight Mini 和 MCTrac 两种光学式触觉传感器和机器臂关节扭矩传感器。将法向力、剪切力、视觉 RGB 输入输入为统一的 visual-tactile policy。
    数据集为利用 GelSIght Mini 收集的 30min 的随机交互视频和使用 MCTrac 为剥皮任务收集的 60 次演示，为擦拭任务收集的 80 次演示，为双手抬举任务收集的 50 次演示。

TactAR

25 Hz 是因为限制于 GelSight 帧速率限制。

从二维光流推算力数据依赖传感器的标定，采用可视化三维变形场：

• 标记点提取：通过 OpenCV 从触觉图像 $I_t$ 中提取归一化标记点位置 $D_t$；
• 光流计算：基于得分追踪算法（Gelsight SDK）计算初始帧 $D_0$ 与当前帧 $D_t$ 的二维光流 $F_t=[d_x,d_y]=Flow(D_0,D_t)$；
• 三维变形场：将光流扩展为含 z 轴偏移 $o_z$ 的三维变形场 $V_t=[f_x,f_y,f_z]$；
  通过 OpenCV 和轻量级追踪算法，规避传统光学传感器的依赖，直接力矢量渲染。

构建流程：使用 Meta Quest3 的 color passthrough 在 Unity 中创建 AR 场景 -> SLAM 实时跟踪头显和控制器位姿 -> 力矢量渲染 -> 根据机器人末端执行器（TCP）实时位姿，通过 ROS2 同步触觉数据、机器人状态和相机流

跟踪算法延迟 10ms，Quest3 渲染延迟 10ms，网络延迟 1-6ms，光学触觉传感器 10-60ms，力传感器延迟 1ms

RDP

VISK 通过聚合同一时间步的多次迭代的预测结果实现实时反馈，但削弱了策略对多模态分布和非马儿可夫动作的建模能力，且对平滑系数相当敏感。
AT 由一个 1D-CNN（建模时序性） 和 GRU decoder 组成。通过触觉序列 $F^{reduced}$ （经过 PCA 降维后——光学触觉传感器的变形场可以被分解为几个高度可解释的独立成分）重建动作$\hat{A}=\mathcal{D}\left(concat([\mathbf{Z},{\mathbf{F}}^{reduced}])\right)$ ，采用 L1 重建损失和 Kullback-Leibler（KL）惩罚损失：（1ms）（通过插值的方式调整）
$$L_{AT}={\mathbb{E}}_{\mathbf{A},{\mathbf{F}}^{reduced}\in {\mathcal{D}}_{policy}}\left[||A-\hat{A}|{|}_1+{\lambda }_{KL}{L}_{KL}\right]$$
LDP 利用学习到的梯度场 $\nabla E(A)$，通过随机 Langevin 动力学，以较低的频率预测动作。 （100ms）（DP 120ms）
$$L_{LDP}={\mathbb{E}}_{(\mathbf{O},{\mathbf{A}}^0)\in {\mathcal{D}}_{policy},k,{ϵ}^k}\Vert {ϵ}^k-{ϵ}_{\theta }(\mathbf{O},{\mathbf{Z}}^0+{ϵ}^k,k){\Vert }_2$$

使用相对末端执行器轨迹进行动作表示，基准帧是动作块的最后一个观察帧，计算相对于基准帧的相对变换，将绝对轨迹转化为相对轨迹。

实验结果