FAST: Efficient Action Tokenization for Vision-Language-Action Models

FAST: Efficient Action Tokenization for Vision-Language-Action ModelsFAST高效机器人动作分词方法详解1. 核心背景为什么要提出 FAST2. FAST 技术流水线 (Pipeline)3. 具体数学公式推导(1) 频域转换 (DCT)(2) 量化与稀疏化(3) BPE 序列化4. FAST实验结果FAST 方法的表现稳定性 (依据论文 Figure 3)5. FAST 的主要优势原文链接FAST高效机器人动作分词方法详解FAST(Frequency-space Action Sequence Tokenization) 是由 Physical Intelligence 团队提出的一种针对 VLA视觉-语言-动作模型的新型分词方案。它通过将动作序列从时域转换到频域解决了自回归模型在处理高频、精细机器人动作时的效率与精度瓶颈。1. 核心背景为什么要提出 FAST在传统的自回归 VLA 模型如 OpenVLA 或 RT-2中通常使用**简单分箱Naive Binning**方案将每个维度的连续值直接离散化为 256 个桶。痛点在高频控制如 50Hz下相邻时间步的动作极度相似。自回归模型预测时容易陷入“直接复制上一个动作”的局部最优解导致无法学会捏取、折叠等复杂的精细动作。解决方案借鉴 JPEG 图像压缩原理利用动作序列在时间上的冗余性将其压缩为信息密度极高的频域 Token。2. FAST 技术流水线 (Pipeline)FAST 将一段动作块Action Chunk转化为 Token 的具体步骤如下归一化 (Normalization)使用 1% 到 99% 分位数将原始动作数值映射到[ − 1 , 1 ] [-1, 1][−1,1]之间消除不同机器人量纲和离群点的影响。离散余弦变换 (DCT)对每个动作维度的序列单独进行 DCT 变换。由于自然动作通常是平滑的变换后能量会高度集中在低频系数上。量化 (Quantization)引入缩放因子γ \gammaγ超参数将连续的频域系数乘以γ \gammaγ后取整。此步会使大量不重要的高频系数直接变为 0。频率优先展平 (Frequency-first Flattening)按照“先所有维度的低频再所有维度的高频”顺序将矩阵展平。这让模型在预测时优先决定动作的整体轮廓。BPE 压缩 (Byte Pair Encoding)使用 NLP 中常用的 BPE 算法将经常出现的整数序列如连续的 0合并为单个 Token进一步提升压缩率。3. 具体数学公式推导假设动作序列长度为H HH如 1 秒钟内包含 50 个步长动作维度为D DD。(1) 频域转换 (DCT)频域转换的核心思想是与其描述每一毫秒手在哪不如描述这个动作的“成分”是什么。为什么要转换时域的烦恼想象你要教一个机器人**“伸手抓杯子”**这个动作持续 1 秒钟。在电脑里这个动作被切成了 50 份50Hz第 1 毫秒手在 10.0cm 处第 2 毫秒手在 10.1cm 处第 3 毫秒手在 10.2cm 处我们可以把任何一个平滑的动作拆解成不同“速度”的波动组合低频成分动作的大轮廓 “手整体向前移动了 20 厘米。”这是动作的基调中频成分动作的微调 “在移动过程中手腕稍微旋转了 30 度。”这是动作的细节高频成分动作的抖动 “手指尖有 0.1 毫米的细微颤动。”这是动作的噪声DCT离散余弦变换干的活就是 把那 50 个极其相似的坐标点变成 50 个描述成分的系数。频域转换DCT是基于傅里叶变换的一个分支。傅里叶提出任何一段信号比如机器人的手臂移动轨迹都可以看作是许多个不同频率的简谐波波浪线叠加而成的。在处理图像和动作这种“一段一段”的数据时**余弦变换DCT**比普通的傅里叶变换更有效。公式推导计算当前的动作序列 at与某个标准余弦波的“相似度”。对于第i ii个维度的动作序列a 1 : H i [ a 1 i , a 2 i , … , a H i ] a^i_{1:H} [a^i_1, a^i_2, \dots, a^i_H]a1:Hi​[a1i​,a2i​,…,aHi​]其第j jj个 DCT 系数C j i C^i_jCji​的计算公式为C j i w j ∑ t 1 H a t i cos ⁡ ( π ( 2 t − 1 ) ( j − 1 ) 2 H ) , j 1 , … , H C^i_j w_j \sum_{t1}^{H} a^i_t \cos \left( \frac{\pi (2t-1)(j-1)}{2H} \right), \quad j1, \dots, HCji​wj​t1∑H​ati​cos(2Hπ(2t−1)(j−1)​),j1,…,H其中权重系数w j w_jwj​定义为w j { 1 H , j 1 2 H , j 1 w_j \begin{cases} \sqrt{\frac{1}{H}}, j1 \\ \sqrt{\frac{2}{H}}, j 1 \end{cases}wj​⎩⎨⎧​H1​​,H2​​,​j1j1​频率项 (j−1):当j1 时cos(0)1。这计算的是动作的平均值直流分量。随着j 增大波变得越来越快频率越来越高。采样项 (2t−1) 和分母 2H这是为了确保波在 H 个点内正好完成半个或整数个周期。(2t−1) 是一个数学上的偏移确保采样点刚好落在每一小段动作的“中心”避免计算偏差。累加 ∑把动作序列里的每个点和余弦波上的对应点相乘再加起来。物理意义 如果动作的走势和这个波的走势非常接近加出来的结果系数 Cj就会很大如果不像结果就会接近 0。这个系数 wj是为了满足正交性。简单来说 转换前后的总能量数字的大小规模必须保持一致。它确保了你把动作变到频域、再变回时域后数值不会莫名其妙地变大或变小。(2) 量化与稀疏化利用缩放因子γ \gammaγ对连续系数进行离散化生成整数序列C ˉ j i round ( γ ⋅ C j i ) \bar{C}^i_j \text{round}(\gamma \cdot C^i_j)Cˉji​round(γ⋅Cji​)推导意义经过取整后大部分代表噪声或微小抖动的高频系数会变为0 00从而实现极大的有损压缩。(3) BPE 序列化将序列中出现频率较高的词汇打包成新的tokenFAST自己训练的BPE模型将量化后的矩阵C ˉ \bar{C}Cˉ按照频率优先顺序排成一维整数序列T TTT [ C ˉ 1 1 , C ˉ 1 2 , … , C ˉ 1 D , … , C ˉ H 1 , … , C ˉ H D ] T [\bar{C}^1_1, \bar{C}^2_1, \dots, \bar{C}^D_1, \dots, \bar{C}^1_H, \dots, \bar{C}^D_H]T[Cˉ11​,Cˉ12​,…,Cˉ1D​,…,CˉH1​,…,CˉHD​]最后通过预训练好的 BPE 映射函数ϕ \phiϕ得到最终发送给模型的 TokenTokens BPE ( T , ϕ ) \text{Tokens} \text{BPE}(T, \phi)TokensBPE(T,ϕ)4. FAST实验结果任务名称环境控制频率核心挑战在 FAST 论文中的意义数据集内容LIBERO模拟器10 Hz任务切换基础性能评估验证模型在标准仿真环境下的稳定性。包含一系列厨房场景的操作。例如把锅盖盖上、把物体放进碗里、把碗放进柜子等。DROID真实世界15 Hz场景多样性测试通用性与零样本Zero-shot能力看模型能否在陌生环境下工作。它不是单一的任务而是包含了成千上万种日常操作开关抽屉、擦桌子、拿杯子等由全球多个实验室合作完成。TABLE BUSSING真实世界20 Hz分类与精度测试逻辑推理餐具 vs 垃圾与真实物理操作的结合。机器人需要清理一张杂乱的餐桌。它必须区分什么是“垃圾”丢进垃圾桶什么是“餐具”丢进洗碗盆。T-SHIRT FOLDING真实世界50 Hz高频冗余核心突破点证明在高频、高冗余任务下必须使用频域压缩才能实现有效训练。机器人从平铺状态开始将一件 T 恤衫对折好。在高自由度上取得不错的效果例如T-SHIRT FOLDING其他任务上基本与π0相当但也有些任务不如π0并不是所有任务碾压级的存在。FAST 方法的表现稳定性 (依据论文 Figure 3)在模拟插值任务的实验中作者对比了不同频率下的重建误差频率范围 (Sampling Frequency)传统方法 (Naive Binning) 表现FAST (DCT) 方法表现0 Hz 到 800 Hz误差随频率升高大幅飙升 (10 − 1 → 10 0 10^{-1} \to 10^010−1→100)L2 误差始终稳定在10 − 2 10^{-2}10−2到10 − 3 10^{-3}10−3水平抗高频干扰能力极强传统分词方法在频率升高时会迅速失效因为 Token 间相关性太强而 FAST 凭借 DCT 变换成功提取了核心频率成分。重建精度极高10 − 3 10^{-3}10−3级别的误差意味着在物理执行中重建动作与原始动作的偏差仅为总量程的千分之一例如1 米的量程内误差仅为 1 毫米这种误差对机器人操作而言是微不可察且极其丝滑的。总结特性原始π 0 \pi_0π0​(Black et al.)π 0 \pi_0π0​-FAST (Pertsch et al.)生成机制流匹配 (Flow Matching / Diffusion)自回归 (Autoregressive)动作表示连续数值 (Continuous)频域压缩 Token (FAST Tokens)训练计算量高 (1.0x 基准)极低 (0.2x / 5倍加速)收敛速度较慢极快推理延迟约 100ms (快)约 750ms (较慢)5. FAST 的主要优势极高的压缩率在 50Hz 控制频率下Token 数量比传统分箱方法减少了13.2 倍。训练大幅提速在相同任务性能下训练速度比 Diffusion版本的模型快5 倍。精细动作增强摆脱了时域上的高度冗余使模型能够关注真正重要的动作变化从而学会折衣服、组装纸箱等复杂任务。通用分词器 (FAST)作者发布了基于 100 万条真实机器人轨迹预训练的通用分词器支持单臂、双臂、移动底盘等多种形态。