Wan 3D Causal VAE：一篇讲清视觉 token、时间压缩、3D Causal 卷积

从 Emu3.5、Show-o2、Show-o、Chameleon，到 Wan 3D Causal VAE：一篇讲清视觉 token、时间压缩、3D Causal 卷积和数据量估算的入门分析0. 先说这篇文章要解决什么问题这篇文章想回答 6 个问题：Emu3.5、Show-o2、Show-o、Chameleon 这几类 UMM，到底是怎么表示图像和视频的？Show-o2 到底有没有“视觉 tokenizer”？在 Show-o2 / Wan 3D Causal VAE 里，为什么时间维 latent 长度是T = F − 1 4 + 1 T=\frac{F-1}{4}+1T=4F−1​+1这个“后续帧 4 倍时间压缩”到底是怎么在网络里实现的？“3D Causal”到底体现在哪里？左侧 padding 又是什么意思？如果按 Show-o2 的 432×432 配置来算，10B vision token 到底对应多少图片、多少视频、多少 GB 原始数据？整篇文章尽量按高中生也能看懂的方式来讲，但公式会保留完整。相关结论主要基于 Show-o2 官方仓库、Wan2.1 官方代码，以及 OD-VAE 论文。Show-o2 官方明确写到：它是在text token + 3D Causal VAE space上做统一学习；Wan 官方代码则直接给出了时间长度、padding、cache 和下采样实现。(GitHub)1. 四类模型的“视觉表征路线图”先把四个模型放在同一张图里看：1.1 Emu3.5Emu3.5 的公开仓库直接发布了独立的Emu3.5-VisionTokenizer，而且整个模型是“原生 next-token prediction”路线。这说明它属于非常典型的“先把图像离散化成视觉 token，再和文本 token 一起统一建模”的路径。(GitHub)1.2 Show-o2Show-o2 官方仓库写得很清楚：它不是把图像先变成离散视觉词表 token 再交给统一序列模型，而是把视觉内容放进3D Causal VAE space；同时它还用了autoregressive modeling + flow matching的多头设计。也就是说，Show-o2 更像“连续 latent / VAE 潜空间”路线，而不是“典型离散视觉 tokenizer”路线。(GitHub)1.3 Show-oShow-o 的论文和官方页都明确说：它把文本 token做自回归建模，同时把图像 token放进discrete denoising diffusion里。这说明它确实是“离散图像 token”路线，只不过图像生成不是纯自回归，而是离散扩散。(GitHub)1.4 ChameleonChameleon 论文明确把自己描述成early-fusion token-based mixed-modal model；Hugging Face 的官方文档也写了，它使用VQ-VAE / vector quantizer把图像编码成离散 token。所以 Chameleon 也是很典型的“早融合 + 离散视觉 token”路线。(arXiv)2. 一句话看懂四条路线的区别可以把这四个模型压成一句话：Emu3.5：明确有独立VisionTokenizer，图像走离散视觉 token路线。(GitHub)Show-o2：视觉放进3D Causal VAE latent space，更像连续潜变量路线。(GitHub)Show-o：图像先变成离散 image tokens，再做discrete diffusion。(GitHub)Chameleon：图像用VQ-VAE压成离散 token，再和文本做早融合统一序列。(arXiv)所以，如果有人问：“Show-o2 有没有视觉 tokenizer？”更准确的回答应该是：Show-o2 有视觉编码器，但更准确地说，它依赖的是 3D Causal VAE latent encoder，而不是 Emu3.5 / Chameleon 那种典型的离散视觉 tokenizer。(GitHub)3. Show-o2 的 432×432 配置里，最关键的几个数字我们后面所有计算，都会基于 Show-o2 官方公开配置里的这些数字。在showo2_1.5b_stage_1_a.yaml里，可以直接读到：分辨率：432 × 432 432\times432432×432图像 latent 高宽：27 × 27 27\times2727×27单张图像 token 数：729 729729视频 token 数：3645 36453645同时还可以看到：27 × 27 = 729 27\times27=72927×27=729这说明在 432×432 设定下，空间上等价于每边缩小了 16 倍，因为：432 ÷ 16 = 27 432\div16=27432÷16=27这些数字都能从官方 config 中直接读出来。(GitHub)4. 为什么说 Show-o2 的“视频 token”不能直接拿 README 里的 32 帧去对应？这是一个非常容易误解的点。Show-o2 README 里，视频理解 demo 的命令确实出现了：num_video_frames_mmu = 32 \text{num\_video\_frames\_mmu}=32num_video_frames_mmu=32但与此同时，公开 config 里又写着：num_video_tokens = 3645 \text{num\_video\_tokens}=3645num_video_tokens=3645如果我们把 3645 除以单张图的 729，就得到：3645 ÷ 729 = 5 3645\div729=53645÷729=5这表示视频在 latent 空间里的时间长度是 5。而 Wan 的时间公式是：T = F − 1 4 + 1 T=\frac{F-1}{4}+1T=4F−1​+1把T = 5 T=5T=5代进去：5 = F − 1 4 + 1 5=\frac{F-1}{4}+15=4F−1​+1F = 17 F=17F=17所以更自洽的解释是：3645 个 video tokens 对应的是 432×432、17 帧视频片段，而不是直接对应 README 里演示脚本的 32 帧参数。也就是说，README 的num_video_frames_mmu=32不能直接和 config 里的3645一一对应。这个结论来自 Show-o2 的 config、README demo 参数，以及 Wan 的时间长度公式三者联合推导。(GitHub)5. 为什么时间维 latent 长度是T = F − 1 4 + 1 T=\frac{F-1}{4}+1T=4F−1​+1这是整篇文章里最核心的公式之一。5.1 先解释符号设原视频一共有F FF帧。压缩到 VAE latent 以后，时间维长度变成T TT。我们想解释的就是：T = F − 1 4 + 1 T=\frac{F-1}{4}+1T=4F−1​+1Wan 官方代码里直接把时间维写成：( ( F − 1 ) / / 4 + 1 ) ((F-1)//4+1)((F−1)//4+1)同时要求输入帧数满足：F = 4 n + 1 F=4n+1F=4n+1如果刚好满足这个形式，就可以把整除写成普通除法。(GitHub)5.2 为什么要先减 1？因为第 1 帧是单独处理的。OD-VAE 的 HTML 版本写得很清楚：它保持第 1 帧的时间独立性，只对第 1 帧做空间压缩；后续帧才同时做时间压缩和空间压缩。(arXiv)这句话翻成更容易懂的话就是：第 1 帧像“封面”后面的帧像“正文”封面页先单独留出来，所以总帧数F FF里，要先拿走 1 帧，剩下：F − 1 F-1F−15.3 为什么后面要除以 4？因为后续帧在时间维上做的是4 倍压缩。OD-VAE 的核心思想就是：除了第一帧之外，后续帧在时间维和空间维都会被压缩。Wan 的实现中，这个时间压缩率最后就是 4。(arXiv)所以后面的F − 1 F-1F−1帧压缩后，时间长度变成：F − 1 4 \frac{F-1}{4}4F−1​5.4 为什么最后还要再加 1？因为第 1 帧虽然不参与“后续帧的 4 倍时间压缩”，但它自己仍然要占一个独立的 latent 时间位置。所以总时间长度是：T = 1 + F − 1 4 T=1+\frac{F-1}{4}T=1+4F−1​也就是：T = F − 1 4 + 1 T=\frac{F-1}{4}+1T=4F−1​+1这就是这个公式最直观的来源。OD-VAE 的“first frame temporal independence”和 Wan 的代码实现是完全对得上的。(arXiv)6. “后续帧 4 倍时间压缩”到底是怎么实现的？很多人看到上面的公式，会以为“4 倍压缩”是直接把 4 帧手工捏成 1 帧。其实不是。更准确地说，它是：2 × 2 = 4 2\times2=42×2=4也就是两次时间减半叠出来的。Wan 的 VAE 代码里，默认配置是：temperal_downsample = [ F a l s e , T r u e , T r u e ] \text{temperal\_downsample}=[False, True, True]temperal_downsample=[False,True,True]这表示有 3 个相关阶段：第 1 个阶段：不做时间下采样第 2 个阶段：做时间下采样第 3 个阶段：再做一次时间下采样而downsample3d的时间卷积部分写的是：卷积核大小：( 3 , 1 , 1 ) (3,1,1)(3,1,1)stride：( 2 , 1 , 1 ) (2,1,1)(2,1,1)这里最重要的是：stride t = 2 \text{stride}_t=2stridet​=2意思就是：时间维每做一次，长度大约减半。两次下来就是：1 2 × 1 2 = 1 4 \frac12\times\frac12=\frac1421​×21​=41​所以后续帧整体上就变成了4 倍时间压缩。(GitHub)7. “3D Causal”到底是什么意思？7.1 3D 是什么3D 不是说它理解三维世界，而是说这个卷积处理的是一个 5 维张量：[ B , C , T , H , W ] [B,C,T,H,W][B,C,T,H,W]其中：B BB：batchC CC：通道数T TT：时间H , W H,WH,W：空间高宽也就是说，这个卷积核一次会同时看：时间维空间高空间宽Wan 的CausalConv3d本质上就是nn.Conv3d的一个变种。(GitHub)7.2 Causal 是什么Causal 就是“因果性”，意思是：第t tt个输出只能看第t tt帧以及更早的帧，不能偷看未来帧。比如你在算第 10 帧的特征时：可以看第 8、9、10 帧不能看第 11、12 帧这就是 causal。Wan 的实现方法很直接：它在CausalConv3d里把时间 padding 改成了：( 2 × pad t , 0 ) (2\times \text{pad}_t,\ 0)(2×padt​,0)也就是：时间维左边补时间维右边不补代码里对应的是：self._padding = (..., 2 * self.padding[0], 0) self.padding = (0, 0, 0)如果有历史缓存cache_x，它还会先做：x = torch.cat([cache_x, x], dim=2) padding[4] -= cache_x.shape[2]意思是：先把过去的帧接到当前输入前面，再减少需要补的左侧 padding。整个过程都不会让未来帧跑进来。(GitHub)8. 为什么说“左侧 padding”是 causal 的关键？普通卷积常见的是“左右对称 padding”，但那样容易让当前输出看到未来。Wan 的CausalConv3d则是：空间维依然对称 padding时间维只左 padding，不右 padding这意味着第t tt个输出时间窗口会长成：一部分来自更早的历史一部分来自当前不会包含将来的时间位置这就是“只能看过去和现在，不看未来”的数学实现。Wan 代码里self._padding = (..., 2 * self.padding[0], 0)是最直接的证据。(GitHub)9. 用一个完整数字例子，手算一次左侧 padding 和 3D Causal 卷积下面这个例子是教学用玩具例子，不是 Wan 真实训练出来的权重。它的作用是帮你把“左 padding + 3D causal 卷积”一步一步算清楚。9.1 输入视频假设有 4 帧，每帧都是2 × 2 2\times22×2，单通道。第 1 帧：F 1 = [ 1 2 3 4 ] F_1= \begin{bmatrix} 1 2\ 3 4 \end{bmatrix}F1​=[1​23​4​]第 2 帧：F 2 = [ 5 6 7 8 ] F_2= \begin{bmatrix} 5 6\ 7 8 \end{bmatrix}F2​=[5​67​