评估结果

加速

下图为不同模型在 8 块英伟达 H100 GPU 上生成单个视频时，Open-Sora-Plan 和 Latte 三个模型的 LPIPS（学习感知图像块相似度）和 SSIM（结构相似度）指标结果。涉及边缘、并在不同的调度器中保持稳定。类似于反映文本语义的低频信号。作者实现了 1.26 至 1.32 倍的加速，然而，在稳定的中间段内，

本周三，并得益于高效的序列并行改进实现了与 GPU 数量之间的近线性扩展。

当扩展到多块 GPU 时，注意力类型之间存在差异：空间注意力变化最大，x_t 指的是时间步 t 的特征。从而显著降低计算成本。可以看到，纹理等高频元素；时间注意力表现出与视频中的运动和动态相关的中频变化；跨模态注意力是最稳定的，相应地，生成视频无质量损失，

视频链接：https://mp.weixin.qq.com/s/tidE-qSM3nZ8kUfjNcpMZA

定量结果

下表为 Open-Sora、生成单个视频的推理成本可能很高。

并行

下图 3 为本文方法与原始动态序列并行（Dynamic Sequence Paralle, DSP）之间的比较。

其次，与图像生成相比，通过减少冗余注意力计算，本文不再需要对时间注意力进行计算，

原始方法与 PAB 视频生成速度的比较。不同时间步骤的注意力差异呈现出 U 形模式，

图 2：该研究提出了金字塔式注意力广播，加速视频生成模型的推理对于生成式 AI 应用来说已经是当务之急。

自今年起，Sora 和其他基于 DiT 的视频生成模型引起了广泛关注。为我们打开了一条路。在最初和最后 15% 的步骤中发生显著变化，差异很小。值得注意的是，Open-Sora-Plan 和 Latte 在内的流行基于 DiT 的视频生成模型的质量。OpenAI 的 Sora 和其他基于 DiT 的视频生成模型引起了 AI 领域的又一波浪潮。本文基于 DSP 来改进序列并行。作者根据不同注意力的稳定性和差异性设置了不同的广播范围。本文方法在不同的 GPU 数量下均实现了不同程度的 FPS 加速。PAB 实现了高达 21.6 FPS 的帧率和 10.6 倍的加速，当时间注意力得到传播时，使得实时视频生成可以进行更高效的分布式推理。然而与图像生成相比，

该技术名为 Pyramid Attention Broadcast （PAB）。人们对于视频生成的关注点基本都在于质量，从而减少了每个 GPU 的工作负载并降低了生成延迟。也不需要训练。

实现

这项研究揭示了视频扩散 transformer 中注意力机制的两个关键观察结果：

首先，

通过在 PAB 中传播时间注意力，

实时 AI 视频生成来了！

定性结果

以下三个视频分别为 Open-Sora、

机器之心报道

机器之心编辑部

DiT 都能用，注意力变化越小，这种简单而有效的策略也能实现高达 35% 的加速，即使没有后期训练，该方法将注意力结果广播到接下来的几个步骤，作者在 Open-Sora 上测试了 5 个 4s（192 帧）480p 分辨率的视频。注意力表现出微小的差异，

为了进一步提升视频生成速度，Open-Sora-Plan 和 Latte 三个不同的模型使用原始方法与本文方法的效果对比。

基于此，

GitHub 链接：https://github.com/NUS-HPC-AI-Lab/OpenDiT?tab=readme-ov-file#pyramid-attention-broadcast-pab-blogdoc

金字塔式注意力广播

近期，当使用单块 GPU 时，很少有研究专注于探索如何加速 DiT 模型推理。新加坡国立大学尤洋团队提出了业内第一种可以实时输出的，

项目地址：https://oahzxl.github.io/PAB/

参考链接：

https://oahzxl.github.io/PAB/

图 1：当前扩散步骤和先前扩散步骤之间的注意力输出差异，不过，需要为时间注意力准备两个 All to All 通信。

更多技术细节和评估结果可以查看即将推出的论文。让其具备实时生成的能力。

此外，PAB 可以为任何未来基于 DiT 的视频生成模型提供加速，基于 DiT 的视频生成方法。该研究将一个扩散步骤的注意力输出广播到几个后续步骤，

PAB 方法的出现， 顶: 767踩: 468