低延迟场景部署

本页目录

低延迟部署以缩短单次生成耗时为目标，同时仍需满足显存和主机内存要求。尚未确定优化方向时，可先阅读选择加速方案。以下按是否使用蒸馏权重介绍两条路径。

💡 方案一：步数蒸馏模型的推理

该方案可以参考步数蒸馏文档

步数蒸馏使用匹配的蒸馏权重，以更少的采样步数完成生成。从 50 步减少到 4 步可减少去噪计算，但总耗时还包含编码、VAE 解码和数据传输，不能直接按 4/50 估算整体耗时。请使用与权重配套的采样步数和 CFG 设置，并检查生成效果；仅降低原始模型的步数不等同于使用蒸馏模型。按具体模型的支持情况，还可评估以下组合：

1. 高效注意力机制方案
2. 模型量化

💡 方案二：非步数蒸馏模型的推理

没有适用的蒸馏权重，或蒸馏结果不满足质量要求时，可以保留原始模型，再评估其他优化方法。使用已有蒸馏权重进行推理不需要自行训练。

对于非步数蒸馏的原始模型，我们可以使用以下方案或者多种方案结合的方式进行加速：

1. 并行推理 进行多卡并行加速。
2. 特征缓存 复用部分时间步的中间结果，减少重复计算。
3. 高效注意力机制方案 加速 Attention 的推理。
4. 模型量化 加速 Linear 层的推理。
5. 变分辨率推理 降低中间推理步的分辨率。

💡 使用Tiny VAE

在某些情况下，VAE部分耗时会比较大，可以使用轻量级VAE进行加速，同时也可以降低一部分显存。

{
    "use_tae": true,
    "tae_path": "/path to taew2_1.pth"
}

taew2_1.pth 权重可以从这里下载

⚠️ 注意

有一部分的加速方案之间目前无法结合使用，我们目前正在致力于解决这一问题。

如有问题，欢迎在 🐛 GitHub Issues 中进行错误报告或者功能请求