【双卡视频生成无痛提升18.8%】出片跨卡拆分为主项的视频生成优化项目——Kuzuryūsen本质是Combo

其实我对Radiance项目的理解很肤浅。很多的情况是基于我跟AI聊天所获得的信息。尽管参与过对Radiance在7900XTX平台上的移植，但当时只是单纯觉得实现TP=2就是实现了复刻移植。 直到昨天，听了老特对Radiance项目拆解介绍，我攸有种顿悟的感觉。 https://lcz.me/topic/2826 客观讲，Radiance项目最大的收益来自于TP=2的系列优化，这没错。但是不能说实现了TP=2就复刻了 Radiance这个项目。 简单说，TP=2只是实现了把单车道拓成双车道，但Radiance的本质，更接近于双车道的红绿灯系统+交警管制。如果能更好的调整通道，是不是可以在TP=2的基础上进一步提升效率，不断地逼进帕累托最优状态？这是我的猜想，这也是进一步要验证的。 成果还是挺让我惊喜的： 在视频生成范畴，在大分辨率，长视频生成过程中， 累加TP=2的最大优化最多可以节约18.8%的生成时间，重要的是没有代价，无痛提升。 本项目的参数相对温和，调参至激进策略需要牺牲一部分画质，在此基础上仍有20%~25%的加速空间。 在拆解的过程中发现Radiance确实是个很优秀的项目，目前本项目对照Radiance仍优化空间。之后的优化对象难度较大，需要时间，项目分持续更新。（详见文件第6部分） 项目名称不是耍宝，整体的思路就是通过平A的组合换得一个大招。这跟《浪客剑心》中比古清十郎教授的九头龙闪，简直异曲同工。 这个项目中，单个项目MLP 分块、VAE 跨卡、心跳兜底、帧计划对账优化收益微小，甚至无收益。但放在整个项目组合后放大，甚至取得非线性收益（如VAE拆分）。 同时也致敬我非常喜欢的动漫作品《浪客剑心》。 -------------------------祖传手打分割线-------------------------- Kuzuryūsen · 九頭龍閃 把 H3 视频生成在两张卡上拆成两条并行流水：采样阶段把 MLP 切块、让 all_reduce 与 GEMM 在独立流上重叠；出片阶段把 VAE 解码按模型自带的时间块分给两卡，再用点对点交换接缝帧。…