tool-hub.xyz 关于

16G 5070Ti把用Strata的flash next换成Basalt,实测快1.4倍!白拿的性能!

0 抡锤者 模型部署讨论 2026-11-09 4 分 · 18 评论 阅读原文 ↗

原文链接:https://lcz.me/topic/2892

背景:一直对Strata的在5070Ti 16G 跑的8030 端口之前跑的Strata 0.2.9(IQ3_XXS,204800 上下文)的速度不太满意,今天突然发现一个青出于蓝而胜于蓝的选项。直接开测。 Basalt 是 Strata 的 fork,改动集中在 CPU 调度层:更细的 row-range 任务切分、i-quant 走 AVX-VNNI、单文件 .basalt 格式。社区里常见 2 倍的说法,所以拿同机同模型做了对比。 结论: 确实更快,但没有 2 倍,实测 1.26 到 1.42 倍 。 一、前后对比 同一台机器、同一个模型(Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS)、同一张卡(250 W 锁功耗),basalt-bench 固定 seed: 指标 Strata 0.2.9 Basalt 0.3.0 倍率 prefill 64K 1960 tok/s 2725 tok/s 1.39 decode(MTP 接受率 65-70%) 58 tok/s 73 tok/s 1.26 decode(接受率 97-98%) 104 tok/s 148 tok/s 1.42 decode 的差异主要来自 MTP 接受率:接受率高时窗口里挤进更多 token,固定开销被摊薄。两个引擎都是这个规律。 二、为什么不是 2 倍 社区里 2 倍的数据基本出自 5 GHz、带 AVX-VNNI 的桌面 CPU(9950X、285K 之类)。这台是 Xeon Gold 6252,2019 年的 Cascade Lake,2.1 GHz。 从三个 fixture 反推窗口开销,能拟合出: 每个 decode 窗口约 19 ms 固定 + 4.1 ms/token 。48 层摊下来每层约 0.4 ms,花在 CPU 侧串行的专家点积和主机与卡之间的握手上,不在显卡算力。 几个直接证据: 引擎启动日志自己写了: this CPU has no AVX-512: the expert kernels run on AVX-2 。这颗 U 有 AVX512-V…

标签:benchmarkhardwarelocallowspec

讨论0

无需登录;同一 IP 每小时最多 8 条,发言请不要包含攻击性内容。

正在加载讨论……