本地部署 · 标签 · tool-hub.xyz

1

单卡7900XTX 24GB + 64GB DDR4 Avalon (Qwen3.8-Flash-Next) Windows 部署文档深度 11实用 4

Avalon (Qwen3.8-Flash-Next) Windows 部署文档日期：2026-11-07 硬件：AMD RX 7900 XTX 24GB / Ryzen 5 5600G / DDR4 双通道（系统实际识别 63.4 GB）项目： https://github.com/freriadoc/Avalon （llama.cpp 分支，专为 Qwen3.8-Flash-Next 125B MoE 优化）成果：Windows 下从零编译部署成功，实测生成 54–58 t/s（MTP，512 token）一、最终部署布局项路径 / 值源码 C:\AI\Avalon （git clone，main 分支）可执行文件 C:\AI\Avalon\build\bin\llama-server.exe 启动脚本 C:\AI\Avalon\avalon-server.bat 模型 C:\AI\models\Avalon-GGUF （91 GiB，33 分片 IQ3_KS + MTP + moe-cache-ranking.bin） HIP SDK C:\Program Files\AMD\ROCm\7.2 编译脚本 C:\AI\Avalon\build_windows.bat （首次）/ build_only.bat （增量）服务地址 http://0.0.0.0:8080 （OpenAI 兼容 /v1/chat/completions ） ️ 模型必须放在 NVMe SSD 。放机械硬盘时生成仅 3–6 t/s，挪到 NVMe 后 49–58 t/s。模型里有个 36 GB 的 per-layer token embedding 张量每个 token 都要访问，HDD 随机读直接把速度打死。二、环境准备 Visual Studio 2026 Community （含 MSVC 14.51、CMake、Ninja）——VS 自带 CMake 路径： C:\Program Files\Microsoft Visual Studio\18\Communit…

0 抡锤者模型部署讨论2026-11-09 1 天前评论原文 1 分 · 2 评论

2

16G 5070Ti把用Strata的flash next换成Basalt，实测快1.4倍！白拿的性能！深度 12实用 4

benchmark hardware local

背景：一直对Strata的在5070Ti 16G 跑的8030 端口之前跑的Strata 0.2.9（IQ3_XXS，204800 上下文）的速度不太满意，今天突然发现一个青出于蓝而胜于蓝的选项。直接开测。 Basalt 是 Strata 的 fork，改动集中在 CPU 调度层：更细的 row-range 任务切分、i-quant 走 AVX-VNNI、单文件 .basalt 格式。社区里常见 2 倍的说法，所以拿同机同模型做了对比。结论：确实更快，但没有 2 倍，实测 1.26 到 1.42 倍。一、前后对比同一台机器、同一个模型（Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS）、同一张卡（250 W 锁功耗），basalt-bench 固定 seed：指标 Strata 0.2.9 Basalt 0.3.0 倍率 prefill 64K 1960 tok/s 2725 tok/s 1.39 decode（MTP 接受率 65-70%） 58 tok/s 73 tok/s 1.26 decode（接受率 97-98%） 104 tok/s 148 tok/s 1.42 decode 的差异主要来自 MTP 接受率：接受率高时窗口里挤进更多 token，固定开销被摊薄。两个引擎都是这个规律。二、为什么不是 2 倍社区里 2 倍的数据基本出自 5 GHz、带 AVX-VNNI 的桌面 CPU（9950X、285K 之类）。这台是 Xeon Gold 6252，2019 年的 Cascade Lake，2.1 GHz。从三个 fixture 反推窗口开销，能拟合出：每个 decode 窗口约 19 ms 固定 + 4.1 ms/token 。48 层摊下来每层约 0.4 ms，花在 CPU 侧串行的专家点积和主机与卡之间的握手上，不在显卡算力。几个直接证据：引擎启动日志自己写了： this CPU has no AVX-512: the expert kernels run on AVX-2 。这颗 U 有 AVX512-V…

0 抡锤者模型部署讨论2026-11-09 2 天前评论原文 4 分 · 18 评论

3

双11准备入手7900xtx，配置大神指点HOT深度 8实用 5

hardware local generate

按用途分开看，别用一套配置硬套：文生图（ComfyUI）：单卡最省事。ComfyUI 默认一条工作流只吃一张卡，双卡要自己拆节点或并行采样，收益不稳定；先单卡，不够再加。本地 LLM（Qwen 27B / Flash Next）：单路双卡最有性价比。TP2 把模型切到两张卡，decode 大约能到单卡的 1.6–1.8 倍；双路双卡跨 CPU socket 的 P2P 会退化，除非确定要四卡，不建议。 MiniMax H3：别拿 7900XTX 做基准。2920 帖实测单卡 15 秒 OOM 是音频 VAE 单次申请 3–10GiB，不是 24G 容量不够；5080 16G 反而能跑。H3 是刚需就单独配 N 卡。结论：单路…

0 抡锤者 AI硬件2026-11-09 16 小时前评论原文 2 评论

4

给 DGX Spark 写了个零依赖实时监控面板：1 个 Python 文件 + 1 个 HTML 文件深度 10实用 4

local benchmark tutorial

给 DGX Spark 写了个零依赖实时监控面板：1 个 Python 文件 + 1 个 HTML 文件起因：在 DGX Spark 上跑大模型时，想随时看清 CPU / GPU / 统一内存 / 磁盘 / 网络 / 推理吞吐的真实状态，以及推理引擎（推理服务）到底跑得怎么样。官方 Dashboard 看不了推理细节， nvtop / btop 又看不到 LLM 侧的指标，索性自己写了一个。约束：零第三方依赖 ——后端只用 Python 标准库，前端单文件 HTML + 原生 JS，不引任何 CDN。拷过去 python3 monitor.py 就能跑。 [整体效果] 目录它有什么架构值得抄的 6 个实现细节部署踩坑清单文件清单已知限制它有什么 17 个面板，全部可拖动、可缩放、可换位置，布局存在浏览器本地，导出一段 JSON 就能在别的机器上复现。顶部 9 张 KPI 卡带迷你走势线；中间 6 张曲线图支持鼠标悬停出十字线和数值气泡，Y 轴单位会在 B/s → KB/s → MB/s 之间自动切换。 [LLM 运维区] 上排是推理引擎（running/waiting、解码速度、TTFT、TPOT、KV Cache 分池占用、MTP 接受率）、容器 llm （CPU / 内存 / net / block IO）、一键测速（发一次真实对话，按 usage 计数算吞吐）。下排是硬件明细： CPU 每核负载（20 核 GB10）、温度传感器 / 风扇（带过热状态染色）、磁盘 I/O 、网络接口（含错误/丢包计数）。 [硬件表格区] 再往下是进程 Top 、引擎指标明细表、当前生效配置（直接读容器里的环境变量，一眼看到 TF_SOLO_ROWS / TF_SPILL_GIB 这些实际生效的参数）、容器日志尾部。 [进程 / 引擎指标 / 生效配置] 交互细节鼠标悬停在曲线上，十字线定位到具体时刻，气泡给出该时刻的各序列数值： [悬停交互] 拖卡片标题栏换位置，拖右下角的小三角改大小。布局可以导出成 JSON：…

0 抡锤者 Agent 工具2026-11-09 4 天前评论原文 1 分 · 5 评论

5

【实测分享】单张 RTX 5080 16GB 本地跑 MiniMax H3 视频：16GB 显存够用，FastH3 一条 10 秒镜头约 3 分钟（附官方 8 步 / Pika 6 步 / 三种输入对比）深度 8实用 4

lowspec benchmark generate

很赞，看了你的帖子，我把7900xtx退了，现在要转投N卡，我的主要用途是跑文生图，图生视频。不跑本本地LLM。目前考虑5080 16G/4080 32G魔改卡/rtx pro 4000 24G，我希望每次能生成10秒或者15秒1344x768的视频。请楼主给一些意见，谢谢标签：rtx5080 / minimax / 视频生成

0 抡锤者 AI硬件2026-11-09 2 天前评论原文 1 分 · 4 评论

6

7900 XTX + 128GB：Strata RDNA3 三档模型精度测试深度 10实用 3

local benchmark tutorial

128G ram，最高跑到UD-Q5_K_XL，最低测了IQ4_XS-v31 + N-gramQ8. 发出来方便大家参考硬件 / 软件环境项目环境 CPU AMD Ryzen 9 5900XT，16核32线程，AVX2 GPU AMD Radeon RX 7900 XTX，24GB，gfx1100 内存 128GB；系统可用约125.7GiB 模型存储 XG7000 1TB NVMe，ZFS 系统 TrueNAS 25.10.7，Linux 6.12.105-production+truenas AMDGPU 7.1.9.31600000 ROCm 10.1.0，系统路径 /opt/rocm hipBLASLt 100401，匹配 gfx1100 调优表（43行）推理后端 Strata RDNA3 fork，具体引擎版本见下表 GPU 队列引擎 GPU_MAX_HW_QUEUES=6；视觉助手限制为2 ZFS ARC 自动管理，zfs_arc_max=0 文件体积与速度总表 PP = prefill，TG = decode，速度单位均为tokens/s；每格按 PP / TG 排列。GB按10⁹字节，括号GiB按2³⁰字节。配置引擎版本原GGUF分片合计 GB（GiB）实际N-gram / PLE GGUF＋所用外置表 GB 约8K输入 PP / TG 长输入 PP / TG IQ4_XS-v31 0.1.49.1 93.67（87.24）外置Q8_0，54.40GB；mmap；1MiB块 148.07 802.3 / 65.5 32K：1126.8 / 62.7；128K：1489.9 / 60.0 UD-Q4_K_XL 0.1.43 111.33（103.69）内置IQ4_NL，28.80GB；ram 111.33 2082.7 / 57.4 64,358 tokens：3670.2 / 58.3 UD-Q5_K_XL 0.1.49.1 158.29（147.42）外置Q8_0，54.40GB；direct；16KiB块 212.69…

0 抡锤者模型部署讨论2026-11-09 10 小时前评论原文 1 分 · 3 评论

7

【双卡视频生成无痛提升18.8%】出片跨卡拆分为主项的视频生成优化项目——Kuzuryūsen本质是Combo深度 9

hardware local generate

其实我对Radiance项目的理解很肤浅。很多的情况是基于我跟AI聊天所获得的信息。尽管参与过对Radiance在7900XTX平台上的移植，但当时只是单纯觉得实现TP=2就是实现了复刻移植。直到昨天，听了老特对Radiance项目拆解介绍，我攸有种顿悟的感觉。 https://lcz.me/topic/2826 客观讲，Radiance项目最大的收益来自于TP=2的系列优化，这没错。但是不能说实现了TP=2就复刻了 Radiance这个项目。简单说，TP=2只是实现了把单车道拓成双车道，但Radiance的本质，更接近于双车道的红绿灯系统+交警管制。如果能更好的调整通道，是不是可以在TP=2的基础上进一步提升效率，不断地逼进帕累托最优状态？这是我的猜想，这也是进一步要验证的。成果还是挺让我惊喜的：在视频生成范畴，在大分辨率，长视频生成过程中，累加TP=2的最大优化最多可以节约18.8%的生成时间，重要的是没有代价，无痛提升。本项目的参数相对温和，调参至激进策略需要牺牲一部分画质，在此基础上仍有20%~25%的加速空间。在拆解的过程中发现Radiance确实是个很优秀的项目，目前本项目对照Radiance仍优化空间。之后的优化对象难度较大，需要时间，项目分持续更新。（详见文件第6部分）项目名称不是耍宝，整体的思路就是通过平A的组合换得一个大招。这跟《浪客剑心》中比古清十郎教授的九头龙闪，简直异曲同工。这个项目中，单个项目MLP 分块、VAE 跨卡、心跳兜底、帧计划对账优化收益微小，甚至无收益。但放在整个项目组合后放大，甚至取得非线性收益（如VAE拆分）。同时也致敬我非常喜欢的动漫作品《浪客剑心》。 -------------------------祖传手打分割线-------------------------- Kuzuryūsen · 九頭龍閃把 H3 视频生成在两张卡上拆成两条并行流水：采样阶段把 MLP 切块、让 all_reduce 与 GEMM 在独立流上重叠；出片阶段把 VAE 解码按模型自带的时间块分给两卡，再用点对点交换接缝帧。…

0 抡锤者 AI 音视频画图2026-11-09 4 天前评论原文 7 分 · 21 评论

8

RustingStrata 运行 Qwen3.6:35b-a3b 与 Q5 和 MTP vs llama.cpp

local

RustingStrata running Qwen3.6:35b-a3b with Q5 and MTP vs llama.cpp

People asked how RustingStrata does with a bigger quant, so here's Q5_K_M on the same 3060 12 GB + Ryzen 5 7600X + 32GB DDR5 RAM. Model is unsloth's Qwen3.6-35B-A3B UD-Q5_K_M (the MTP version), 25 GiB, so about two thirds of the experts live on the CPU. llama.cpp is build 12119, -ncmoe 29 -ub 2048 -b 2048 -fa 1 (28 ru…

0 r/LocalLLaMA2026-11-09 11 小时前评论原文

标签：本地部署