tool-hub.xyz 关于

本地低配

最近 7 天，共 12 条

  1. 1

    单卡7900XTX 24GB + 64GB DDR4 Avalon (Qwen3.8-Flash-Next) Windows 部署文档深度 11实用 4

    localbenchmark

    Avalon (Qwen3.8-Flash-Next) Windows 部署文档 日期：2026-11-07 硬件：AMD RX 7900 XTX 24GB / Ryzen 5 5600G / DDR4 双通道（系统实际识别 63.4 GB） 项目： https://github.com/freriadoc/Avalon （llama.cpp 分支，专为 Qwen3.8-Flash-Next 125B MoE 优化） 成果：Windows 下从零编译部署成功，实测生成 54–58 t/s（MTP，512 token） 一、最终部署布局 项 路径 / 值 源码 C:\AI\Avalon （git clone，main 分支） 可执行文件 C:\AI\Avalon\build\bin\llama-server.exe 启动脚本 C:\AI\Avalon\avalon-server.bat 模型 C:\AI\models\Avalon-GGUF （91 GiB，33 分片 IQ3_KS + MTP + moe-cache-ranking.bin） HIP SDK C:\Program Files\AMD\ROCm\7.2 编译脚本 C:\AI\Avalon\build_windows.bat （首次）/ build_only.bat （增量） 服务地址 http://0.0.0.0:8080 （OpenAI 兼容 /v1/chat/completions ） ️ 模型 必须放在 NVMe SSD 。放机械硬盘时生成仅 3–6 t/s，挪到 NVMe 后 49–58 t/s。模型里有个 36 GB 的 per-layer token embedding 张量每个 token 都要访问，HDD 随机读直接把速度打死。 二、环境准备 Visual Studio 2026 Community （含 MSVC 14.51、CMake、Ninja）——VS 自带 CMake 路径： C:\Program Files\Microsoft Visual Studio\18\Communit…

    0 抡锤者 模型部署讨论2026-11-09 评论 原文 1 分 · 2 评论

  2. 2

    16G 5070Ti把用Strata的flash next换成Basalt，实测快1.4倍！白拿的性能！深度 12实用 4

    benchmarkhardwarelocal

    背景：一直对Strata的在5070Ti 16G 跑的8030 端口之前跑的Strata 0.2.9（IQ3_XXS，204800 上下文）的速度不太满意，今天突然发现一个青出于蓝而胜于蓝的选项。直接开测。 Basalt 是 Strata 的 fork，改动集中在 CPU 调度层：更细的 row-range 任务切分、i-quant 走 AVX-VNNI、单文件 .basalt 格式。社区里常见 2 倍的说法，所以拿同机同模型做了对比。 结论： 确实更快，但没有 2 倍，实测 1.26 到 1.42 倍 。 一、前后对比 同一台机器、同一个模型（Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS）、同一张卡（250 W 锁功耗），basalt-bench 固定 seed： 指标 Strata 0.2.9 Basalt 0.3.0 倍率 prefill 64K 1960 tok/s 2725 tok/s 1.39 decode（MTP 接受率 65-70%） 58 tok/s 73 tok/s 1.26 decode（接受率 97-98%） 104 tok/s 148 tok/s 1.42 decode 的差异主要来自 MTP 接受率：接受率高时窗口里挤进更多 token，固定开销被摊薄。两个引擎都是这个规律。 二、为什么不是 2 倍 社区里 2 倍的数据基本出自 5 GHz、带 AVX-VNNI 的桌面 CPU（9950X、285K 之类）。这台是 Xeon Gold 6252，2019 年的 Cascade Lake，2.1 GHz。 从三个 fixture 反推窗口开销，能拟合出： 每个 decode 窗口约 19 ms 固定 + 4.1 ms/token 。48 层摊下来每层约 0.4 ms，花在 CPU 侧串行的专家点积和主机与卡之间的握手上，不在显卡算力。 几个直接证据： 引擎启动日志自己写了： this CPU has no AVX-512: the expert kernels run on AVX-2 。这颗 U 有 AVX512-V…

    0 抡锤者 模型部署讨论2026-11-09 评论 原文 4 分 · 18 评论

  3. 3

    双11准备入手7900xtx，配置大神指点HOT深度 8实用 5

    hardwarelocalgenerate

    按用途分开看，别用一套配置硬套： 文生图（ComfyUI）：单卡最省事。ComfyUI 默认一条工作流只吃一张卡，双卡要自己拆节点或并行采样，收益不稳定；先单卡，不够再加。 本地 LLM（Qwen 27B / Flash Next）：单路双卡最有性价比。TP2 把模型切到两张卡，decode 大约能到单卡的 1.6–1.8 倍；双路双卡跨 CPU socket 的 P2P 会退化，除非确定要四卡，不建议。 MiniMax H3：别拿 7900XTX 做基准。2920 帖实测单卡 15 秒 OOM 是音频 VAE 单次申请 3–10GiB，不是 24G 容量不够；5080 16G 反而能跑。H3 是刚需就单独配 N 卡。 结论：单路…

    0 抡锤者 AI硬件2026-11-09 评论 原文 2 评论

  4. 4

    给 DGX Spark 写了个零依赖实时监控面板：1 个 Python 文件 + 1 个 HTML 文件深度 10实用 4

    localbenchmarktutorial

    给 DGX Spark 写了个零依赖实时监控面板：1 个 Python 文件 + 1 个 HTML 文件 起因：在 DGX Spark 上跑大模型时，想随时看清 CPU / GPU / 统一内存 / 磁盘 / 网络 / 推理吞吐的真实状态， 以及推理引擎（推理服务）到底跑得怎么样。官方 Dashboard 看不了推理细节， nvtop / btop 又看不到 LLM 侧的指标，索性自己写了一个。 约束：零第三方依赖 ——后端只用 Python 标准库，前端单文件 HTML + 原生 JS，不引任何 CDN。 拷过去 python3 monitor.py 就能跑。 [整体效果] 目录 它有什么 架构 值得抄的 6 个实现细节 部署 踩坑清单 文件清单 已知限制 它有什么 17 个面板，全部可拖动、可缩放、可换位置 ，布局存在浏览器本地，导出一段 JSON 就能在别的机器上复现。 顶部 9 张 KPI 卡带迷你走势线；中间 6 张曲线图支持鼠标悬停出十字线和数值气泡，Y 轴单位会在 B/s → KB/s → MB/s 之间自动切换。 [LLM 运维区] 上排是 推理引擎 （running/waiting、解码速度、TTFT、TPOT、KV Cache 分池占用、MTP 接受率）、 容器 llm （CPU / 内存 / net / block IO）、 一键测速 （发一次真实对话，按 usage 计数算吞吐）。 下排是硬件明细： CPU 每核负载 （20 核 GB10）、 温度传感器 / 风扇 （带过热状态染色）、 磁盘 I/O 、 网络接口 （含错误/丢包计数）。 [硬件表格区] 再往下是 进程 Top 、 引擎指标明细表 、 当前生效配置 （直接读容器里的环境变量，一眼看到 TF_SOLO_ROWS / TF_SPILL_GIB 这些实际生效的参数）、 容器日志尾部 。 [进程 / 引擎指标 / 生效配置] 交互细节 鼠标悬停在曲线上，十字线定位到具体时刻，气泡给出该时刻的各序列数值： [悬停交互] 拖卡片标题栏换位置，拖右下角的小三角改大小。布局可以导出成 JSON：…

    0 抡锤者 Agent 工具2026-11-09 评论 原文 1 分 · 5 评论

  5. 5

    【实测分享】单张 RTX 5080 16GB 本地跑 MiniMax H3 视频：16GB 显存够用，FastH3 一条 10 秒镜头约 3 分钟（附官方 8 步 / Pika 6 步 / 三种输入对比）深度 8实用 4

    lowspecbenchmarkgenerate

    很赞，看了你的帖子，我把7900xtx退了，现在要转投N卡，我的主要用途是跑文生图，图生视频。不跑本本地LLM。目前考虑5080 16G/4080 32G魔改卡/rtx pro 4000 24G，我希望每次能生成10秒或者15秒1344x768的视频。请楼主给一些意见，谢谢 标签：rtx5080 / minimax / 视频生成

    0 抡锤者 AI硬件2026-11-09 评论 原文 1 分 · 4 评论

  6. 6

    X99-TF不兼容32GB U-DIMM DDR4深度 9

    hardware

    因为我原来的华硕B760-PLUS主板 + i5-13500不支持7900XTX双卡TP，所以近期打算换个主板。 我和华南金牌客服沟通X99-TF + E5 2696V4可以支持DDR3/DDR4/U-DIMM/DIMM比较灵活，如果我单纯用DDR3或者DDR4内存条之间的散热间隙也较大，再加上我手上有4根16GB DDR4和2根32GB DDR4(都是U-DIMM)就想复用一下。 结果发现16GB U-DIMM DDR4确实能用，而32GB的就不行了，以下是结合我的测试让AI帮忙写的总结： DDR4 内存条兼容性分析：32GB U-DIMM 为何点不亮 记录时间：2026-11-08 平台：华南金牌 X99-TF（BIOS AMI 5.11，2026-09-11）+ Intel Xeon E5-2696 v4 系统：Windows 11 Pro（Build 26300） 一、结论 32GB U-DIMM 无法点亮，原因是 内存颗粒密度不兼容 ： 该 32GB 条使用 16Gb DDR4 颗粒； Broadwell-EP（E5 v4，2016 年）内存控制器只支持 4Gb / 8Gb 颗粒； 内存训练（Memory Training）失败 → 黑屏、无法 POST。 与“混插”无关，也不是内存条本身损坏——单条 32GB 都无法点亮就是最直接的证据。 二、现象记录 内存组合 结果 16GB × 1 正常点亮 16GB × 2 正常点亮 16GB × 4 正常点亮（四通道 64GB） 32GB × 1（单独） 黑屏、无 POST 32GB × 2（单独） 黑屏、无 POST 16GB + 32GB 混插 未测试（单条已失败，无意义） 现有内存：thinkplus DDR4-3200 16GB U-DIMM × 4 待测内存：Lenovo DDR4-3200 32GB U-DIMM（SN：1S1012097J451003B1） 三、原因分析 DDR4 无缓冲 U-DIMM 最多 2 个 rank，每个 rank 8 颗颗粒，共 16 颗： 容量 每颗颗粒 计算 16GB…

    0 抡锤者 AI硬件2026-11-09 评论 原文 2 分 · 7 评论

  7. 7

    7900 XTX + 128GB：Strata RDNA3 三档模型精度测试深度 10实用 3

    localbenchmarktutorial

    128G ram， 最高跑到UD-Q5_K_XL， 最低测了IQ4_XS-v31 + N-gramQ8. 发出来方便大家参考 硬件 / 软件环境 项目 环境 CPU AMD Ryzen 9 5900XT，16核32线程，AVX2 GPU AMD Radeon RX 7900 XTX，24GB，gfx1100 内存 128GB；系统可用约125.7GiB 模型存储 XG7000 1TB NVMe，ZFS 系统 TrueNAS 25.10.7，Linux 6.12.105-production+truenas AMDGPU 7.1.9.31600000 ROCm 10.1.0，系统路径 /opt/rocm hipBLASLt 100401，匹配 gfx1100 调优表（43行） 推理后端 Strata RDNA3 fork，具体引擎版本见下表 GPU 队列 引擎 GPU_MAX_HW_QUEUES=6；视觉助手限制为2 ZFS ARC 自动管理，zfs_arc_max=0 文件体积与速度总表 PP = prefill，TG = decode，速度单位均为tokens/s；每格按 PP / TG 排列。GB按10⁹字节，括号GiB按2³⁰字节。 配置 引擎版本 原GGUF分片合计 GB（GiB） 实际N-gram / PLE GGUF＋所用外置表 GB 约8K输入 PP / TG 长输入 PP / TG IQ4_XS-v31 0.1.49.1 93.67（87.24） 外置Q8_0，54.40GB；mmap；1MiB块 148.07 802.3 / 65.5 32K：1126.8 / 62.7；128K：1489.9 / 60.0 UD-Q4_K_XL 0.1.43 111.33（103.69） 内置IQ4_NL，28.80GB；ram 111.33 2082.7 / 57.4 64,358 tokens：3670.2 / 58.3 UD-Q5_K_XL 0.1.49.1 158.29（147.42） 外置Q8_0，54.40GB；direct；16KiB块 212.69…

    0 抡锤者 模型部署讨论2026-11-09 评论 原文 1 分 · 3 评论

  8. 8

    Stanford如何教授AI原生工程 — Mihail EricHOT深度 8

    agentfree

    [One Million AI Engineer Special] How Stanford Teaches AI-Native Engineering — Mihail Eric, Monaco

    学生如何处理编码代理可以完成上一年作业的提示？在Stanford的CS146S课程中，学生必须学习一个陌生仓库，提出修改，解释修改给可能合并它的人。

    0 Latent Space2026-11-09 评论 原文

  9. 9

    shanselman/gputaskman深度 9

    lowspec

    A GPU task manager for Windows, Linux, and WSL: per-process VRAM, GPU activity, and LLM model/KV-cache insights (Windows AMD and NVIDIA). (★ 1103 · Python)

    0 GitHub 新晋 AI 项目2026-11-09 评论 原文 ★ 1103

  10. 10

    如何在本地对比本地LLM？深度 8

    benchmark

    How do you locally benchmark and compare local LLMs?

    如果您想在本地比较多个离线LLM模型的性能（速度、效率、推理、工具使用、编程/编码等），什么策略、促发、软件是常用的？有很多模型可供选择和运行，我想确定最佳方法。

    0 r/LocalLLaMA2026-11-09 评论 原文

  11. 11

    sarpstar/cinecode深度 9

    agent

    Films made with code. Short films, long YouTube videos, ads, explainers and music videos: an AI coding agent writes the script, builds every frame in code, designs the sound and hands you an MP4. (★ 1631 · Python)

    0 GitHub 新晋 AI 项目2026-11-09 评论 原文 ★ 1631

  12. 12

    Sandflow-ai/sand3d深度 8

    3D modeling in Python, built for LLMs. (★ 1448 · HTML · 3d / blender / cad / llm)

    0 GitHub 新晋 AI 项目2026-11-09 评论 原文 ★ 1448

按日期