tool-hub.xyz 关于

标签:教程步骤

最近 7 天,共 3 条

  1. 1

    给 DGX Spark 写了个零依赖实时监控面板:1 个 Python 文件 + 1 个 HTML 文件深度 10实用 4

    给 DGX Spark 写了个零依赖实时监控面板:1 个 Python 文件 + 1 个 HTML 文件 起因:在 DGX Spark 上跑大模型时,想随时看清 CPU / GPU / 统一内存 / 磁盘 / 网络 / 推理吞吐的真实状态, 以及推理引擎(推理服务)到底跑得怎么样。官方 Dashboard 看不了推理细节, nvtop / btop 又看不到 LLM 侧的指标,索性自己写了一个。 约束:零第三方依赖 ——后端只用 Python 标准库,前端单文件 HTML + 原生 JS,不引任何 CDN。 拷过去 python3 monitor.py 就能跑。 [整体效果] 目录 它有什么 架构 值得抄的 6 个实现细节 部署 踩坑清单 文件清单 已知限制 它有什么 17 个面板,全部可拖动、可缩放、可换位置 ,布局存在浏览器本地,导出一段 JSON 就能在别的机器上复现。 顶部 9 张 KPI 卡带迷你走势线;中间 6 张曲线图支持鼠标悬停出十字线和数值气泡,Y 轴单位会在 B/s → KB/s → MB/s 之间自动切换。 [LLM 运维区] 上排是 推理引擎 (running/waiting、解码速度、TTFT、TPOT、KV Cache 分池占用、MTP 接受率)、 容器 llm (CPU / 内存 / net / block IO)、 一键测速 (发一次真实对话,按 usage 计数算吞吐)。 下排是硬件明细: CPU 每核负载 (20 核 GB10)、 温度传感器 / 风扇 (带过热状态染色)、 磁盘 I/O 、 网络接口 (含错误/丢包计数)。 [硬件表格区] 再往下是 进程 Top 、 引擎指标明细表 、 当前生效配置 (直接读容器里的环境变量,一眼看到 TF_SOLO_ROWS / TF_SPILL_GIB 这些实际生效的参数)、 容器日志尾部 。 [进程 / 引擎指标 / 生效配置] 交互细节 鼠标悬停在曲线上,十字线定位到具体时刻,气泡给出该时刻的各序列数值: [悬停交互] 拖卡片标题栏换位置,拖右下角的小三角改大小。布局可以导出成 JSON:…

    0 抡锤者 Agent 工具2026-11-09 评论 原文 1 分 · 5 评论

  2. 2

    7900 XTX + 128GB:Strata RDNA3 三档模型精度测试深度 10实用 3

    128G ram, 最高跑到UD-Q5_K_XL, 最低测了IQ4_XS-v31 + N-gramQ8. 发出来方便大家参考 硬件 / 软件环境 项目 环境 CPU AMD Ryzen 9 5900XT,16核32线程,AVX2 GPU AMD Radeon RX 7900 XTX,24GB,gfx1100 内存 128GB;系统可用约125.7GiB 模型存储 XG7000 1TB NVMe,ZFS 系统 TrueNAS 25.10.7,Linux 6.12.105-production+truenas AMDGPU 7.1.9.31600000 ROCm 10.1.0,系统路径 /opt/rocm hipBLASLt 100401,匹配 gfx1100 调优表(43行) 推理后端 Strata RDNA3 fork,具体引擎版本见下表 GPU 队列 引擎 GPU_MAX_HW_QUEUES=6;视觉助手限制为2 ZFS ARC 自动管理,zfs_arc_max=0 文件体积与速度总表 PP = prefill,TG = decode,速度单位均为tokens/s;每格按 PP / TG 排列。GB按10⁹字节,括号GiB按2³⁰字节。 配置 引擎版本 原GGUF分片合计 GB(GiB) 实际N-gram / PLE GGUF+所用外置表 GB 约8K输入 PP / TG 长输入 PP / TG IQ4_XS-v31 0.1.49.1 93.67(87.24) 外置Q8_0,54.40GB;mmap;1MiB块 148.07 802.3 / 65.5 32K:1126.8 / 62.7;128K:1489.9 / 60.0 UD-Q4_K_XL 0.1.43 111.33(103.69) 内置IQ4_NL,28.80GB;ram 111.33 2082.7 / 57.4 64,358 tokens:3670.2 / 58.3 UD-Q5_K_XL 0.1.49.1 158.29(147.42) 外置Q8_0,54.40GB;direct;16KiB块 212.69…

    0 抡锤者 模型部署讨论2026-11-09 评论 原文 1 分 · 3 评论

  3. 3

    超越代码生成:开发者指南到主动工程深度 8

    Beyond code generation: A developer’s guide to agentic engineering

    GitHub 2023年10月的提交次数超过12亿次,远超去年同期的4倍。开发者生成的代码量大幅增加,但实际工作效率是否提高?主动工程可以帮助开发者更好地管理和优化代码生成。

    0 GitHub Blog2026-11-09 评论 原文