标签: Gemini

Homebench – 基准测试本地LLM的速度、内存和质量

Homebench – 基准测试本地LLM的速度、内存和质量

独立开发者发布了一款名为 Homebench 的开源本地大模型基准测试工具,它的特别之处不是“跑分”,而是从速度、内存、质量三个维度诚实讨论当前本地 LLM 评测的常见误区。目前公开信息显示,该项目刚在 Hacker News 上发布,已可以通过 pip 直接安装。

在单颗 AMD MI300X 上运行 DeepSeek V4 Flash

在单颗 AMD MI300X 上运行 DeepSeek V4 Flash

开发者 ryanzhou 发布了一套完整配置,让 DeepSeek V4 Flash(304B 参数)能在单颗 AMD MI300X 上生产级运行,无需量化即可将全部权重装入 192GB HBM,单流解码达 168.6 tok/s。这件事值得关注,因为它验证了 AMD 大显存卡在高端推理场景中可作为 NVID…