标签: 算力

[Local LLM] lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度

[Local LLM] lama.cpp 目前有重大性能 bug: checkpoint 的巡回逻辑对于混合模型(比如 qwen3.6-27B)无效,从而导致大概率每次对话都要 prefill 全文,严重拖慢速度

开源推理引擎 llama.cpp 被曝出一个严重性能 Bug——其缓存恢复逻辑对 Qwen3.6-27B 这类混合架构模型失效,导致每次请求都需要重新处理完整对话历史,实测在 50K 上下文长度下每次请求会额外浪费约 40 秒,目前该问题仍未修复。

Ask HN: 你使用的是哪种电脑来运行人工智能编程工具?

Ask HN: 你使用的是哪种电脑来运行人工智能编程工具?

AI 编程工具的多会话协作模式正对本地硬件提出严峻考验——运行 5-10 个 Claude Code 会话、每个会话附带 1-3 个子代理,加上浏览器调试流程,这些日常开发场景已经让开发者开始抱怨电脑“越来越慢”。Hacker News 用户关于硬件升级和工具选择的讨论,折射出 AI 本地化应用进入“高性能需…

【盘中宝】涨价 40%,AI 快速发展驱动该行业需求增长,中长期来看其低库存下供给弹性极低,价格中枢较过往周期上移,这家企业拥有多项战略性细分资源,另一企业相关项目正有序开展

【盘中宝】涨价 40%,AI 快速发展驱动该行业需求增长,中长期来看其低库存下供给弹性极低,价格中枢较过往周期上移,这家企业拥有多项战略性细分资源,另一企业相关项目正有序开展

受AI算力需求爆发式增长驱动,锑、钨等战略性小金属价格持续走高,其中锑价年内涨幅已达40%左右。由于全球库存处于历史低位且供给弹性极低,本轮价格中枢可能长期高于过往周期,部分拥有相关资源的企业直接受益。

从头开始做一个老式的法学硕士

从头开始做一个老式的法学硕士

一位开发者记录了自己从零开始训练一个340M参数规模的小型Llama基座模型的完整过程,包括步骤、挑战和成本。这件事之所以值得关注,是因为它展示了一个“轻量级”的大模型训练实验,让更多人直观了解现代LLM训练的实际门槛和资源消耗。