标签： LLM

红帽开发者博客发文指出，随着工具调用、多步推理和 Agent 编排成为 AI 负载主流，CPU 在 LLM 推理中的角色正从“调度配角”回归为“计算主角”。英特尔提供的数据显示，CPU 与 GPU 的配比正在从训练时代的 1:8 转向 1:1，甚至某些场景达到 4:1。

开发者 slvDev 让一个 2890 万参数的语言模型，在一块约 10 美元的 ESP32-S3 微控制器上以每秒约 10 个 token 的速度完全离线运行。它把大部分参数放到闪存里，突破了小芯片内存不足的限制，展示了未来更轻量、更私密的本地 AI 推理可能。

1Password 旗下安全实验室的大规模测试发现，用前沿大模型自动生成漏洞补丁的成功率仅 26%，部分补丁还会改变应用行为甚至引入新漏洞——AI 补丁仍需人工审查，不能直接信任。

AI2发布了TutorMoments评估框架，用真实的一对一数学辅导数据测试大模型能否拿捏“该帮学生”还是“该让学生自己想”的分寸。结果显示，主流LLM普遍倾向于过度帮助，替学生做太多本该由他们完成的思考。