LLM的下一个时代?开发者让小型LLM在10美元微控制器上本地运行,每秒10个token

开发者 slvDev 让一个 2890 万参数的语言模型,在一块约 10 美元的 ESP32-S3 微控制器上以每秒约 10 个 token 的速度完全离线运行。它把大部分参数放到闪存里,突破了小芯片内存不足的限制,展示了未来更轻量、更私密的本地 AI 推理可能。

开发者 slvDev 让一个 2890 万参数的语言模型,在一块约 10 美元的 ESP32-S3 微控制器上以每秒约 10 个 token 的速度完全离线运行。它把大部分参数放到闪存里,突破了小芯片内存不足的限制,展示了未来更轻量、更私密的本地 AI 推理可能。

1Password 旗下安全实验室的大规模测试发现,用前沿大模型自动生成漏洞补丁的成功率仅 26%,部分补丁还会改变应用行为甚至引入新漏洞——AI 补丁仍需人工审查,不能直接信任。

AI2发布了TutorMoments评估框架,用真实的一对一数学辅导数据测试大模型能否拿捏“该帮学生”还是“该让学生自己想”的分寸。结果显示,主流LLM普遍倾向于过度帮助,替学生做太多本该由他们完成的思考。

Google 工程主管 Addy Osmani 分享了他进入 2026 年的 LLM 编码工作流,核心判断是:AI 编程时代,经典软件工程纪律不是过时了,而是更重要了。值得关注的是,他给出的工作流全部围绕“人的监督与结构化流程”展开。

Hacker News 上一场关于"AI 时代如何面试工程师"的讨论指出,AI 写代码已能应付"能否编译、数学对不对",真正难的是判断 AI 是否"以错误的方式把事情做对了"——工程师的角色正从写代码转向对 AI 输出负责。

一位技术作者公开表示不会阅读由大语言模型撰写的小说,理由是 LLM 的文本风格趋近“统计常态”,而这与阅读虚构作品追求的“偏离常态”体验背道而驰。这件事把 AI 辅助创作的一个深层问题摆上台面:当所有文本都变得“平均”,人的语言审美和创作个性可能被悄悄抹平。

围绕“读完一本已知由 LLM 生成的小说”的体验差异,Hacker News 用户展开了一场关于创作、灵感和“作者性”的辩论——核心分歧在于:AI 文本是否因缺少人类经验传承而永远只是“平均值”,以及我们是否应该允许 AI 进入文学这个人类最后的精神领地。

斯坦福大学科学家利用类似 ChatGPT 的“基因组语言模型”,设计出首批 AI 生成的噬菌体病毒,并在实验中成功杀死了耐药性大肠杆菌。这既是合成生物学的里程碑,也为生物安全治理提出了新挑战。

AI 圈正在把“长时间运行的 Agent”重新包装为“自进化系统”,但真正的自进化不是一直跑任务,而是完成“提出改动—验证效果—沉淀经验”的闭环。业内开始押注:生成变便宜之后,验证能力才是下一阶段大模型竞争的真正瓶颈。
![[Feature Request]: LlamaCPP - Allow the default context window from the model](https://www.chat-gpts.plus/wp-content/uploads/2026/08/14727-6a75cd75-768x403.jpg)
这个报错发生在使用 LlamaIndex 的 LlamaCPP 加载 GGUF 模型时,尝试将 context_window 设为 0 以自动使用模型默认上下文窗口,但参数校验拒绝该值,即使通过 model_kwargs["n_ctx"]=0 绕过,内部 context_window 字段仍停留在默