标签: LLM

观察AI指令如何逐渐失效,然后编写能够持久生效的指令

观察AI指令如何逐渐失效,然后编写能够持久生效的指令

开发者Gábor Mészáros通过一个3D可视化工具,揭示了AI指令在长对话中会因上下文窗口膨胀而“衰减”失效——即使规则指令仍在提示中,模型也会逐渐忽略它。这件作品的核心判断是:如果你不能承受失去某条指令,就不该把它写在提示词里,而应该写成代码级别的运行时钩子(runtime hook)。

别再告诉我去申请法学硕士

别再告诉我去申请法学硕士

一篇引发广泛讨论的文章指出,当人们经过与 LLM 数小时互动仍得不到满意答案、转而向有经验的同事请教时,得到的回复却是“去问 Claude”——这不仅未能解决问题,反而剥夺了提问者最需要的、来自个人长期实践的真实经验与判断力。

别再告诉我去申请法学硕士

别再告诉我去申请法学硕士

一篇在 Hacker News 引发热议的帖子揭示了一种新型沟通摩擦:当人们用 LLM(如 Claude)做完全部调研后,再去寻求专家帮助时,却被频繁建议“去读个学位”或“再查查”。问题不在于 LLM 本身,而在于求助者未能有效展示自己的前期工作,让专家误以为他们在偷懒。这背后是 AI 时代人机协作与知识传递…

Show HN: 发现本地 LLM 退回到 CPU 运行

Show HN: 发现本地 LLM 退回到 CPU 运行

一个名为 picchio 的开源诊断工具,通过跑三个回合的推理并解析引擎日志,能够精准识别本地大模型是否真的在使用 GPU 推理,还是无声无息地退回到了 CPU 运行。它在 Apple M5 实测中发现,GPU 加速对解码阶段(写出答案的速度)仅有约 2 倍提升,但对预填充阶段(读提示的速度)提升高达 22…