标签: LLM

CPU 回归:重新思考 LLM 推理中的 CPU-GPU 分工

CPU 回归:重新思考 LLM 推理中的 CPU-GPU 分工

红帽开发者博客发文指出,随着工具调用、多步推理和 Agent 编排成为 AI 负载主流,CPU 在 LLM 推理中的角色正从“调度配角”回归为“计算主角”。英特尔提供的数据显示,CPU 与 GPU 的配比正在从训练时代的 1:8 转向 1:1,甚至某些场景达到 4:1。

深入理解 AI Agent:设计原理与工程实践 让开发者照着公式 Agent = LLM + 上下文 + 工具把 Agent 从原理吃透到落地上手,而不是只会套 API。 https://t.co/VLqIpSbDG7 https://t.co/zYIUBxMst4

深入理解 AI Agent:设计原理与工程实践 让开发者照着公式 Agent = LLM + 上下文 + 工具把 Agent 从原理吃透到落地上手,而不是只会套 API。 https://t.co/VLqIpSbDG7 https://t.co/zYIUBxMst4

AI Agent 开发长期停留在“调 API、拼提示词”的阶段,一位开发者用“Agent = LLM + 上下文 + 工具”这条公式,整理了一份从原理到工程落地的教程,试图把 Agent 开发的底层逻辑变成可复制的方法论。