一句话看懂：Together AI 于 2026 年 11 月 5 日发布 Together Compiler，用编码 Agent 持续重写模型前向计算并直接热加载进推理引擎，目前已在其部分 serverless 端点上运行；官方自测显示，同一硬件与批次下吞吐最高比公开 InferenceX 配置提升 2.6 倍。值得关注的是，它把“推理优化”从一次性调参变成随线上流量变化的持续过程。
事件核心：发生了什么
Together Compiler（内部称 TKCC）接收服务器启动命令、流量画像和硬件配置，由 Agent 提出更快的前向计算方案，再由常驻引擎实测、择优选入服务。与多数 Agent 循环每次重启 vLLM、SGLang 或 TensorRT-LLM 不同，它只启动一次引擎，通过 RPC 替换前向函数指针并重捕获 CUDA 图；据称实验吞吐比“重启引擎”基线高 252 倍。
测试覆盖 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 和 Llama 1B，硬件包括 NVIDIA B200、B300、GB300、H100，AMD MI355X 及 AWS Trainium2，每个模型最多用 2 个节点、24 小时内完成。批次为 1 时，MiniMax M3.1 Flash 在 B200 上达 1,111 P90 TPS/用户（基线 633），提升 1.8 倍；GLM 5.3 在 MI355X 上仅从 463 升至 480 TPS，约 4%。上述数据均为官方自报。
为什么重要
Together 团队指出，线上流量形状一直在变：某国提示词长度约 9.7 万 token，另一地约 7 万；有客户的 P90 输入长度 3 天内从 1.8 万涨到 3.3 万 token。用随机数据调出的内核也会失真——随机输入激活的 MoE 专家比真实流量多 13% 至 38%。这意味着“一次性调优”会过期，持续编译更贴近生产现实，对按 token 计费的推理服务商和自建推理的团队都有直接成本意义。
对用户/开发者/创作者的影响
对调用 Together serverless API 的开发者，这类优化可能体现为同类模型更高吞吐和更低单位成本，但具体价格与可用模型以官方信息为准。对自建推理团队，更值得借鉴的是方法：保留常驻引擎、用两级测量（12 层快筛、60 层复核）提高候选数量，让 Agent 直接读引擎源码而非中间表示。素材还显示，简单指令“尽可能快”的 Agent 在 10 轮后得分 6.2 倍，反超专家知识库策略的 4.9 倍，说明组织方式比人工灌输经验更关键。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Together 是否公布各端点上的实际价格与延迟变化；二是该方法能否在更多模型和 AMD、Trainium 等硬件上稳定复制，尤其是 MI355X 上增幅偏小的情况；三是 NVIDIA、AMD 及 vLLM、SGLang 生态是否推出类似持续编译能力，以及 Agent 自动改写生产内核带来的可审计与安全边界问题。
