一句话看懂：Together AI 发布论文，介绍其持续编译系统 Together Compiler（TKCC），它让 AI 推理引擎在模型和流量变化时持续自动优化，并在部分评测中取得比现有开源引擎更高的吞吐。该研究目前仍是论文成果，是否全面上线需以 Together 官方产品信息为准。
事件核心：发生了什么
根据 alphaXiv 收录的论文摘要，Together AI 在 2026 年 11 月公开 Together Compiler（TKCC）。它针对 AI 部署中的“持续优化”问题：新模型发布更频繁、架构更多样、流量分布也在变化，一次性调好的推理配置容易过时。
TKCC 的思路是让智能体持续提出前向计算代码的修改方案，并在已经加载模型的持久化引擎中热替换测试，避免每次评测都重启引擎。它采用快慢两级测量：快层用较少层数快速筛掉慢、无效或卡死的候选，慢层用更多层数给出更接近真实负载的信号；另用成本模型选择初始的 GPU 并行配置。
论文称，在 B200 上优化 GLM 5.3 时，两级测量共评估 1354 个候选，而单一慢层只评估 168 个，约多 8.1 倍，并找到快 7.2% 的方案。在 Llama 1B 工作负载上，TKCC 比高度优化的人工 Megakernels 最高快 1.7 倍；在 SemiAnalysis 的 InferenceX 评测中，对 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 等模型，跨硬件平台最高达到开源引擎 2.6 倍 tokens per second（TPS）。论文还称在 MiniMax M3.1 Flash 和 DeepSeek v4.1 Flash 的 batch size 1 低延迟场景分别达到 1111 TPS 和 1205 TPS。以上均为论文摘要给出的结果，具体条件需查阅原文。
为什么重要
推理成本正成为大模型商业化的核心变量。模型迭代快、MoE 架构让同一请求的实际计算量随输入分布变化，固定编译方案容易偏离最优解。TKCC 把“编译”从一次性动作变成持续闭环，若能稳定落地，可降低算力浪费，并缩短新模型上线后的调优周期。
论文也指出行业共性难题：离线逐内核优化测量保真度低，端到端优化又受引擎启动时间拖累。TKCC 的持久化引擎和分级测量，是对这一权衡的工程回应。
对用户/开发者/创作者的影响
对使用 Together API 或自建推理服务的开发者，这类系统若产品化，意味着新模型接入后可能更快获得接近最优的吞吐，低延迟场景的响应也可能改善。但论文不等于已上线功能，目前公开信息显示它主要面向 Together 生产集群，外部开发者能否直接使用、以何种接口提供，尚不明确。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
对推理框架和编译器团队，值得参考的是“热替换+分级筛选”的工程路径，而不是简单复现某个数字。
值得关注的后续
一是 TKCC 是否从论文走向对外产品，以及定价和接入方式；二是其评测结果能否在独立复现中保持；三是 vLLM、TensorRT-LLM 等开源推理栈是否会跟进类似的持续编译能力。
来源：alphaXiv
