Netflix详述其基于Triton与vLLM的内部LLM服务平台

Netflix 公开了其内部 LLM 推理服务平台的设计细节——用 Triton 负责模型管理与调度、vLLM 负责 GPU 上的推理执行,并解决了版本兼容、约束解码状态同步等生产级问题。这件事的参考价值在于,它展示了一套面向大规模业务场景的 LLM 服务架构,不是简单调用 API,而是把推理基建做成可演进的…

Netflix 公开了其内部 LLM 推理服务平台的设计细节——用 Triton 负责模型管理与调度、vLLM 负责 GPU 上的推理执行,并解决了版本兼容、约束解码状态同步等生产级问题。这件事的参考价值在于,它展示了一套面向大规模业务场景的 LLM 服务架构,不是简单调用 API,而是把推理基建做成可演进的…

Dropbox 将内部知识检索系统 Dash 通过 MCP 协议接入代码审查流程,让安全设计文档在工程师评估 Pull Request 时自动浮现。这件事值得关注,因为它展示了大模型在企业落地的另一种路径:不是替代人做判断,而是把组织已有的知识在正确的时间点交给正确的人。

一名女性以“Jane Doe No. 4”身份加入美国田纳西州的青少年诉讼,指控继父用xAI旗下聊天机器人Grok把她11岁时的童年照批量改造成露骨图片,数量超过7000张。这起案件把AI图像生成工具的安全机制问题,从技术争议推向了法律与公共安全层面。

OpenAI 将 Codex 编程代理工具的百万 Token 上下文窗口全面开放给 ChatGPT Plus 和 Pro 用户,此前这一能力仅限 API 调用。这意味着开发者可以在不写代码的情况下,让 AI 直接处理更大规模的代码库和更长的调试会话。

安徽农业大学团队发布大豆领域垂直大模型“丰菽”2.0,通过多模型协同机制降低单一大模型的“幻觉”偏差,把基因组、表型、文献等数据整合成可用的育种知识服务,是农业垂直大模型从“能问答”走向“能辅助决策”的一次落地。

SpaceX 以约 600 亿美元完成对 AI 编程工具公司 Cursor 的收购,这是今年目前规模最大的并购案。Cursor 将借助 SpaceX 的 GPU 算力集群加速大模型训练,双方合作的第一个成果是近期发布的 Grok 4.6。

OpenAI CEO 萨姆·奥尔特曼在公开访谈中表示,大学读两年就足够,自己从斯坦福辍学的经历“刚刚好”。在 AI 技术加速迭代的背景下,传统四年制大学教育是否仍是科技人才的最优路径,再次引发讨论。

OpenAI 将 Codex 中 GPT-5.6 Sol 模型的百万级 token 上下文支持从 API Key 扩展到 ChatGPT 订阅账号,Plus 和 Pro 用户处理大型代码库时不再频繁被截断历史。

在8月17日结束的第32届全国大豆研究生产研讨会上,王晓波教授团队正式发布大豆垂直大模型「丰菽」2.0。这一版本整合多模态数据和专业文献,引入多模型协同机制,为大豆育种数据化与知识服务提供了新的AI基座。

支付服务商 Stripe 于 8 月 16 日完成对 AI 模型聚合平台 OpenRouter 的收购,交易金额超过 70 亿美元,是后者今年 5 月 B 轮融资估值的五倍以上。这笔交易把支付基础设施与 AI 模型调用计费直接绑在了一起。