标签: API

扩展分类流映射(Categorical Flow Maps)规模

扩展分类流映射(Categorical Flow Maps)规模

苹果机器学习研究团队训练了一个 17 亿参数的流匹配语言模型,并自蒸馏成只需 4 步推理的分类流映射(CFM)模型,首次把这类非自回归生成方法推进到数十亿参数规模,证明了它在文本生成质量与速度上可以接近现有扩散方法。

从终端一条 curl 到 token 回来,vLLM 背后是一整台分布式机器。Aleksa Gordić 从引擎核心讲到多节点部署,一次讲透一个子系统。 《Inside vLLM:高吞吐 LLM 推理系统的解剖》 Inside vLLM: Anatomy of a High-Throughput LLM Inference System 缩写版,保留完整论证主干。原文:Aleksa Gordić《Inside vLLM》(2025-0…

从终端一条 curl 到 token 回来,vLLM 背后是一整台分布式机器。Aleksa Gordić 从引擎核心讲到多节点部署,一次讲透一个子系统。 《Inside vLLM:高吞吐 LLM 推理系统的解剖》 Inside vLLM: Anatomy of a High-Throughput LLM Inference System 缩写版,保留完整论证主干。原文:Aleksa Gordić《Inside vLLM》(2025-0…

资深系统工程师 Aleksa Gordić 发布了一份对 vLLM 推理引擎的深度技术拆解,从单机单卡的最小示例讲到多节点分布式部署,为理解当前大模型推理性能与成本提供了一份详细地图。

美国公司在基础模型上根本卷不过中国,所以马斯克可能已经开始放弃Grok这条路了。马斯克刚刚也说,中国的LLM最后做到全球最强几乎是必然的。模型要继续变强,最大的两个限制就是芯片和电力。中国的发电量比美国、欧洲和印度加起来还多,虽然现在还缺芯片,但马斯克觉得芯片迟早会有。 我觉得这件事最后会跟制造业很像。当生产技术、机器、供应链和资本大家都有了以后,西方公司想单纯靠“我东西造得比你好”来保持优势就越来越难,最后只能往品牌、设计、软件这些…

美国公司在基础模型上根本卷不过中国,所以马斯克可能已经开始放弃Grok这条路了。马斯克刚刚也说,中国的LLM最后做到全球最强几乎是必然的。模型要继续变强,最大的两个限制就是芯片和电力。中国的发电量比美国、欧洲和印度加起来还多,虽然现在还缺芯片,但马斯克觉得芯片迟早会有。 我觉得这件事最后会跟制造业很像。当生产技术、机器、供应链和资本大家都有了以后,西方公司想单纯靠“我东西造得比你好”来保持优势就越来越难,最后只能往品牌、设计、软件这些…

关于马斯克与 xAI,业界开始出现一种明确判断:美国公司在大模型基础层竞争不过中国,因此像 Grok 这样的产品可能会被战略性放弃,而竞争重心将转向算力基础设施和应用层。

Athens-based Omilia, which builds self-learning AI agents that work across different customer contact points, raised a $67M Series B led by Expedition Growth (Ivan Mehta/TechCrunch)

Athens-based Omilia, which builds self-learning AI agents that work across different customer contact points, raised a $67M Series B led by Expedition Growth (Ivan Mehta/TechCrunch)

雅典AI客服公司Omilia完成6700万美元B轮融资,由Expedition Growth领投。这家公司不靠通用大模型讲故事,而是用“自我学习AI代理”切入银行、电信等高要求客服场景,值得关注的是资本正在把真金白银投向垂直场景的AI自动化。