标签: API

从终端一条 curl 到 token 回来,vLLM 背后是一整台分布式机器。Aleksa Gordić 从引擎核心讲到多节点部署,一次讲透一个子系统。 《Inside vLLM:高吞吐 LLM 推理系统的解剖》 Inside vLLM: Anatomy of a High-Throughput LLM Inference System 缩写版,保留完整论证主干。原文:Aleksa Gordić《Inside vLLM》(2025-0…

从终端一条 curl 到 token 回来,vLLM 背后是一整台分布式机器。Aleksa Gordić 从引擎核心讲到多节点部署,一次讲透一个子系统。 《Inside vLLM:高吞吐 LLM 推理系统的解剖》 Inside vLLM: Anatomy of a High-Throughput LLM Inference System 缩写版,保留完整论证主干。原文:Aleksa Gordić《Inside vLLM》(2025-0…

资深系统工程师 Aleksa Gordić 发布了一份对 vLLM 推理引擎的深度技术拆解,从单机单卡的最小示例讲到多节点分布式部署,为理解当前大模型推理性能与成本提供了一份详细地图。

美国公司在基础模型上根本卷不过中国,所以马斯克可能已经开始放弃Grok这条路了。马斯克刚刚也说,中国的LLM最后做到全球最强几乎是必然的。模型要继续变强,最大的两个限制就是芯片和电力。中国的发电量比美国、欧洲和印度加起来还多,虽然现在还缺芯片,但马斯克觉得芯片迟早会有。 我觉得这件事最后会跟制造业很像。当生产技术、机器、供应链和资本大家都有了以后,西方公司想单纯靠“我东西造得比你好”来保持优势就越来越难,最后只能往品牌、设计、软件这些…

美国公司在基础模型上根本卷不过中国,所以马斯克可能已经开始放弃Grok这条路了。马斯克刚刚也说,中国的LLM最后做到全球最强几乎是必然的。模型要继续变强,最大的两个限制就是芯片和电力。中国的发电量比美国、欧洲和印度加起来还多,虽然现在还缺芯片,但马斯克觉得芯片迟早会有。 我觉得这件事最后会跟制造业很像。当生产技术、机器、供应链和资本大家都有了以后,西方公司想单纯靠“我东西造得比你好”来保持优势就越来越难,最后只能往品牌、设计、软件这些…

关于马斯克与 xAI,业界开始出现一种明确判断:美国公司在大模型基础层竞争不过中国,因此像 Grok 这样的产品可能会被战略性放弃,而竞争重心将转向算力基础设施和应用层。

Athens-based Omilia, which builds self-learning AI agents that work across different customer contact points, raised a $67M Series B led by Expedition Growth (Ivan Mehta/TechCrunch)

Athens-based Omilia, which builds self-learning AI agents that work across different customer contact points, raised a $67M Series B led by Expedition Growth (Ivan Mehta/TechCrunch)

雅典AI客服公司Omilia完成6700万美元B轮融资,由Expedition Growth领投。这家公司不靠通用大模型讲故事,而是用“自我学习AI代理”切入银行、电信等高要求客服场景,值得关注的是资本正在把真金白银投向垂直场景的AI自动化。

The new Firecrawl MCP

The new Firecrawl MCP

Firecrawl 在 Product Hunt 发布了新版 MCP(Model Context Protocol)服务,让 AI 代理可以直接调用网页抓取与结构化数据提取能力。这件事值得关注,因为它意味着 MCP 生态正从“协议演示”走向真实的数据服务商业化。

Atlassian CEO Mike Cannon-Brookes says he will buy $250M of company shares after strong Q4 results eased fears that AI could threaten its business model (Nic Fildes/Financial Times)

Atlassian CEO Mike Cannon-Brookes says he will buy $250M of company shares after strong Q4 results eased fears that AI could threaten its business model (Nic Fildes/Financial Times)

Atlassian CEO Mike Cannon-Brookes宣布将自购2500万美元公司股票,此举发生在公司发布强劲的第四季度业绩之后,意在回应市场对“AI会摧毁订阅制软件商业模式”的担忧。CEO用真金白银下注,说明他押注的方向是AI增强企业软件,而非替代它。