vLLM 针对多模态模型的推理优化实践|AICon深圳

vLLM 核心开发者莫梓峰将在 AICon 深圳大会上公开其针对多模态大模型(如 Kimi-K2.6、Qwen3.6)的推理优化方案,重点解决 Encoder 性能瓶颈,这是开源推理框架应对多模态趋势的关键技术演进。

vLLM 核心开发者莫梓峰将在 AICon 深圳大会上公开其针对多模态大模型(如 Kimi-K2.6、Qwen3.6)的推理优化方案,重点解决 Encoder 性能瓶颈,这是开源推理框架应对多模态趋势的关键技术演进。

LingBot-World-Infinity 是一个结合了代理框架的开放因果世界模型,旨在让 AI 不仅理解静态数据,还能在动态环境中进行因果推理与自主决策,对下一代具身智能和通用代理系统具有探索意义。

意大利数据保护局对生成式 AI 聊天平台 Character.AI 开出 15.8 万欧元(约合 122.8 万元人民币)罚单,原因涉及未成年人保护措施缺失、年龄验证程序不足以及多项数据保护法规违规。这起案例是欧洲监管机构对新兴 AI 社交产品青少年风险的最新回应,可能影响同类产品的合规设计。

河北省政协近期召开专题议政性常委会,聚焦战略性新兴产业和未来产业培育,尤其是核聚变、算电协同、机器人和绿色算力等前沿领域。这意味着地方政府正从具体政策、产业生态层面推动AI和硬科技从“实验”走向“集群”,而不是停留在口号层面。

一位开发者展示了一款名为 colibrì 的纯 C 推理引擎,能在只有 25GB 内存的个人电脑上运行 7440 亿参数的 GLM-5.2 混合专家模型。通过将大部分参数存储在磁盘并按需加载,它把原本需要数千美元专业显卡才能运行的模型,压缩到了消费级硬件可用的程度。

AI通信与数据基础设施公司 Nixxy 宣布,董事会主席 David Kratochvil 于7月2日接任 CEO,同时资深企业家 Simon Kearney 于6月29日加入董事会。此举旨在通过“董事⻓兼 CEO”的集权架构加速战略执行,为公司下一阶段增长重组领导层。

7月9日,粤港澳大湾区首个完全基于国产芯片、用于训练国产大模型的万卡智算集群在广东韶关数据中心集群正式发布。该集群总投资约55亿元,部署了3000个昇腾910C国产超节点,建成9000P(FP16)的统一智算资源池,是目前大湾区规模领先的全国产万卡训练集群。

Everest Group 最新发布的 2026 年 PEAK Matrix 评估中,Claritev(纽交所代码:CTEV)在预付理赔审查解决方案领域被列为领导者,排名较往年显著上升。这意味着这家医疗健康 insurance 技术公司在利用 AI 进行理赔前端审查、降低不当支付方面的能力获得了行业权威认可。

英伟达(Nvidia)向澳大利亚 AI 云基础设施公司 Firmus Technologies 投资约 5 亿美元,成为其 20 亿美元融资轮中最大投资者。这笔资金将用于购买 Nvidia 芯片,扩建数据中心,同时推动 Firmus 在澳大利亚证券交易所上市。

开源 AI 模型本地运行工具 Ollama 完成 6500 万美元 B 轮融资,由 Theory Ventures 领投,累计融资达 8800 万美元。该工具月活用户已接近 900 万,覆盖 85% 的财富 500 强企业,正在将 Docker 式的开发者便利性复制到 AI 模型部署领域。