RuntimeError: Already borrowed

该报错出现在 vLLM 服务化部署 Qwen3.5-122B-A10B-FP8 等大型 MoE 模型时,当大量并发请求(尤其是包含 image_url 内容的多模态请求)通过 /v1/chat/completions 接口发送,导致 EngineCore 进程崩溃。同一并发量下纯文本请求可以稳定运行

该报错出现在 vLLM 服务化部署 Qwen3.5-122B-A10B-FP8 等大型 MoE 模型时,当大量并发请求(尤其是包含 image_url 内容的多模态请求)通过 /v1/chat/completions 接口发送,导致 EngineCore 进程崩溃。同一并发量下纯文本请求可以稳定运行

在 vLLM 主分支(commit 55d037e2e5cc56c38a1a4a77a15c347fee380c50 )环境下,使用 ROCm 平台(GPU: gfx942/MI300X)部署 DeepSeek-R1 模型,设置环境变量 VLLM_ROCM_USE_AITER=1 和 VLLM_US

初创公司 Cactus 推出了一款名为 Gemma 4 E2B Hybrid 的混合模型,它在小型本地模型内嵌了“置信度探针”,能对每个输出打分,低分时自动将请求转给更大的 Gemini 3.1 Flash-Lite 模型。它仅需将 15–35% 的查询转发即可在多数基准测试中匹敌大模型,显著减少了对云端算力…

爱奇艺上线了国内首部持“网剧片许可证”的AIGC故事片《奇谭》,全片超60分钟,由20多人团队基于AI完成从概念到成片的全流程。这件事标志着AIGC长视频在国内首次通过了正规网络剧审批流程,验证了AI辅助长片生产的技术可行性与合规路径。

日本 IT 服务巨头 NTT DATA 通过部署 OpenAI 的 Codex 智能体,将原本需要 5 名资深工程师耗时 3 天的复杂系统故障分析缩短至 30 分钟。目前已有约 9000 名员工在日常工作中使用 Codex,涵盖技术和非技术岗位,成为企业级 AI 智能体落地的标志性案例。

DeepSeek 创始人梁文锋在近期投资人交流中公开解释公司坚持开源的原因:如果只追求 6 倍利润,开源对商业模式没有影响;只有目标利润达到 100 倍时,开源才会削弱定价权。他明确表示“最强的模型也会开源”,并将 6 倍利润定义为公司的“纪律性”策略。

谷歌母公司Alphabet最新财报显示,AI驱动的搜索功能(AI Overview和AI Mode)不仅未像市场担忧的那样取代传统搜索,反而大幅拉动了搜索量和收入增长。AI Mode全球月活突破10亿,直接推动搜索业务收入同比增长17%,但这也引发了数字出版行业对流量流失的强烈担忧。

特斯拉在 2026 年第二季度出现了超过两年来的首次负自由现金流,亏损达 11 亿美元,主因是大幅增加了对 AI 和机器人技术的投资。这一数据表明,即使核心汽车业务利润正在缩减,特斯拉仍选择在 AI 算力与机器人研发上加大投入。

Petals 项目允许用户利用消费级 GPU 或 Google Colab,通过 BitTorrent 风格的分布式网络,加载和运行 Llama 3.1、Mixtral 等大型语言模型的一部分,并与他人共享算力,实现推理和微调。

Petals 是一个开源项目,允许用户通过 BitTorrent 式的点对点网络,将各自的家用 GPU 贡献出来,联合运行大型语言模型(LLM)和扩散模型,无需依赖集中式云服务。这一项目虽然目前活跃度不高,但其分布式推理的思路仍在探索中,值得关注。