SGLang 推出 Weight Cache Daemon，实现亚秒级引擎重启
SGLang 团队联合蚂蚁集团推出了 Weight Cache Daemon，通过 CUDA IPC 让模型权重常驻 GPU 显存，将超大模型重启时的权重加载时间从约 495 秒压缩到 0.63 秒，为生产环境大模型服务的热恢复和故障切换提供了新方案。
标签： Claude
Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%
LMSYS 与蚂蚁灵 Infra 团队公开了 Ling-3.0-flash 在 4 块 Blackwell GPU 上的推理优化细节：通过投机解码和系统性延迟拆解，将单请求解码平均 TPOT 从 3.33 ms 降至 1.53 ms（降幅 54%），并在受控对比中把 DSpark 路径推至 0.78 ms。这…
Claude Mythos 5 网络安全能力扩展至更多防御者
Anthropic 将最强的 Claude Mythos 5 模型接入 Claude Security 和企业安全伙伴的工具，让防御方优先获得前沿能力，同时限制模型被直接用于恶意攻击。官方还推出 3500 万美元开源安全基金，扩大网络安全验证计划。
自托管AI软件工厂
一名开发者用自托管的 AI 智能体，只靠一条提示词，就让大模型自主完成了从写代码、跑测试、配置数据库到部署上线的完整软件开发流程，全程无需人工介入。他刻意将所有环节锁在自己的家用服务器上，以此探索“如何在不给 AI 根权限的前提下安全使用它写软件”。
Show HN：Proliferate——适用于任意编码代理的开源自托管Codex
Proliferate 是一个开源自托管的 AI 编程 IDE，允许开发者在一套工作区内并行运行 Claude Code、Codex、OpenCode、Cursor、Grok 等多种编码代理，并为每个任务提供独立的 Git 工作树。它的核心价值在于把多个 AI 编码代理从“单兵作战”变成“协同流水线”，且控制…
Meta每年向微软支付数亿美元租用AI模型
Meta 每年向微软支付数亿美元，通过 Azure 云平台租用第三方 AI 模型，其中包括 OpenAI 的模型，用于辅助自家大模型的开发与评估。
Sources: London-based AI infrastructure startup Nscale is seeking to raise as much as $3B in its US IPO, which could take place as soon as September (Bailey Lipschultz/Bloomberg)
总部位于伦敦的 AI 基础设施初创公司 Nscale 正寻求在美股 IPO 中募集最高 30 亿美元资金，最快可能在 9 月成行。这标志着欧洲 AI 算力供应商开始将目光投向美国资本市场，以应对大模型训练与推理带来的基础设施需求。
两名21岁青年打造出能运营网店的AI
两位 21 岁的创业者创办的 Siml 公司，正在用一套自主 AI 代理系统接管电商店铺的日常运营——从客服、广告到定价全流程自动处理，目前已服务超过 1000 家店铺。这事值得关注，因为它押注的是“AI 代理采购”正在成为下一个主流购物入口。
LiteLLM（YC W23）正在招聘 —— Rust / 性能工程师
AI 网关与代理服务商 LiteLLM（YC W23）正在招聘 Rust / 性能工程师，意味着这家连接大模型 API 的关键中间层公司，正试图在推理成本和调用延迟上做更底层的优化，而非停留在简单的接口转发。
自托管AI软件工厂
围绕“自托管 AI 软件工厂”的热门讨论显示，开发者正在尝试用本地 GPU 运行开源编码模型（如 Qwen）替代 Claude 等闭源前端模型，但实际体验表明本地模型在复杂任务、上下文管理和自主性上仍明显落后，大多数人选择让 Claude 主导、Qwen 处理局部任务的混合架构。