如何在不缩减团队的情况下缩减代币预算

AI 团队面临的一个现实矛盾是,大模型推理成本随用户量增长而飙升,但裁员或减少功能并不可取。最新讨论聚焦于通过优化 token 使用效率(如压缩 prompt、复用缓存、选择更小模型)来压缩预算,既不牺牲团队规模,也不明显降低产品质量。

AI 团队面临的一个现实矛盾是,大模型推理成本随用户量增长而飙升,但裁员或减少功能并不可取。最新讨论聚焦于通过优化 token 使用效率(如压缩 prompt、复用缓存、选择更小模型)来压缩预算,既不牺牲团队规模,也不明显降低产品质量。

Elon Musk 在 X 上转发了一位用户对 Grok Build 的高度评价,该用户称赞其是一个“疯狂”且集大成的编码 agentic workflow 工具,内建图像生成和图片转视频功能,速度与质量均不输业界主流产品。这表明 xAI 正在将 Grok 从一个对话模型扩展为更具生产力的创作平台。

埃隆·马斯克在社交平台X上公开承认,自己此前对Anthropic的判断错误,认为该公司目前是AI领域的领导者,并指出其发布的Mythos/Fable模型尚无对手,后续版本Mythos 2也即将推出。这条来自顶级AI参与者马斯克的表态,标志着Anthropic在技术实力和行业声誉上的一个关键转折点。

面对外界关于 Meta 因 AI 投入过度导致“算力过剩”的猜测,CEO 扎克伯格首次正面回应,称公司算力正满负荷运转,但承认在市场价格极高的当下,将部分 AI 基础设施对外出租比自用更划算,并透露 Meta 已启动代号为“Meta Compute”的云计算业务计划。

腾讯正计划取代Meta,成为AI智能体公司Manus的最大股东,交易估值约20亿美元。此举将使Manus脱离Meta的收购协议,转而投向腾讯生态,并在香港寻求上市。

快手 KwaiKAT 团队发布 KAT-Coder-Pro V2.5,这是国内首个能端到端跑通完整软件工程任务的 Agentic 编程模型。它不再只是补全代码,而是能自主完成跨文件定位、构建可运行环境和自我调试,SWE-Bench Pro 得分 65.2,并已通过 StreamLake 平台开放 API 申请…

阶跃星辰将于7月13日发布旗下首款AI智能体终端产品,可能是一款AI手机。此举使其成为全球大模型厂商中率先推出终端硬件产品的公司,甚至早于计划2027年落地的OpenAI。

三星重启 PC 处理器业务,将自研 AI 加速芯片 GAIA 原型样片送测联想和惠普,计划 2027 年量产。该芯片采用 4nm 工艺和 NPU 架构,专为生成式 AI 任务设计,并探索与存内计算技术协同方案。

三星电子系统LSI部门正在开发一款名为“GAIA”的4nm制程AI PC专用NPU芯片,目前已向联想、惠普等厂商提供原型样机进行性能验证,计划最早2027年量产。这款芯片并非替代主处理器,而是定位为独立AI计算模块,并与下一代存储器技术(PIM)深度整合,试图在AI PC竞争中走出一条“存储为中心”的差异化路…

谷歌正式发布基于WebAssembly和硬件加速的AI推理库LiteRT.js,在2024款M4芯片MacBook Pro上跑推理速度比原有方案快3倍,目标是让浏览器端运行AI模型更接近原生应用效率,取代依赖纯JavaScript的TensorFlow.js。