一句话看懂：Cactus 发布新一代端侧智能体模型 Needle 2，仅 14MB、45M 参数，就能在树莓派、千元机和 VR 头显上完成工具调用和结构化输出。它把“边缘 AI”从 Mac/PC 拉回到更庞大的低算力设备市场，并证明特定任务并不需要大模型。
事件核心：发生了什么
Cactus 团队在 Hacker News 上发布 Needle 2，这是其端侧智能体模型的一次重要迭代。该模型是一个 14MB 的二进制文件，45M 参数、2bit 压缩，完整会话仅需 28MB 内存，基于论文中的 Simple Attention Networks 架构构建。性能数据较为亮眼：树莓派 5 上可达到 500 tokens/秒的解码速度，Meta Quest 3S 和 Apple Vision Pro 上为 400—1,500 tokens/秒，200 美元以下的三星 A 系列手机也能跑到 300—700 tokens/秒。在工具调用和移动设备使用基准上，Needle 2 与 LFM2.5 230M、Apple Foundation Model 互有胜负，但体积小 5 到 70 倍。
Needle 2 的核心变化是扩展了结构化提取能力：用户可以直接传入 schema 替代工具定义，让模型输出结构化结果，因此它既能当文本分类器用，也能完成摘要类任务。团队还提供了 Python 包，支持在 Mac/PC 上通过自动化数据流水线微调，几分钟到几小时即可完成。
为什么重要
行业谈论“边缘 AI”时，默认场景大多是 Mac 或 PC，但这只是全球超过 210 亿台联网 IoT 设备中的一小部分。新兴市场大量手机售价低于 200 美元，没有 NPU，也没有高性能 GPU；树莓派、微控制器、智能家居和低成本机器人同样算力受限。Needle 2 的意义在于展示了另一条路线：把智能体任务收敛为“函数调用 + 参数映射”的结构化问题，模型便无需具备开放世界知识和长篇生成能力，45M 参数足以胜任。
功耗维度同样值得关注。同类体积的 transformer 每 token 需 164 MFLOPs，即使压缩到相同参数量仍需 87，而 Needle 仅 70。对于必须 7×24 小时在线的随身助手来说，算力就是功耗，功耗就是产品可行性的天花板。这让“始终在线”的本地智能体从高端旗舰下沉到廉价硬件成为可能。
对用户/开发者/创作者的影响
对开发者而言，Needle 2 提供了低门槛的微调路径——只需少量样本即可定制工具词汇表，同时分级响应机制（置信度评分）允许本地低成本执行、云端大模型兜底。企业可将 Needle 2 与私有化部署的 DeepSeek-v4-Flash 组合，形成“端侧小模型 + 云端大模型”的分层推理方案，兼顾成本与质量。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
对设备厂商和硬件创业者，这意味着在没有额外算力预算的情况下，也能为产品加入语音命令理解、结构化数据提取等“智能体”功能。对普通用户来说，最直接的感知可能是：更多廉价设备将具备本地、离线、低延迟的 AI 交互能力，隐私数据不必上云。
值得关注的后续
首先，2bit 量化在实际场景中的鲁棒性仍需检验——Hacker News 评论区往往能
