一句话看懂：开发者成功在Milk-V Duo——一款售价约8美元、配备256MB内存和1TOPS TPU的微控制器上，运行了一个28.9M参数的大语言模型，证明极低成本的嵌入式设备已能承担基础AI推理任务。
事件核心：发生了什么
Milk-V Duo是一系列基于RISC-V架构的微控制器，支持Linux，内存从64MB到512MB不等，内置1TOPS@INT8 TPU。在Hacker News的讨论中，有开发者展示其能在该设备上加载一个28.9M参数的LLM（具体模型未明确提及，推测为TinyLlama或类似小模型）。该设备目前官网价格约8美元（256MB版本），此前64MB版本曾低至3美元，近期因供应链问题价格有所上涨。此次实验并非首次在MCU上运行模型——社区此前已用ESP32实现计算机视觉推理，但将参数规模接近30M的语言模型塞入如此廉价的硬件上仍属突破。
为什么重要
这一实践直接挑战了“大模型必须依赖昂贵云端GPU或专用AI芯片”的固有认知。以往在微控制器上跑LLM被认为“不切实际”，因为内存和算力极度受限。而Milk-V Duo的1TOPS TPU虽然远低于任何现代边缘AI芯片（如Jetson系列的几十TOPS），但配合256MB内存和Linux系统，足以承载一个紧凑的语言模型进行本地推理。这意味着AI推理的边缘化门槛从几十美元进一步降到个位数美元，尤其适用于隐私敏感、网络不稳或需要实时响应的场景。对于IoT、智能家居、消费电子等长期依赖规则引擎的行业，这或许会打开“本地AI协处理器”的新设计思路。
对用户/开发者/创作者的影响
对于硬件极客和嵌入式开发者，这意味着可以用极低成本搭建本地AI原型，例如离线语音助手、关键词唤醒、简单的文本分类或UI指令解析。但需注意性能约束：28.9M参数的模型生成速度较慢，且无法处理复杂对话，更适合单句推理或固定任务。对于IoT产品经理，可能需要重新评估“是否每个智能硬件都需要连云端”。然而，当前实验仍偏早期，实际产品化还需考虑功耗、稳定性、模型量化精度以及开发工具链成熟度。对于创作者，Milk-V Duo的Linux环境和Python支持（需精简）降低了入门门槛，但大规模部署仍需谨慎。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是Milk-V Duo系列的价格波动——供应链紧张已导致价格翻倍，若无法恢复3-5美元价位，其成本优势可能被其他国产MCU（如ESP32-P4、BL808）蚕食。二是竞品生态的跟进：Espressif的ESP32系列已有视觉模型部署方案，未来可能通过外扩PSRAM或内置NPU来支持语言模型。三是实际落地的案例：目前社区多在验证可行性，能否出现稳定、低功耗的“LLM in a toothbrush”产品仍取决于模型压缩效率与设备散热能力。此外，RISC-V生态的软件栈成熟度也直接影响开发门槛，值得持续跟踪。
来源：hackernews
