Petals:在家运行大语言模型,BitTorrent 风格

Petals 是一个开源项目,允许用户通过 BitTorrent 式的点对点网络,将各自的家用 GPU 贡献出来,联合运行大型语言模型(LLM)和扩散模型,无需依赖集中式云服务。这一项目虽然目前活跃度不高,但其分布式推理的思路仍在探索中,值得关注。

Petals:在家运行大语言模型,BitTorrent 风格

一句话看懂:Petals 是一个开源项目,允许用户通过 BitTorrent 式的点对点网络,将各自的家用 GPU 贡献出来,联合运行大型语言模型(LLM)和扩散模型,无需依赖集中式云服务。这一项目虽然目前活跃度不高,但其分布式推理的思路仍在探索中,值得关注。

事件核心:发生了什么

Petals 由 BigScience 团队于 2022 年底推出,核心思路是让拥有消费级 GPU 的志愿者贡献硬件资源,协作完成文本生成等 AI 推理任务。与传统分布式计算项目(如 Folding@home)类似,Petals 将一个大模型的工作负载切分成小块,分配给网络中的不同节点,从而实现“在家运行大模型”的愿景。目前,该项目在 GitHub 上的更新活跃度已显著降低,涉及多机分割的小规模模型分布式推理领域,已有其他方案(如 AI Horde)更为成熟,且已集成到 SillyTavern 等工具中。

为什么重要

Petals 的意义在于提出了一种去中心化 AI 推理的可行路径:通过“有用工作证明”(Proof of Useful Work)的机制,让算力贡献者获得某种形式的回报(如数字积分),从而在不依赖昂贵云 API 的情况下,构建社区驱动的算力市场。但正如社区讨论所指出的,实现一个可验证、可扩展且防女巫攻击(Sybil attack)的有用工作证明机制在技术上仍面临挑战。零知识证明可能是未来解决方案之一,但目前并无成熟落地的例子。Petals 的活跃度下降,也从侧面说明这类“众包推理”模式在工程落地、公平计量和信任建立上的困难。

对用户/开发者/创作者的影响

对于普通用户而言,Petals 这类项目降低了运行大模型的门槛——不需要购买数万美元的专业显卡,只需加入亲友或信任群体,就能利用他人的闲置算力。对于开发者,分布式推理网络提供了开发去中心化 AI 应用(如聊天机器人、图像生成服务)的新架构选项,但需自行解决节点发现、负载均衡和激励机制等问题。目前公开信息显示,Petals 更适合小规模、信任度较高的朋友群组,而非开放互联网下的全局服务。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 产品复活或迭代:Petals 是否会有社区分支重启开发,或有人基于其思路构建新的分布式推理协议?
2. 机制创新:能否出现可商业化的“有用的工作证明”机制,例如结合零知识证明的验证方案,从根本上解决信任与公平奖励问题。
3. 竞品与生态:AI Horde 等更成熟的方案是否会吸收 Petals 的设计思想,或者主流云服务商(如 AWS、Azure)是否会推出类似的“去中心化算力市场”产品。

来源:hackernews

celebrityanime
celebrityanime
文章: 14816

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注