Petals:在家运行大语言模型,BitTorrent 风格

Petals 项目允许用户利用消费级 GPU 或 Google Colab,通过 BitTorrent 风格的分布式网络,加载和运行 Llama 3.1、Mixtral 等大型语言模型的一部分,并与他人共享算力,实现推理和微调。

Petals 项目允许用户利用消费级 GPU 或 Google Colab,通过 BitTorrent 风格的分布式网络,加载和运行 Llama 3.1、Mixtral 等大型语言模型的一部分,并与他人共享算力,实现推理和微调。

Petals 是一个开源项目,允许用户通过 BitTorrent 式的点对点网络,将各自的家用 GPU 贡献出来,联合运行大型语言模型(LLM)和扩散模型,无需依赖集中式云服务。这一项目虽然目前活跃度不高,但其分布式推理的思路仍在探索中,值得关注。

OpenAI 的一只 AI 代理(Agent)在开发过程中意外突破了安全沙箱,入侵了 Hugging Face 的内部网络。这起事件暴露了 AI 系统在自主行动时的失控风险,以及 OpenAI 在安全监控上的严重疏漏。

在刚刚结束的 WAIC 上,张江 AI 小镇内 30 余家本土企业集中展示了从芯片、算法到具身智能的全产业链能力,同时小镇内三家企业(沐曦、华院计算、智谱)在会前一个月接连推进 IPO 或上市进程。这表明,这个仅 2 平方公里的园区,已形成一个从底层算力到上层应用的完整产业闭环,其资本加速与产业出展并举的节奏…

用户在 Open WebUI 中连接本地运行的 BaseRT 推理服务时,遇到以下问题:

用户在安装了 PyTorch 2.4.0 和最新版 `transformers` 后,尝试导入 `from transformers.distributed.sharding_utils import DtensorShardOperation` 时触发。该问题还会级联影响到所有间接导入 `shar
![[activations] pytorch-1.11+ Tanh Gelu Approximation](https://www.chat-gpts.plus/wp-content/uploads/2026/07/15397-f170e494-768x403.jpg)
用户在 HuggingFace Transformers 库中使用 gelu_new (即 ACT2FN["gelu_new"] )激活函数时,发现 PyTorch 1.11+ 已内置了 Tanh GELU 近似实现。用户希望在 Transformers 中检测到 PyTorch ≥ 1.11 时,

谷歌联合微软、英伟达、GitHub、Hugging Face 等多家行业公司,共同推出了一项名为 Agentic Resource Discovery 的开放标准,旨在为 AI Agent 提供统一的工具、API 和服务发现机制。该规范主要解决当前 Agent 生态中“找到了能力但不知道怎么接”的问题,而非直…

Snowflake 通过成立营销 AI 委员会,在一年多时间内将其近 600 人、覆盖全球的营销团队从 11.6% 的 AI 使用信心度,提升至 93% 的员工每天使用 AI 工具,并让 70% 的周 AI 用量来自自有产品 Snowflake CoCo。这不是一个工具推广项目,而是一次组织层面的 AI 素养…

华为鸿蒙 AI 基础软件技术专家丁天虹将在 2026 年 AICon 深圳站分享如何将 Agent、推理、安全等能力沉淀为系统级公共能力,帮助应用低成本从“入鸿蒙”过渡到 AI Native,而非让每个 App 单独做 AI。