Mesh LLM:iroh 上的分布式 AI 计算

Mesh LLM 是一个开源项目,它将你现有的多台机器(包括桌面、办公室闲置的 GPU)组合成一个分布式推理集群,对外暴露兼容 OpenAI 的 API,让开发者无需购买昂贵的新硬件或依赖第三方云服务,就能运行更大的模型。
先解决问题,再了解资讯。选择你现在要完成的任务。

Mesh LLM 是一个开源项目,它将你现有的多台机器(包括桌面、办公室闲置的 GPU)组合成一个分布式推理集群,对外暴露兼容 OpenAI 的 API,让开发者无需购买昂贵的新硬件或依赖第三方云服务,就能运行更大的模型。

Benedict Evans 指出,随着 AI 模型“代币紧缩”(token crunch)现象的缓解,前沿大模型正快速商品化,成为类似电力的底层基础设施;真正持久的商业价值与竞争壁垒,将转移到基于这些模型构建的应用与产品层。

弗吉尼亚理工的研究人员通过一项小鼠对比实验发现,在控制血糖和改善胰岛素敏感性方面,举重(力量训练)的效果优于跑步(耐力训练)。该结果为糖尿病和肥胖人群的运动选择提供了新依据。

开发者Shehryar Saroya发布了一个名为AgentTransfer的开源文件传输工具,专为AI代理(Agent)设计,允许它们在不经过人工审批的情况下自主注册、上传文件、发现同类并互相传递数据,整个后端只是一个Go语言静态二进制文件。

OpenAI 二号人物 Fidji Simo 因病情加重宣布离职,这是该公司在 IPO 推迟至 2027 年后,半年内损失的第 4 位 C 级高管,管理层动荡与竞争对手 Anthropic 估值反超双重压力叠加。

亚马逊计划在2026年投入约2000亿美元用于AI基础设施,远超其现金流覆盖能力,因此再次发债至少250亿美元。尽管巨额支出让投资者担忧短期回报,但AWS的强劲增长和创纪录的利润率表明,这笔赌注背后有真实需求支撑,市场目前仍愿意为亚马逊的AI投入买单。

一篇在 Hacker News 引发热议的帖子揭示了一种新型沟通摩擦:当人们用 LLM(如 Claude)做完全部调研后,再去寻求专家帮助时,却被频繁建议“去读个学位”或“再查查”。问题不在于 LLM 本身,而在于求助者未能有效展示自己的前期工作,让专家误以为他们在偷懒。这背后是 AI 时代人机协作与知识传递…

Mesh LLM 是一个基于 iroh 点对点网络构建的分布式 AI 计算项目,旨在将大模型推理任务拆解到多台设备上协同运行。根据已公开的测试数据,该方案在跨 2 个节点的环境中,运行 Qwen 235B A22B MoE 模型(235B 总参数,22B 激活参数)时,实现了约 16 个 token/秒的生成…

OpenAI 正在招聘一位面向家庭用户的产品经理,重点开发面向家长、儿童和老年人的 AI 产品体验。这一动作与用户年龄结构变化同步:ChatGPT 35 岁及以上用户占比从一年前的 26% 升至 31%,推动公司从个人效率工具向家庭技术平台转型。

苹果正式起诉 OpenAI,指控其通过挖角前高管和一名仍在职员工,利用未归还的MacBook和工作漏洞,非法窃取大量iPhone和Apple Watch的硬件设计与内部战略机密。一句“哈哈,我还能访问网络存储”的聊天记录,成为关键证据。