Sakana AI’s Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation

日本AI研究机构Sakana AI提出一种名为“Error Diffusion”的训练方法,在不使用反向传播的情况下成功训练出符合DALE规范的双流神经网络,在MNIST和CIFAR-10基准上分别达到96.7%和61.7%的准确率。这一进展可能为低算力、边缘设备上的高效训练开辟新路径。

Sakana AI’s Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation

一句话看懂:日本AI研究机构Sakana AI提出一种名为“Error Diffusion”的训练方法,在不使用反向传播的情况下成功训练出符合DALE规范的双流神经网络,在MNIST和CIFAR-10基准上分别达到96.7%和61.7%的准确率。这一进展可能为低算力、边缘设备上的高效训练开辟新路径。

事件核心:发生了什么

Sakana AI 于7月17日通过MarkTechPost发布了其最新研究成果。团队设计了一种双流神经网络架构(Dual-Stream Networks),并采用“Error Diffusion”算法替代传统反向传播进行参数更新。该架构符合DALE(Differentiable All-Linear Equivalence)规范,即网络内部的线性变换权重和激活均保持可微分的一致性,从而允许误差信号以类似扩散而非梯度回传的方式在网络中传递。在测试中,该方法在MNIST手写数字识别任务上达到96.7%的准确率,在CIFAR-10图像分类任务上达到61.7%。这些结果相比传统反向传播训练的同类小模型仍有差距,但证明了不依赖梯度计算出误差信号也能完成有效训练的可行性。

为什么重要

反向传播是当前深度学习训练的基石,但其要求整个计算图可微分并逐层累积梯度,带来较高显存占用和计算开销。Sakana AI的Error Diffusion方法绕开了这一过程,理论上可以降低对高算力GPU的依赖,让训练过程更接近生物神经元的局部学习规则。同时,双流网络和DALE规范的结合也为神经网络的硬件实现——例如存算一体芯片或类脑计算——提供了更友好的设计参考。尽管当前结果仅在小规模基准上验证,但它有可能推动AI训练从高度中心化的算力模式向节点更分散、功耗更低的方向演变。

对用户/开发者/创作者的影响

对于AI应用开发者来说,这一技术方向最直接的潜在价值在于边缘场景的本地微调和增量学习。如果Error Diffusion将来能扩展到更大的模型和数据集,开发者或许能够在手机、IoT设备或机器人上直接执行小规模模型训练,无需将数据上传至云端。对于AI研究人员,双流网络和DALE约束的设计思路值得关注,尤其是在探索非反向传播训练范式的领域。对普通创作者和用户而言,目前还看不到直接可用的产品升级,但这一成果提示未来AI硬件的训练效能可能会逐渐从“堆算力”转向“改算法”。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

目前公开信息显示,Sakana AI还没有发布该方法的开源代码或开放权重模型。后续需要关注以下三点:一是Error Diffusion方法能否在ImageNet或其他大规模、高分辨率数据集上复现并取得有竞争力的结果;二是Sakana AI是否会围绕该技术推出商业化的训练工具或API,供开发者直接使用;三是其他研究机构,如中国科学院、MIT或DeepMind,是否会跟进验证并尝试将类似思路应用到主流视觉或语言模型中。开源社区的反馈速度和复现结果将是判断该技术落地前景的重要指标。

来源:MarkTechPost Research

celebrityanime
celebrityanime
文章: 14010

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注