标签: 人工智能

Dust:不依赖反向传播的 Transformer 预训练

Dust:不依赖反向传播的 Transformer 预训练

研究团队 qlabs 发布 Dust,一种不依赖反向传播的 Transformer 预训练方法,靠扰动激活值而非权重来估计梯度,在多项设置下逼近甚至超过传统方法,同时比主流进化策略高效约 10^3 到 10^4 倍,为大算力时代探索非梯度训练路线提供了新证据。