Sakana AI提出误差扩散训练法，无需反向传播即可训练符合Dale原则的网络

Sakana AI提出误差扩散训练法（Error Diffusion），无需反向传播即可训练符合Dale原则的神经网络，在MNIST和CIFAR-10上分别达到96.7%和61.7%的准确率。这一方法绕开了反向传播的权重传输问题，更贴近生物神经网络的局部学习机制。

• 误差扩散是一种局部学习规则，每个权重更新仅依赖突触前活动、突触后激活导数和单个全局误差信号，不传输转置权重或使用随机反馈矩阵。
• 为满足Dale原则（神经元要么兴奋要么抑制），网络每层拆分为兴奋性和抑制性两个流，所有可学习权重保持非负，交叉流连接通过结构负号实现抑制。
• 双流架构每层需要四倍参数（约32M vs 8M），但实现了生物合理性。
• 创新点“模数误差路由”将每个隐藏单元固定映射到一个输出通道，从而将误差扩散从二分类扩展到多分类。
• 针对多分类引入层特定sigmoid宽度、输出层无偏置等三项改进，提升了性能。
• 看点：误差扩散为生物启发式学习提供了新路径，避免了反向传播的生物学不可行假设，但双流架构的参数膨胀和当前仅在小型数据集上的验证，距离大规模实用仍有距离。

本内容由 AI 生成，仅供参考，请注意甄别