14:27
OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE

OpenAI开源新模型,采用Circuit Sparsity技术实现99.9%权重为零的稀疏性,使模型计算过程可拆解、易理解,解决了传统稠密Transformer的黑箱问题。该模型通过严格约束减少无效连接,保留关键路径,从而提高决策透明度。相比MoE,Circuit Sparsity在特征流形和功能边界上更优,但当前面临高算力成本挑战。未来研究将致力于优化训练机制,提升效率与实用性。

来源:量子位
来源:钛媒体

来源:量子位
来源:36氪
来源:36氪
来源:36氪

来源:量子位

来源:量子位
来源:钛媒体
来源:钛媒体
来源:36氪
来源:36氪
来源:36氪
来源:36氪
来源:36氪
来源:36氪
来源:36氪
来源:钛媒体
来源:36氪
来源:36氪