14:27
OpenAI突然开源新模型!99.9%的权重是0,新稀疏性方法代替MoE

OpenAI开源新模型,采用Circuit Sparsity技术实现99.9%权重为零的稀疏性,使模型计算过程可拆解、易理解,解决了传统稠密Transformer的黑箱问题。该模型通过严格约束减少无效连接,保留关键路径,从而提高决策透明度。相比MoE,Circuit Sparsity在特征流形和功能边界上更优,但当前面临高算力成本挑战。未来研究将致力于优化训练机制,提升效率与实用性。

来源:量子位
来源:钛媒体

来源:量子位

来源:量子位
来源:36氪
来源:36氪
来源:36氪
来源:36氪


来源:量子位

来源:量子位

来源:量子位
据介绍,李国齐是中国脉冲神经网络和类脑大模型研究的知名青年专家。今年,他带领团队成功研发出首款类脑脉冲大模型“瞬悉 1.0”,标志着我国在类脑计算与大模型融合创新方面取得重要突破。(广角观察)
来源:钛媒体
来源:钛媒体
来源:钛媒体
来源:36氪

来源:量子位
来源:钛媒体
来源:36氪
来源:钛媒体