蚂蚁开源首个100B扩散语言模型LLaDA2.0

蚂蚁技术研究院今日宣布推出LLaDA2.0系列离散扩散大语言模型(dLLM),并同步公开了背后的技术报告。LLaDA2.0包含MoE架构的16B (mini)和100B (flash)两个版本,将Diffusion模型的参数规模首次扩展到了100B量级。(广角观察)

来源:钛媒体

Back to top button