MoE

华为盘古Ultra-MoE-718B-V1.1模型正式开源

华为盘古Ultra-MoE-718B-V1.1模型正式开源 华为宣布openPangu-Ultra-MoE-718B-V1.1正式在GitCode平台开源,模型权重与技术细节全面公开。openPangu-Ultra-MoE-718B-V1.1是基于昇腾NPU训练的大规模混合专家(MoE)语言模型,总参数规模达718B,激活参数量为39B。相比上一版本,V1.1在智能体工具调用能力上显著增强,幻觉率进一步降低。在9月最新SuperCLUE榜单中,openP…

Kimi开源万亿参数模型K2 性能超主流开源模型

Kimi开源万亿参数模型K2 性能超主流开源模型 月之暗面Kimi发布MoE架构基础模型K2并同步开源,总参数1T,激活参数32B,在自主编程、工具调用、数学推理等领域超越其他开源模型。Kimi K2使用 MuonClip 优化器实现万亿参数模型的高效训练,在高质量数据遇到瓶颈的背景下通过提升 Token 效率,找到新的预训练扩展空间。K2具备更强代码能力,擅长通用智能体任务,在多个实际场景中展现出更强的能力泛化及实用性,新 模型目前已上线开放体验 。K…

加载更多博文
未找到任何结果