华为昇腾、寒武纪等适配DeepSeek新模型

华为昇腾、寒武纪等适配DeepSeek新模型

深度求索公司正式发布其新一代大语言模型DeepSeek-V3.2-Exp,并于HuggingFace平台同步开源,模型引入稀疏 Attention 架构,这种架构能够降低计算资源消耗并提升模型推理效率。随后,华为昇腾、寒武纪、海光信息均同步宣布完成适配,其中昇腾实现0day支持并开源推理代码,寒武纪完成适配且开源推理引擎,海光信息达成无缝适配与深度调优,共同以软硬件协同助力国产AI生态发展。据华为计算微信公众号消息,昇腾已快速基于vLLM/SGLang等推理框架完成适配部署,实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现。

—— 财联社

*

发表评论 (0)
后一页 前一页