昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE

tamoadmin 0

证券时报e公司讯,昆仑万维(300418)消息,6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。

昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
(图片来源网络,侵删)

标签: #万维

上一篇电力股走强,确定这个方向吃肉

下一篇当前文章已是最新一篇了