华为开源7180亿参数大模型!

智东西 2025-08-05 17:49

资讯配图资讯配图

华为开源多箭齐发!从1B到718B,追赶阿里腾讯?
作者 |  云鹏
编辑 |  李水青
智东西8月5日消息,今天上午,华为轮值董事长徐直军正式宣布CANN全面开源开放,就在昨日,华为还开源了三款盘古模型,参数规模为1B、7B和718B。
资讯配图

▲Gitcode页面

其中参数规模7180亿的盘古Ultra MoE模型最早在今年5月30日首次官宣,发布之初曾受到业内高度关注和热议。
CANN的全称是Compute Architecture for Neural Networks(神经网络计算架构),这是华为针对AI场景开发的异构计算架构,其可以提高华为自家昇腾AI芯片在处理AI任务时的效率。
徐直军称,Mind系列应用使能套件和工具链会全面开源,支持用户自定义开发。
资讯配图
此前华为昇腾CANN早在2024年就已经宣布深度开放,此次全面开源开放是策略的延续和补全。
回到华为刚刚开源的三款模型,它们分别是openPangu-Embedded-1B-model、openPangu-Ultra-MoE-718B-model、openPangu-Embedded-7B-model。
三款新开源模型下载地址:
https://ai.gitcode.com/ascend-tribe/openpangu-embedded-1b-model
https://ai.gitcode.com/ascend-tribe/openpangu-embedded-7b-model
https://ai.gitcode.com/ascend-tribe/openpangu-ultra-moe-718b-model
根据Gitcode发布信息,openPangu-Embedded-1B基于昇腾NPU从零训练,模型结构为26层Dense架构,训练了约10T tokens,是一个为端侧设备运行而设计的高效快思考语言模型,支持昇腾Atlas 200I A2。
资讯配图
通过昇腾Atlas 200I A2可用的模型架构设计、数据和训练策略优化,openPangu-Embedded-1B据称可在保持端侧运行的要求下达到较高精度。
Gitcode页面给出了该模型测评结果,但并没有横向类比:
资讯配图
7B版本模型类型相同,测评结果如下:
资讯配图
openPangu-Ultra-MoE-718B同样基于昇腾NPU从零训练,其类型为混合专家语言模型,总参数量为718B,激活参数量为39B。openPangu-Ultra-MoE-718B训练了约19T tokens,具备快慢思考融合能力。
架构方面,openPangu-Ultra-MoE-718B采用了Multi-head Latent Attention(MLA)、Multi-Token Prediction(MTP)、大稀疏比等架构,以及一些特有设计:
·Depth-Scaled Sandwich-Norm和TinyInit:通过调整层归一化结构与参数初始化,提升训练稳定性。
·基于EP-Group的负载均衡策略:通过优化负载均衡损失函数,改善专家特化效果。
其测评结果如下:
资讯配图
今年6月30日,华为首次开源大模型,包括70亿个参数的稠密模型“盘古Embedded 7B”、720亿个参数的混合专家模型“盘古Pro MoE”。
其中基于4000颗昇腾NPU并行训练的盘古Pro MoE在MMLU、C-Eval、GSM8K等多种基准测试中,性能超越Qwen3-32B、GLM-Z1-32B等主流开源模型。其在昇腾800I A2上单卡推理吞吐性能可达1528 tokens/s,显著优于同等规模的320亿和720亿个参数的稠密模型。
资讯配图

结语:华为AI软硬件生态继续发力


昇腾CANN作为连接华为AI硬件和上层应用开发生态的关键技术,其进一步提高开源程度必然会有助于华为昇腾AI生态的成长,吸引更多开发者加入。盘古大模型的进一步开源,侧面与之形成协同。
当前国内AI赛道火热,AI芯片、AI大模型企业众多,在自主可控成为行业关注焦点之一的大背景下,华为昇腾AI芯片+盘古大模型成为一条可行技术路径。
资讯配图
(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)

资讯配图


声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
开源 华为
more
硬件与应用同频共振,英特尔Day 0适配腾讯开源混元大模型
6小时复刻AI IMO金牌成果,蚂蚁多智能体新进展已开源
训练时间减半,性能不降反升!腾讯混元开源图像生成高效强化方案MixGRPO
对话阶跃姜大昕:首次开源基座模型,回顾创业两年半
华为版CUDA,全面开源了
gpt-oss:OpenAI 终于认可了开源生态
科研写作神器,超越Mathpix的科学公式提取工具已开源
华为宣布 CANN 全面开源开放,共建昇腾生态
Claude Opus 4.1代码实测惊人!OpenAI开源模型却只会写屎山?
会员活动|企业家俱乐部闭门沙龙暨文心开源开放日·上海站:共探AI时代企业破局之道
Copyright © 2025 成都科技区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号