国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1

智东西 2025-10-09 14:00

国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图1国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图2

能一句话生成《三体》人物图谱和自己的基准测试对比表格。
作者 |  王涵
编辑 |  漠影
智东西10月9日消息,昨日夜间,蚂蚁集团正式开源Ling 2.0系列中首个旗舰级非思考模型Ling-1T参数量达到1T(1万亿)
Ling-1T-base基于Ling 2.0架构构建,在超20T token的语料上完成预训练,支持最高128K上下文窗口。
Ling-1T全程采用FP8混合精度训练,是目前已知规模最大的使用FP8训练的基座模型。通过“中训练+后训练”的演进式思维链(Evo-CoT)技术,该模型的高效推理能力得到有效提升。
Ling-1T在推理、数学以及编程等基准测试中取得22项SOTA表现,部分基准测试超越DeepSeek-V3.1-Terminus、Kimi-K2-Instruct-0905,复杂推理能力可媲美闭源API。
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图3
Ling-1T现已在Hugging Face和魔搭社区全面开源。
开源地址:
HuggingFace:
https://huggingface.co/inclusionAI/Ling-1T
ModelScope:
https://modelscope.cn/models/inclusionAI/Ling-1T
体验地址:
Ling chat(国内用户):
https://ling.tbox.cn/chat
ZenMux(海外开发者,提供Chat测试与API等能力):
https://zenmux.ai/inclusionai/ling-1t

01.
数学推理能力SOTA,超越Gemini-2.5-Pro和DeepSeek-V3.1-Terminus


Ling-1T在7项有关数学以及推理能力的基准测试中获得SOTA表现。在MultiPL-E、LiveCedeBenchi2408-25051、CadeForces-raling以及FullStack Bench等编程能力基准测试中,Ling-1T的成绩超越DeepSeek-V3.1-Terminus、Kimi-K2-Instruct-0905以及闭源的GPT-5-main、Gemini-2.5-Pro
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图4
 
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图5
在AIME 25基准测试中,Ling-1T拓展了推理精度与推理长度的帕累托边界,展示了其在“高效思考与精准推理”方面的优势。
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图6
Ling-1T结合了深度语义理解与精准代码合成,在视觉推理与前端代码生成任务中表现较好。研究团队引入混合语法-功能-美学奖励机制,使模型不仅能生成正确且功能完整的代码,还展现出精致的视觉美感。
AI代码生成评测标准ArtifactsBench上,Ling-1T在开源模型中排名第一,且本文章中的基准可视化内容实际均由Ling-1T自身生成。在BFCL V3工具使用基准测试中,Ling-1T仅通过轻度指令微调即实现约70%的工具调用准确率,尽管其训练期间未接触大规模轨迹数据。
Ling-1T能够解析复杂自然语言指令,将抽象逻辑转化为功能化视觉组件,还能生成跨平台兼容的前端代码,以及生成创作风格受控的营销文案与多语种文本,这些能力构成了通用协作人机智能的基础。
例如,让Ling-1T开发一个展示《三体》主要人物关系及阵营的图谱页面,并提供详细的视觉效果要求(配色、风格、鼠标悬停效果等)。
让Ling-1T根据要求开发Crane云平台网页,其完整实现了用户登录、数据仪表盘、客户管理、设备管理等功能。
再比如,Ling-1T开发的“在线塔罗牌运势预测”页面,完整实现了首页、占卜流程、运势报告、塔罗数据库、用户评价、塔罗知识小贴士等产品功能。
Ling还可以生成随意控制的六边形+小球运动:
指令:写一个HTML脚本,展示1个小球在旋转的六边形内弹跳碰撞,需要满足如下要求:
1、六边形大小可以实时调整;
2、六边形旋转速度可以实时调整;
3、小球大小可以实时调整;
4、小球和六边形间的碰撞符合物理规律,需要考虑重力、摩擦力、反弹力等等。
还可以要求Ling-1T开发一个展示其自身不同写作风格能力的应用,包括前端页面和后端服务调用脚本。
Ling-1T可以根据提示词要求,对六种常见的优化问题(线性规划、旅行商问题、车辆路径问题、作业调度、最大流求解、交互式数独)进行求解并同时用pygame生成教学演示动画。
更日常一些,Ling-1T能够根据给定信息和要求(酒店、目的地坐标,步行为主,停留时长等)进行上海一日游行程规划,并开发页面,利用mapbox地图引擎展示整个行程。
Ling-1T还能玩扫雷游戏。

02.
1万亿总参数、500亿激活参数
Ling-1T预训练推理语料占比超40%


Ling 2.0架构基于Ling缩放定律指导,确保了即使在1e25–1e26 FLOPs计算量下仍保持架构与超参数的可扩展性。
关键架构创新包括:
1、1万亿总参数/500亿激活参数,混合专家激活比为1/32
2、MTP层用于增强组合推理;
3、无辅助损失、S型函数评分专家路由与零均值更新;
4、QK归一化实现完全稳定收敛。
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图7
Ling-1T全程采用FP8混合精度训练,是目前已知规模最大的使用FP8训练的基座模型。FP8混合精度训练可以实现15%以上的端到端加速,提升内存效率,并在1万亿token训练中保持与BF16精度损失偏差≤0.1%
由于Ling 2.0的层间异构架构容易导致流水线负载不均,研究团队将interleaved 1F1B pipeline改进为异构细粒度pipeline,实现了更精细的流水线编排与更低的空泡率,带来超过40%的端到端加速。
此外,研究团队还在算子融合、通信优化、重计算、Checkpoint存储、仿真训练与细粒度监控等方面进行了系统性优化。其研究团队透露,其中大量设计思路和技术方案源自开源社区。
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图8
训练阶段,Ling-1T使用了超过20万亿个高质量token,研究团队在第二阶段(后10T token)的预训练中引入了高推理密度语料,使整个预训练过程中推理相关语料的占比超过40%
在中训练(Mid-training)阶段,研究团队进一步加入了高质量的思维链推理语料,这一策略能够有效实现模型推理能力的“预激活”,为后训练阶段提供更高的推理上限和更稳定的思维基础。
与Ling-mini-2.0、Ling-flash-2.0类似,Ling-1T也采用了自研的WSM (Warmup-Stable and Merge)LR scheduler。通过mid-training checkpoint merging来模拟LR decay,进一步获得下游任务的整体提升。
基于训练中期的推理激活基础,Ling-1T的后训练阶段采用进化思维链(Evo-CoT)方法,在可控成本下实现渐进式推理增强。该技术持续拓展推理精度与效率的帕累托边界,特别适合反射式非思考模型。
强化学习方面,研究团队提出LPO,即语言学单元策略优化,是一种创新的句子级策略优化方法。研究团队认为,对于推理任务而言,句子是更符合语义逻辑的动作单元。
与GRPO(token级)或GSPO(序列级)算法不同,LPO以句子为自然语义动作单元,实现奖励信号与推理行为的精准对齐。实证表明,LPO在推理任务中具有更优的训练稳定性与泛化能力
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图9
 
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图10

03.
结语:Ling-1T在自动化开发、智能编程助手等场景具有落地潜能


蚂蚁集团通过开源Ling-1T,为开源社区带来了首个万亿参数级别的旗舰非思考模型。凭借Evo-CoT演进式思维链、LPO句子级强化学习等创新技术,Ling-1T在保持高效能的同时,实现了与闭源顶级模型相媲美的复杂推理能力。
从应用前景看,Ling-1T在前端代码生成、视觉理解等场景展示的实用能力,以及仅通过轻度指令微调就能实现约70%工具调用准确率的表现,使其在自动化开发、智能编程助手等场景具有应用落地潜能。
国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1图11



声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
开源
more
搜集了几个适合嵌入式的开源项目!
华为盘古718B模型最新成绩:开源第二
最新 | 卡内基梅隆大学霸榜具身智能周,开源工具箱+通用策略,直击技术堵点!
可能是目前效果最好的开源生图模型,混元生图3.0来了
阿里通义7大模型霸榜全球开源前十;滴滴App海外中文打车服务已上线12个国家|36氪出海·要闻回顾
更高智商更快思考!蚂蚁开源最新万亿语言模型,多项复杂推理SOTA
NeurIPS'25开源 | 首个免对齐框架SIU3R!无需2D特征对齐,0.1秒同时实现场景理解与三维重建!
一款免费开源工具让设计脑机接口比搭建乐高还要简单
【投融资】开源数据库Supabase估值冲50亿美元,ARR升至7000万,AI编程热潮助推
上海AI Lab最新开源!SciReasoner:跨学科科学数据推理的统一基座模型
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号