字节开源一整套 AI 智能体训练配方:代码和数据全放出,HLE 成绩超过 Gemini 3.1 Pro

机智流 2026-11-04 07:11

字节开源一整套 AI 智能体训练配方:代码和数据全放出,HLE 成绩超过 Gemini 3.1 Pro图1

Axion 1.0 两阶段数据构造流程(图源:Axion 官方 GitHub 仓库)

先说主角:字节跳动就是做抖音、TikTok 的那家公司,这两年也在大模型上投入很重,自家有豆包系列。

这次字节跳动联合杜克大学、马里兰大学、布法罗大学,开源了 Axion 1.0:一套训练“会查资料、会算、会用工具”的 AI 智能体模型的完整方案。开源的是训练代码和训练数据,协议 Apache 2.0;模型权重目前标注 coming soon,还没放出。

GitHub 项目地址

https://github.com/bytedance/axion1_0

配方有多简单?

官方的说法是“开放智能体基座模型,简化版”。整个流程只有三步:两段监督微调(SFT)+ 一段强化学习(RL),没有专门的中期训练,也没用 DPO、在线蒸馏这些常见花活。

• 35B 版:基座 Qwen3.6-35B-A3B,每次只激活 3B 参数。

• 122B 版:基座 Qwen3.5-122B-A10B,激活 10B。

• 论文里另有只做了 SFT 的 4B、9B 小版本。

第一段 SFT 用约 1.08 万条数理推理轨迹,只许用 Python、不许联网;第二段约 7544 条、3.12 亿 token 的“必须靠工具查资料才能答”的轨迹;最后在第二段的检查点上做异步 GRPO 强化学习。

成绩:HLE 超过 Gemini 3.1 Pro

字节开源一整套 AI 智能体训练配方:代码和数据全放出,HLE 成绩超过 Gemini 3.1 Pro图2

Axion 1.0 与部分开源、闭源模型对比(图源:Axion 官方仓库)

以下数字核对自技术报告 Table 1:

• 122B:完整版 HLE(人类最后的考试,受限联网)59.0,高于 Gemini 3.1 Pro 的 51.4,低于 Claude Fable 5 的 63.8;FrontierScience 奥赛 87.0、科研题 66.7。

• 35B:HLE 52.2,SEAL-0 62.2,是表中 SEAL-0 最高分。

要注意:表里 Gemini 3.1 Pro 除 HLE 外的成绩、GPT-5.6 Sol 的全部成绩都带星号,是 Axion 团队自己测的;论文也写明跨来源对比的执行设置可能不同,HLE 用的还是受限联网。

我们翻了源码:三个关键设计

我们把仓库克隆下来,重点读了强化学习和数据流水线部分。整体分三块:datagen 造数据,training 里 sft 用 Swift + Megatron、rl 基于 verl 改的异步训练,evaluation 负责评测打分。

1. 奖励:答对给满分,答错按“走对了几步”给安慰分。每道 RL 题都带一串中间目标(hops)。最终答案对就给 1 分;不对的话,看从头开始连续答对了几步,最多拿 0.3 分;要是连最终答案都没交,再扣 0.1。这样模型不会因为一题没答完就完全学不到东西,又不至于靠“半截答案”刷分。

字节开源一整套 AI 智能体训练配方:代码和数据全放出,HLE 成绩超过 Gemini 3.1 Pro图3

奖励函数核心逻辑(代码摘自 Axion 仓库,为手机阅读换行)

2. 异步训练,但严格管“过期”。生成轨迹和更新模型是分开跑的,所以一条轨迹可能是用几版之前的参数生成的。代码规定:同一道题的 8 条轨迹里,只要有一条落后超过 11 个版本,整组作废;8 条得分全一样的组也扔掉,因为对 GRPO 来说没有学习信号。凑够 24 组才更新一次。

字节开源一整套 AI 智能体训练配方:代码和数据全放出,HLE 成绩超过 Gemini 3.1 Pro图4

过期组、无效组的剔除规则(代码摘自 Axion 仓库)

3. 造题:答案由程序算,能“背出来”的题先删掉。第二阶段的题目不是让大模型编的:程序先在 NASA 系外行星库、OurAirports、OpenAlex、UniProt、Ensembl 等公开数据库里筛出唯一目标、算出参考答案,再让模型把它改写成自然语言。随后用一个不给工具的模型闭卷硬答一遍,凡是闭卷就能答对的题统统删除,保证剩下的题真的要靠检索才能做。

字节开源一整套 AI 智能体训练配方:代码和数据全放出,HLE 成绩超过 Gemini 3.1 Pro图5

闭卷过滤:不给工具让模型直接答,答对的题被剔除(代码摘自 Axion 仓库,为手机阅读换行)

怎么用?

README 给的路线是:克隆仓库,按训练指南做两段 SFT 和检查点导出,再用 verl 跑 RL;数据构造和评测另开一个 Python 3.11 环境安装即可。RL 文档写得很实在:推荐配置是 40 张卡跑生成、16 张卡训练,还要求 vLLM 0.22 以上,并坦言原始 RL 镜像已不可用,需要在自己的硬件上重新验证环境。

论文给出的 SFT 成本:32 张 GPU,35B 两段共约 90 GPU 小时,122B 约 240 GPU 小时。

一句话看点

不靠复杂花活,两段 SFT 加一段带“过程分”的 RL,把智能体训练的全流程连同数据一起摊开。权重还没放,但想自己复现、改造智能体训练的团队,现在已经有一套可以照着跑的完整配方。

相关链接

GitHub 项目地址

https://github.com/bytedance/axion1_0

项目主页

https://axion1-0.github.io

技术报告(PDF)

https://axion1-0.github.io/paper/axion.pdf

训练数据(Hugging Face)

https://huggingface.co/datasets/Axion1-0/axion-training-data

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AI EMI 开源 字节
more
AI“翻车”现场成喜剧新蓝海,创作者靠嘲讽智能机器签约好莱坞
YC掌门人年耗百万美元养AI:从“数字蟋蟀”到掌控隐私的边界
让AI成为芯片医生:玖熠科技亮相DFT智能体,推动可测性设计从经验驱动走向半工程自治
AI作家月入百万引争议,南非女作者回应网络暴力与行业预言
豆包用户数被红果超越,华晨宝马裁员约1800人赔n+5,Q3全球手机SoC出货量跌21%,传腾讯将推面向C端的AI搜索引擎,这是今天的其他大新闻!
苹果“特努斯时代”首份财报拆解:内存涨价冲击利润、大中华区不及预期、AI待补课
超越 Die 边界:Arteris Multi-Die 技术如何重新定义 AI 系统设计
墨芯完成近20亿元融资,稀疏计算能否撬动AI算力成本重构?
从个人助理到企业AI原生生产力,Agent进入「强落地」新阶段!
百度前高管吴甜加盟三一重工,执掌耘AI总院
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号