SuperCLUE：
《中文大模型基准测评2025年上半年报告》

（完整版.pdf ）
以下仅展示部分内容
下载方式见文末

《SuperCLUE：中文大模型基准测评2025年上半年报告》的详细核心内容整理：

一、测评背景与目标

SuperCLUE是中文大模型领域领先的第三方综合性测评基准，旨在精准量化通用人工智能（AGI）进展，并定义人类迈向AGI的路线图。2025年上半年报告聚焦中文大模型在通用能力、推理能力、幻觉控制、代码生成、智能体Agent等关键维度的阶段性进展。

二、测评体系与维度

本次测评围绕六大核心任务展开，共计1288道原创中文题目，覆盖以下维度：

1. 数学推理：包括几何、代数、概率等竞赛级问题，考察多步逻辑推理能力。

2. 科学推理：涵盖物理、化学、生物等研究生级跨学科因果推导。

3. 代码生成：包括独立函数生成与完整Web应用开发，测试编程与工程能力。

4. 智能体Agent：考察模型在中文场景下调用API、完成多轮任务的能力。

5. 幻觉控制：评估模型在文本生成中的事实一致性，防止“胡编乱造”。

6. 精确指令遵循：测试模型对复杂中文指令（格式、结构、语义、量化等）的精准执行能力。

三、总体测评结果与趋势

1. 国内外模型差距缩小但仍存在

• 海外头部模型（如OpenAI o3、o4-mini、Gemini-2.5-Pro）仍领先，尤其在推理类任务上优势明显。

• 国内模型中，字节跳动 Doubao-Seed-1.6-thinking-250715以68.04分位居国产第一、全球第四，在Agent任务中全球第一（90.67分），幻觉控制与代码生成也表现优异。

• DeepSeek-R1-0528以66.15分成为最强国产开源模型，在数学、科学、幻觉控制任务中领先。

2. 开源模型崛起

• 国内开源模型整体优于海外开源，DeepSeek-R1、Qwen3-235B系列、GLM-4.5等表现突出。

• 海外开源模型（如Llama-4-Maverick）在中文任务中得分普遍低于40，差距明显。

3. 模型能力分化显著

• 推理任务：海外模型领先，国内模型紧追不舍，差距约5–10分。

• Agent任务：国内模型已实现反超，如Doubao、GLM-4.5、SenseNova等。

• 幻觉控制：国内外差距小，国内模型如Doubao、ERNIE-X1、Hunyuan-T1表现优异。

• 代码生成：海外模型略占优，但Doubao已接近第一梯队。

• 小模型表现：Qwen3-8B/4B/1.7B等小参数量模型在端侧场景中表现亮眼，打破“小模型=弱性能”的刻板印象。

四、代表性模型分析

1. Doubao-Seed-1.6-thinking-250715（字节跳动）

• 亮点：Agent任务全球第一，幻觉控制全球第二，代码生成国内第一。

• 能力：支持视觉理解，擅长复杂推理、中文任务、工具调用与多轮交互。

• 应用：智能体、科研、编程、教育、内容创作等场景。

2. DeepSeek-R1-0528（深度求索）

• 亮点：开源最强，数学/科学/幻觉控制全面领先，性价比极高。

• 特点：推理能力强，适合科研、教育、代码生成等严肃场景。

3. Qwen3系列（阿里巴巴）

• 亮点：覆盖0.6B–235B全参数量级，开源模型矩阵完整。

• 表现：小模型在端侧部署中优势明显，大模型在通用能力中稳居前列。

五、模型成熟度与能力分布

SuperCLUE首次引入“SC成熟度指数”，将模型能力分为三类：

• 高成熟度：暂无国产模型达到，海外模型在推理任务中接近。

• 中成熟度：数学推理、科学推理、代码生成、Agent任务，国产模型已具备可用性。

• 低成熟度：幻觉控制、精确指令遵循，国产模型仍需优化。

六、专项基准测评亮点

1. SuperCLUE-DeepResearch（深度研究）

• 国内产品Kimi Researcher以58.65分位列国产第一，但与OpenAI（76.37分）仍有差距。

• 国内产品在研究分析类任务表现好，但在深度检索与数据整合上薄弱。

2. AgentCLUE-General（通用智能体）

• 当前通用Agent能力普遍偏弱，最高分Manus仅38.46分。

• 复杂多步骤任务（Level 2/3）是主要瓶颈，联网检索+结构化数据分析是强项，多模态+非结构化数据是短板。

3. SuperCLUE-VLM（视觉语言模型）

• 国产模型在汉字生成、中文场景理解方面领先。

• 国外模型在现实复现、创作能力方面更强，整体差距不大。

4. SuperCLUE-T2V / I2V（文生视频 / 图生视频）

• 国产模型在画质、要素搭建、中文文化表达方面表现优异。

• 动态塑造、物理真实性仍是全球模型共同挑战。

5. SuperCLUE-Faith / Fact（幻觉测评）

• 推理模型幻觉率高于非推理模型（22.95% vs 13.52%）。

• 任务越开放，幻觉越严重，如对话补全任务幻觉率高达33.61%。

• 国内模型在常识幻觉任务中领先，海外模型在上下文幻觉中更强。

七、性价比与效能分析

• 高性价比模型：Doubao-Seed-1.6、DeepSeek-R1、Qwen3-235B-Thinking、GLM-4.5、Hunyuan-T1，价格低于海外模型，性能接近。

• 高效能模型：海外模型（如o3、o4-mini）在推理时间<60秒+任务得分>60分的“高效能区”占据主导。

• 国内模型中，仅SenseNova V6Reasoner接近高效能区，其余模型在得分上反超，但推理耗时仍偏高。

八、测评一致性与权威性验证

• SuperCLUE与LMArena（英文权威排行榜）得分高度一致（Spearman相关系数0.8972），验证其评估结果与人类偏好一致。

• 所有测评题目为100%原创、每2个月全量更新，避免数据污染与过拟合。

九、未来展望与服务能力

SuperCLUE将继续提供以下服务：

• 通用大模型测评：多维度、横向对比、优化建议。

• 行业专项测评：汽车、金融、医疗、教育、工业等垂直场景。

• 多模态与Agent测评：视频生成、图像理解、智能体任务。

• 深度研究报告与排行榜：持续发布国内外模型能力趋势分析。

十、总结

2025年上半年，中文大模型呈现出**“国产模型快速追赶、开源生态崛起、能力分化明显、Agent与幻觉控制突破”的阶段性特征。以Doubao、DeepSeek、Qwen3为代表的国产模型已在多个维度实现对海外模型的局部超越**，但在推理深度、复杂任务泛化、低幻觉率等方面仍需持续投入。未来，随着Agent、视觉推理、端侧部署等场景的深化，中文大模型有望在全球AGI竞赛中占据更关键的位置。

【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！

如需获取更多报告

扫码加入

“人工智能产业链联盟”

知识星球，任意下载相关报告！

报告部分截图

声明

来源：SuperCLUE，人工智能产业链union（ID:aiyuexingqiu）推荐阅读，不代表人工智能产业链union立场，转载请注明，如涉及作品版权问题，请联系我们删除或做相关处理！

编辑：Zero

文末福利

1.赠送800G人工智能资源。

获取方式：关注本公众号，回复“人工智能”。

2.「超级公开课NVIDIA专场」免费下载

获取方式：关注本公众号，回复“公开课”。

3.免费微信交流群：

人工智能行业研究报告分享群、

人工智能知识分享群、

智能机器人交流论坛、

人工智能厂家交流群、

AI产业链服务交流群、

STEAM创客教育交流群、

人工智能技术论坛、

人工智能未来发展论坛、

AI企业家交流俱乐部

雄安企业家交流俱乐部

细分领域交流群：

【智能家居系统论坛】【智慧城市系统论坛】【智能医疗养老论坛】【自动驾驶产业论坛】【智慧金融交流论坛】【智慧农业交流论坛】【无人飞行器产业论坛】【人工智能大数据论坛】【人工智能※区块链论坛】【人工智能＆物联网论坛】【青少年教育机器人论坛】【人工智能智能制造论坛】【AI/AR/VR/MR畅享畅聊】【机械自动化交流论坛】【工业互联网交流论坛】

入群方式：关注本公众号，回复“入群”