不er？谁家大模型12B版本跑分比975B的高啊

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

Thinking Machines首款自研大模型，9750亿参数直接开源。

不追求综合跑分第一，要做开源社区里最适合定制的基础模型。

因为他家的收入来源就是靠微调，自研平台Tinker专门卖模型定制服务。

团队演示了一个操作：让Inkling在Tinker上给自己写微调任务、自己跑训练、自己评估结果。

甚至可以调成禁止说字母e。

另外Inkling在设计竞技场Design Arena表现不错，排在开源模型中第二位，仅次于GLM5.2。

可以一次性设计出9页的精美排版PDF。

最亮眼的是几乎追平大参数版本的12B小弟。

Inkling-Small总参数276B、激活12B，采用改进后的预训练数据和配方，共享相同的后训练流程。

结果HLE带工具46.6%反超大模型的46.0%，GPQA Diamond 88.3%对87.2%同样反超，IFBench指令遵循83.4%对79.8%领先更明显，SWEBench Verified 77.4%几乎持平大模型的77.6%。

目前正在完成最后测试，之后释放全部权重。

不做最强，做最能改的底座

架构上，Inkling大体沿用DeepSeek-V3的MoE设计。

每层256个路由专家加2个共享专家，每个token激活6个路由专家，采用基于sigmoid的路由器和无辅助损失的负载均衡偏置。

注意力机制则有所不同，滑动窗口层与全局层以5:1的比例交错排列，配合8个KV头，位置编码选择了相对位置嵌入而非更流行的RoPE，这在长序列外推上表现更好。

此外，模型在key/value投影之后以及注意力和MLP残差分支重新汇入主残差流之前，都加入了短卷积操作。

音频输入以dMel频谱图形式送入，图像则被切成40×40像素的patch通过四层hMLP编码，两者经过轻量嵌入层后与文本token一起处理，整个过程不依赖外部编码器。

可控思考：同样的结果，三分之一的token

Inkling最值得关注的设计之一是”可控思考深度”（controllable thinking effort）。

开发者可以通过effort参数在0.2到0.99之间调节模型的推理投入，在性能和成本之间找到最优平衡点。

在Terminal Bench 2.1（智能体编程基准）上，Inkling达到与Nemotron 3 Ultra相同分数时，生成的token量只有后者的大约三分之一。

对于需要大规模调用模型的生产场景，这意味着成本和延迟的显著下降。

团队在训练时通过改变系统消息并调整每token的成本来指定不同样本的effort水平，模型由此学会了在不同rollout中使用不同数量的token，自然获得了控制思考深度的能力。

在effort=0.99的全力模式下，Inkling在多项基准上展现出开源模型中的先进水平：

AIME 2026得分97.1%，GPQA Diamond达到87.2%，SWEBench Verified为77.6%，HLE（带工具）46.0%。

安全性方面，FORTRESS对抗性测试78.0%为同类开源模型最高，同时良性查询通过率95.9%，不存在过度拒绝的问题。

团队通过对大量已解决的真实世界问题使用proper scoring rules做强化学习来训练校准能力，并专门设计了带弃权感知奖励的短答事实QA数据集，

只有模型确信正确时回答才有收益，否则最优策略是说”我不知道”。

三千万次RL rollout炼出来的推理能力

预训练之外，Inkling的后训练流程覆盖了数学、智能体代码与工具使用、音频、图像、对话和安全等多个领域。

起步阶段先用开源模型（包括Kimi K2.5）生成的合成数据做SFT引导，但这部分只占总计算量的一小部分，大头全部投入了大规模强化学习。

RL的规模达到了3000万次以上的rollout，分两次长时间连续运行完成，训练全程保持稳定。在AIME、HLE、GPQA等推理评测的留出集上，奖励值呈现出log-线性的持续增长，从SFT初始化一直提升到最终发布的检查点。

训练过程中还出现了一个有趣的涌现现象：

随着RL推进，模型的思维链风格自动变得更加简洁。早期的思维链是完整的英语语法句子——“We need to understand the operator”；

到了后期变成了电报式压缩——“We need determine eigenvalue problem”，省略冠词和连接词，但仍然可读且不影响最终答案。

团队强调这并非奖励函数刻意优化的结果，纯粹是效率压力驱动的自发压缩。Cognition团队在训练SWE-1.7时也观察到了类似效应。

优化器方面，团队采用混合策略：大矩阵权重用Muon，其他参数用Adam，并将权重衰减强度与学习率的平方耦合，以保持模型权重在整个训练过程中的整体规模稳定。

Inkling目前已在Tinker平台上线，提供64K和256K两种上下文长度选项，限时五折。

团队同步更新了cookbook并新增三个展示音频能力的微调教程，还开源了tml-renderer工具用于可靠采样和后训练中的工具调用、推理内容及多模态输入处理。

Tinker控制台内新增的Inkling Playground限时免费开放，支持带智能体网页搜索的对话界面，供开发者在正式微调前先上手体验模型手感。

参考链接：
[1]https://thinkingmachines.ai/news/introducing-inkling/