自今年 5 月以来，田渊栋参与创立的新公司 Recursive_SI 终于迎来了首个模型成果！
Flint-40B-A2B 是一款速度快、专为本地硬件运行的智能体编程模型，它由 Recursive 自研的自动化研究系统 Eureka Machine 全程参与打造。
作为一个混合专家（MoE）模型，Flint 的总参数量为 400 亿，每生成一个 Token 只激活 25 亿参数。在少量员工和 AI 智能体的共同参与下，从零开始，仅用不到 4 个月就完成了这款模型。
在 SWE-Bench Pro v2、Terminal-Bench 2.1 和 SWE-Bench Verified 等智能体编程基准测试中，Flint 的表现超过了总参数量低于 500 亿的其他 MoE 模型。它的编程能力也能与总参数量为 250 亿至 400 亿的稠密模型相媲美，运行速度却快了 5 倍以上。
推理引擎也做了专门优化。在较短的上下文下，Flint 在搭载 M4 Pro 芯片的 MacBook Pro 上，生成速度超过每秒 125 个 Token；在配备 64GB 内存的 NVIDIA RTX Spark 上，超过每秒 150 个 Token。相比同类模型，速度最高可提升 2 倍。
Flint 在 MacBook Pro M4 Pro 上，把本地模型的速度与能力之间的平衡推到了一个新的水平。
「哥们……Recursive 刚刚发布了一个能直接在 MacBook Pro 本地运行的编程模型，生成速度高达每秒 125 个 Tokens！」
开发 Flint 也是对大规模自动化 AI 研究与开发系统 Eureka Machine 的一次实际检验。这套系统帮助 Recursive 完成了 Flint 模型构建流程中几乎所有环节的研发，包括数据处理、训练方案、基础设施和推理优化。
目前，Flint 的模型权重已在 Hugging Face 上开放，采用了 Apache 2.0 许可证。下载模型后，就可以在本地运行，让数据留在自己的设备上，也可以根据具体应用需求进行调整。
Hugging Face 地址：https://huggingface.co/RecursiveSI/flint
rec 项目地址：https://github.com/recursive-oss/rec
Flint 还兼容了多种工具和框架，包括 llama.cpp、Ollama、Unsloth、LM Studio、vLLM 和 SGLang。另外， 开源的轻量级推理引擎 rec 专门针对 Flint 在 M4 Pro 和 M5 Pro/Max 芯片上的运行进行了优化，并提供了简单的配置流程，方便用户快速上手。
有开发者在搭载 64GB 内存的 MacBook Pro M5 Max 上，实测 Recursive Flint 的生成速度达到每秒 114～132 个 Tokens。
图源：@WangCankun
另有开发者在一张只有 12GB 显存的 RTX 3060 上，成功跑起了这款 400 亿参数的编程模型，支持 256K 上下文，生成速度达到约 46 Token/s。
本地智能体编程能力达到 SOTA
在智能体编程基准测试中，Flint 是总参数量低于 500 亿的 MoE 模型里表现最好的。它的性能可以媲美参数规模相近的顶尖稠密模型，同时运行速度明显更快。
具体来讲，Flint 在 IFBench 和 IFEval 上取得最高分，在 Terminal-Bench 2.1 和 SWE-bench Pro v2 上领先于所列的其他稀疏 MoE 模型。在 SWE-bench Verified 和 LiveCodeBench v6 上，它也保持了较强的竞争力。不过，部分稠密模型在编程基准测试中仍取得更高分。
Flint 适合用作日常编程模型，在本地执行任务，不必把数据发送到远程服务器。处理复杂任务时，建议把工作拆成较小的子任务，并给出明确的指令。Flint 已经具备相当不错的能力，但与大家熟悉的大型闭源编程模型相比，使用它时可能需要提供更多引导。
Flint 支持最长 512k Token 的上下文窗口。对于编程和其他任务，Recursive 建议将上下文长度控制在 256k Token 以内，以获得更好的效果。
为了让 Flint 的计算效率真正转化为更快的编程体验，Recursive 优化了整个推理流程，从模型权重的表示方式，到在本地硬件上执行计算的底层内核，都进行了改进。
本地 AI 设备跑得更快
Flint 把较强的编程能力带到了用户自己的硬件上。你可以在离线环境中使用它，让数据留在自己的电脑上，也不必为 API 调用付费。
借助优化后的推理引擎，Flint 在 Apple Silicon 和 NVIDIA RTX Spark 上的运行速度最高可达到同类模型的 2 倍。与编程基准成绩相近、参数量为 250 亿至 400 亿的稠密模型相比，Flint 的速度则快了 5 倍以上。
Flint 背后的自动化研究开发
当前，Eureka Machine 能够自动完成一整套研究流程：提出想法、编写实现、运行测试，再根据测试结果决定下一步尝试什么。它可以同时探索多条技术路线，利用已有实验的结果继续推进，并将不同实验中表现出色的方案组合起来。
Recursive 此前已经介绍了这套系统的工作方式，以及它在最初几项测试任务中的表现。
更多细节内容：https://recursive.com/updates/first-steps-toward-automated-ai-research
Flint 的整个开发过程都用到了 Eureka Machine。从数据、优化器和训练方案，到基础设施与推理性能，这套系统都参与了研发。它发现的改进方案帮助小团队从零构建 Flint，并在不到 4 个月的时间里，让模型在目标基准测试中达到领先水平。
Flint 的本地推理速度，也体现了这些改进如何在模型开发的不同环节叠加起来。
模型架构
第一步是寻找更适合本地硬件的模型架构，希望每个 Token 激活更少的参数，从而提高生成速度。
Eureka Machine 从一个总参数量为 350 亿、每个 Token 激活 30 亿参数的基线模型出发，尝试了不同的专家配置和网络宽度。经过多轮探索，系统预测，在它测试过的配置中，最终选定的 Flint 架构能够更好地兼顾推理速度和编程能力：总参数量 400 亿，每个 Token 只激活 25 亿参数。
量化
模型训练完成后，Eureka Machine 继续寻找合适的量化方案，在尽可能保留模型能力的同时，减少 Flint 的内存占用。
与常见做法不同，系统将输出层也量化到了 4 bit。Flint 每个 Token 只激活 25 亿参数，因此，在生成每个 Token 时需要读取的权重中，输出层所占的比例相当大。对这一层进行量化，进一步降低推理开销，但也可能影响模型精度。
为了弥补精度损失， 系统增加了一个离线蒸馏环节：先从自动发现的核心样本集中预先采样生成回答，再让量化后的模型利用这些回答进行训练，并以 16 位模型作为教师模型。
与此前的量化感知训练基线相比，这种方法将训练步数减少了近一半。最终得到的 NVFP4 模型，在各项基准测试中的得分与 16 位模型相差不超过 0.7 分。
推理内核
接下来，Eureka Machine 针对 Apple Silicon 和 NVIDIA RTX Spark，进一步优化量化模型的运行方式。
它为低比特投影计算、MoE 运算、注意力计算和提示词处理等环节开发专用内核，并根据模型结构和硬件特点进行调整。
在 M4 和 M5 芯片上，系统还开发了一种基于 Metal 的大型融合内核，将整个解码阶段的前向计算合并到一个内核中执行，减少计算过程中的额外开销。
Flint能够达到现在的推理速度，正是 Eureka Machine 在不同环节持续改进的结果。Recursive 在数据处理、模型训练和基础设施等环节也采用了同样的方式，把不同实验中找到的有效方案组合起来，进一步提升最终模型的表现。
下一步计划
Recursive 的目标是打造能够递归式自我改进的超级智能，让知识发现过程实现自动化。目前从模型开发入手，希望建立一套能够随着每一代模型的产出而持续改进的研究流程。
Flint 是这项工作的起点。小团队在不到 4 个月里，从零构建了这款模型。Eureka Machine 负责提出想法、尝试实现，并在模型开发的各个环节检验这些方案是否有效。
Recursive 的判断是，能力更强的模型能够让 Eureka Machine 成为更好的研究者，帮助更快地开发下一代模型，并以相同的成本获得更强的能力。
接下来，Recursive 还会继续开发能力更强的本地模型，以及运行这些模型所需的基础设施，并将这项工作延伸到更广泛的 AI 研究与开发领域。
博客地址：https://recursive.com/updates/introducing-recursive-flint
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
