智东西8月21日报道，今天，字节跳动Seed团队开源了Seed-OSS系列模型，这些模型专为长上下文、推理、Agent和通用场景设计，将上下文窗口扩展至512k，是业界常见上下文窗口（128k）的4倍，GPT-5上下文窗口的2倍，相当于1600页文本。Seed-OSS系列模型是推理模型，专门针对推理任务进行了优化，还允许用户灵活地控制思维预算。字节Seed团队共开源了Seed-OSS的三个版本，分别为：（2）无合成数据基础模型Seed-OSS-36B-Base-woSyn（3）指令微调模型Seed-OSS-36B-Instruct指令微调后的Seed-OSS-36B-Instruct在通用知识、Agent、编程、长上下文等领域的基准测试中，取得同量级开源模型中的7项SOTA（性能最佳）表现，整体能力超过了Qwen3-32B、Gemma3-27B、gpt-oss-20B等模型，与Qwen3-30B-A3B-Thinking-2507在大部分领域旗鼓相当。▲基准测试结果，加粗项为开源SOTA（图源：Hugging Face）
Seed-OSS系列模型采用了宽松的Apache2.0开源协议，并会在后续发布模型的详细技术报告。https://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Basehttps://huggingface.co/ByteDance-Seed/Seed-OSS-36B-Instruct值得一提的是，字节Seed团队本次的发布方式较为“研究友好”。鉴于在预训练中包含合成指令数据可能会影响后训练研究，无合成数据基础模型的发布，为研究社区提供了更多样化的选择。这一系列模型还支持4位和8位格式的量化，以减少内存需求。Seed-OSS系列模型使用了12万亿个token的预训练数据，采用当前主流的因果语言模型架构，也就是“预测下一个token”类型的模型。同时，Seed-OSS系列均为稠密模型，没有采用MoE等架构。这一系列模型结合了几项关键技术，包括RoPE（旋转位置编码）、GQA注意力机制（Grouped Query Attention）、RMSNorm归一化（Root Mean Square Normalization）、SwiGLU激活函数等。这是现代大模型常见的高效组件组合，可提升训练稳定性和推理性能。Seed-OSS的上下文窗口达512k，相当于能一次性处理数十万字的内容。这一上下文窗口并非后续扩展而来，而是通过原生训练打造的。思考预算功能可帮助开发者控制模型推理成本，优化使用体验等。字节Seed团队分享了Seed-OSS在不同思考预算下性能的变化情况。对于更简单的任务（如IFEval），模型的思维链较短，随着思维预算的增加，分数波动并不明显。对于更具挑战性的任务（如AIME和LiveCodeBench），模型的思维链更长，随着思维预算的增加，分数也会提高。字节Seed团队称，如果没有设置思维预算（默认模式），Seed-OSS将不会拥有任何思考长度限制。如果指定了思维预算，建议优先考虑512的整数倍值，因为模型已经在这些区间上进行了大量的训练。当思维预算为0时，模型会直接输出内容，建议将任何低于512的预算设置为0。Seed-OSS系列模型，获得了不少开发者的认可。Hugging Face的华人工程师Tiezhen Wang评价道，这一系列模型“很适合做消融研究”。这种研究能以较低的成本，探索不同组件对大模型性能的影响。有网友称，这种尺寸的基础模型在开源界也是比较罕见的，Qwen3就没有公布14B以上的基础模型。另一位网友补充道，长上下文能力对真实应用而言有很大的价值。
近期，字节Seed团队已经密集开源了多款模型，除此次的Seed-OSS系列之外，他们还开源了多语言翻译模型Seed-X、智能体模型Tar系列、图像编辑模型Vincie等。如今，开源已经逐渐从可选项变为近似“标配”的存在，连OpenAI等原本坚持闭源策略的厂商，也在逐步开源模型。字节本次将更为核心的语言模型贡献给社区，给开源社区的后续研究提供了更多基础模型的选择。（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
