OpenAI 的下一代模型 GPT-5，将主要在编程、数学和智能体控制方面稳步前进。
但它可能不会重现从 GPT-3 到 GPT-4 那样的巨大技术飞跃。
“以上观点来自 The information 报告。
遭遇瓶颈：OpenAI 曾面临的三大困境
据称，OpenAI 在研发过程中一度同时陷入了三大困境。
首先是高质量的训练数据已经濒临枯竭；
其次，强化学习的训练过程极不稳定，结果时好时坏。
最后，被团队寄予厚望的 Orion 模型，其最终表现也远未达到预期。
破局之道：打造通用验证器
为了让项目重回正轨，团队想出了一个聪明的办法：打造一个「通用验证器」。
这个验证器本身也是一个 AI 模型，它的核心任务，是在训练过程中给所有答案打分。
只有那些被判定为足够好的优质答案，才会被允许返回到学习数据中，以此确保下一代模型的基础更纯净、更可靠。
Orion 的教训：从寄予厚望到更名 GPT-4.5
在 2024 年初，OpenAI 曾试图训练一个更强大的模型 Orion 来替代 GPT-4。
但他们很快发现，在小规模测试中有效的方法，一旦放大到大规模训练上就完全失效了。
再加上干净的高质量数据极度匮乏，最终导致 Orion 的性能和 GPT-4 拉不开差距，研发成本却一路飙升。
面对这个结果，公司只好将 Orion 更名为 GPT-4.5，而不是原计划的 GPT-5，同时将研究重心转向了其他的训练策略。
新的尝试：o 系列模型的得与失
当时的新方向是 o 系列推理模型，团队为此投入了更多的英伟达 GPU，并集成了代码搜索功能。
这一尝试确实提升了模型解决编程和数学等纯粹问题的能力，可一旦需要用日常语言流畅对话，回答的质量反而下降了。
GPT-5 的诞生：所有教训的结晶
而最终的 GPT-5，正是吸收了上述所有经验和教训的产物。
它学会了为每次提问动态调整所耗费的计算资源，能编写更简洁的程序接口，还能处理一些棘手的商业任务（如退款）。
更关键的是，它将利用「通用验证器」去评估海量的、由 AI 自己生成的合成数据，从而在一条更稳健的道路上实现更高质量的自我提升。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
