9月11日科技区角人工智能新资讯平台报道,前 OpenAI CTO米拉・穆拉蒂创立的思维机器实验室(Thinking Machines Lab)此前获得了20亿美元种子资金,还集结了一支由前 OpenAI 研究人员组成的明星团队,外界对该实验室正在研发的项目充满好奇。
在其周三发布的一篇博文中,穆拉蒂的这家研究实验室首次向外界披露了其一个项目的细节:研发具有可稳定复现响应的人工智能模型。
这篇研究博文标题为消除大型语言模型(LLM)推理中的非确定性,文中试图剖析人工智能模型响应中产生随机性的根本原因。例如,多次向 ChatGPT 提出同一个问题,你很可能会得到五花八门的答案。这种现象在人工智能领域已被广泛视为既定事实,如今的人工智能模型被认为是非确定性系统,但思维机器实验室认为,这是一个可解决的问题。
这篇博文由思维机器实验室研究员贺拉斯・何撰写。文中提出,人工智能模型产生随机性的根本原因,在于图形处理器内核,即运行在英伟达计算机芯片内部的小型程序,在推理处理中的组合方式。他认为,通过对这一层调度进行精细控制,有可能让人工智能模型具备更强的稳定性。
贺拉斯・何指出,让人工智能模型生成可复现的响应,除了能为企业和科研人员提供更可靠的结果外,还可能改进强化学习的训练过程。强化学习是通过对人工智能模型的正确答案给予 “奖励” 来实现训练的过程,但如果模型给出的答案均存在细微差异,训练数据就会产生一定的噪声。他表示,让人工智能模型的响应更具一致性,能让整个强化学习过程变得 “更顺畅”。此前The Information曾报道,思维机器实验室已向投资者透露,计划利用强化学习为企业定制人工智能模型。
作为 OpenAI 前CTO,米拉・穆拉蒂曾在 7 月表示,思维机器实验室的首款产品将在未来几个月内发布,且该产品 “将对研发定制模型的科研人员和初创企业有所帮助”。目前尚不清楚这款产品具体是什么,也不确定它是否会采用此次研究中提出的技术来生成更具可复现性的响应。
思维机器实验室还表示,计划定期发布关于其研究的博文、代码及其他相关信息,此举旨在 “造福公众,同时也提升自身的研究文化”。这篇博文是该公司新推出的 “联结主义”(Connectionism)博文系列的首篇,显然是这一计划的一部分。OpenAI 在成立之初也曾承诺开展开放研究,但随着公司规模不断扩大,其开放程度已大幅降低。至于穆拉蒂的这家研究实验室能否坚守这一承诺,仍有待观察。
这篇研究博文让外界得以罕见地窥见硅谷最神秘的人工智能初创公司之一的内部动态。尽管它并未明确揭示该实验室的技术发展方向,但足以表明,思维机器实验室正着手解决人工智能研究前沿领域的一些重大问题。而真正的考验在于,该实验室能否攻克这些难题,并基于其研究成果打造产品,从而证明其 120 亿美元估值的合理性。