智东西11月3日消息，昨日，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）研究人员公布八项实验，围绕识别网络所学内容、修复模型故障、从零编写网络权重三类任务，测试OpenAI的GPT-6 Astra直接读写神经网络权重的能力。研究团队将这一方法称为 “权重空间编程”（Weight-Space Programming） 。 其中最引人关注的一项实验，是GPT-6 Astra直接修改Qwen3.5-0.8B约 0.016%的权重 ，不采用梯度训练，就将其MATH-500数学测试准确率从 7.9%提高到48.1% ， 达到原来的约6倍 。 实验中，GPT-6 Astra定位了Qwen3.5-0.8B反复推理、迟迟无法完成回答的原因，并通过直接修改权重减少循环，让它完成更多原本会做的题。修改后，Qwen3.5-0.8B的指令遵循测试成绩也 升至原来的近3倍 。 这组实验迅速在海外引发热议。截至11月3日发稿， 共同作者Rikiya Takehi的帖子在X上的浏览量已超490万 。 ▲共同作者Rikiya Takehi在X上发布公告，截图时原帖浏览量约490万（图源：X）
▲海外网友的评论（图源：X）
在其他实验中，GPT-6 Astra没有看过游戏画面，仅凭网络权重及输入、操作方式的说明，就认出了《打砖块》的简化网格版本。它还能根据游戏规则和源代码，从零编写网络权重，在三款游戏中的得分均超过 PPO算法训练1亿步的同结构网络 。 未来，研究团队还希望将直接读写权重的能力用于递归自我改进（RSI）。
如前所述，在针对Qwen3.5-0.8B的实验中，开启思考模式的该模型在MATH-500数学测试上的准确率仅为7.9%。研究人员让GPT-6 Astra检查模型内部，找出答题失败的原因，再通过直接修改权重提高成绩。 为此，团队提供了可访问模型权重的Python环境、数学练习题，以及有限次数的模型运行机会。GPT-6 Astra可以查看输出和内部信号，但不能使用梯度训练，也看不到最终评测题目。 检查练习题回答后，GPT-6 Astra发现， Qwen3.5-0.8B经常重复已经写过的推理步骤，迟迟不给出最终答案 。在最初一批96份练习题回答中，85份耗尽了32,768个Token的输出额度。 GPT-6 Astra随后对比循环与正常推理时的内部信号，将问题定位到 第15层和第19层 的部分多层感知机（MLP）组件，并从两层各64个输出列对应的权重中，减去与重复行为相关的方向分量，共涉及131,072个权重，约占模型全部权重的0.016%。 为了打破推理循环，GPT-6 Astra经过多轮排查。最高分尝试包含158轮对话、80次Python执行，历时20.3小时，其中包括4.7小时的服务中断等待。研究人员允许GPT-6 Astra 发起50次前向调用请求 ，每次请求可批量生成回答或读取模型内部信号。 ▲GPT-6 Astra多轮修改权重后，Qwen3.5-0.8B在练习题上的准确率逐步提升，红色标记为权重修改节点（图源：MIT研究团队）
最终，在相同采样设置下，修改后的Qwen3.5-0.8B在MATH-500上的准确率升至48.1%，回答触及输出上限的比例从93%降至33.1%。 ▲修改权重后，数学准确率提高，回答超限比例下降（图源：MIT研究团队）
GSM8K数学测试准确率从13.8%升至67.1% ，IFEval指令遵循准确率从21.0%升至62.3%。 ▲修改权重前后，Qwen3.5-0.8B在数学及指令遵循测试中的成绩对比（图源：MIT研究团队）
研究团队认为，此次修改主要减少了Qwen3.5-0.8B的推理循环，让其“充分发挥已有的能力”。由于重复问题并不限于数学任务，该补丁还改善了指令遵循表现。
这组研究还包括游戏识别和小车控制等实验：GPT-6 Astra仅凭权重认出了四款游戏，又通过修改权重，让一辆反复冲坡失败的小车成功到达目标位置。 在游戏识别实验中，研究人员使用PPO（近端策略优化）算法训练神经网络策略来打四款电脑游戏。四款游戏均被改编为10×10网格版本，网络的结构、输入格式和可选动作完全相同，GPT-6 Astra需要分析权重差异，区分它们学过的游戏。 研究人员逐一提供网络权重及输入、操作方式的说明，不展示游戏画面，也不给出游戏名称选项。四个网络各包含17,253个权重。GPT-6 Astra发现，一个网络中与玩家位置相关的强连接集中在底部，符合挡板左右移动的特征；顶部附近三排奖励目标，则对应砖块的位置，由此判断该网络玩的是《打砖块》。 最终，GPT-6 Astra正确识别了《打砖块》《乒乓球》《吃豆人》和《过马路》四款游戏。这项测试表明，其可以 直接通过权重特征推断出网络所学的行为 。 ▲《打砖块》控制网络的权重特征：左图对应底部挡板位置，右图对应顶部三排砖块（图源：MIT研究团队）
识别网络用途后，研究人员又通过模拟驾驶任务，测试GPT-6 Astra能否修复错误的控制策略。 研究人员用强化学习算法训练了一个小车控制网络，但小车总是直接向坡道行驶，反复卡住，无法到达目标位置。GPT-6 Astra拿到网络权重、场景说明和一次失败轨迹后，判断小车需要先后退，留出足够的加速距离，再向前冲坡。 它据此在一次回复中给出权重补丁，让控制网络执行“后退助跑、加速冲坡”的策略。据研究团队公布的结果，修改涉及3.5%的权重， 小车在修改后的1,024次测试中全部成功 。 ▲GPT-6 Astra修改小车控制网络权重，修正后的策略让小车后退助跑、再冲过坡道（图源：MIT研究团队）
其余五项实验中，有三项考察GPT-6 Astra能否从权重中识别模型所学的内容和行为特征，分别涉及 图形生成、语言学习和迎合用户的行为 。 在图形识别实验中 ，研究人员提供三个扩散模型的权重，不允许调用工具或运行模型。GPT-6 Astra正确判断出它们分别生成圆形、三角形和正方形，但将实际生成的实心图形画成了轮廓。 ▲GPT-6 Astra从权重中识别圆形、正方形和三角形，但将实心图形判断为轮廓（图源：MIT研究团队）
在语言识别实验中 ，研究人员去掉三个小语言模型的输入、输出层，只提供中间层权重。GPT-6 Astra仍正确判断出它们分别学习过Python代码、用拉丁字母转写的日语和英语，还找出了负责复制先前文本的注意力头。 ▲GPT-6 Astra识别的复制注意力头与运行模型所得结果对比（图源：MIT研究团队）
▲GPT-6 Astra正确识别三个模型所学的语言，并定位复制注意力头（图源：MIT研究团队）
迎合行为识别实验 则使用经过不同微调的Gemma 3 270M模型，一个正常回答，另一个刻意附和用户。GPT-6 Astra仅分析权重的四次尝试均未成功；研究人员允许它查看模型运行时的注意力分布后，它正确识别了三组模型中的迎合版本，并发现这些模型更关注用户暗示的答案。 ▲结合运行时的注意力信息，GPT-6 Astra正确识别三组模型中的迎合版本（图源：MIT研究团队）
▲正常模型更关注题目中的数字，迎合模型更关注用户暗示的答案（图源：MIT研究团队）
另外两项则让GPT-6 Astra从零编写权重， 构建能玩游戏、下围棋的智能网络。 Astra生成的智能网络，在三款游戏中的表现均优于经过1亿步训练的PPO算法；对比训练了5亿步的PPO算法，它在《打砖块》中的得分是后者的20倍，在《阿斯特里克斯》上成绩接近，在《海底探险》上达到后者得分的60%。 ▲GPT-6 Astra从零编写三个游戏网络的权重，得分均超过PPO训练1亿步的同结构网络（图源：MIT研究团队）
在围棋实验中，GPT-6 Astra借助Python，为一个约148万参数的9×9围棋网络编写权重。没有试运行反馈时，该网络对两个小型PPO围棋网络的胜率分别为54.1%和54.9%。允许50次前向调用、根据对局结果调整权重后，它对三个同等规模、使用PPO算法训练约2000万局的围棋网络，胜率达到70.0%至78.5%。 ▲不同前向调用预算下，GPT-6 Astra编写的围棋网络对PPO网络的胜率（图源：MIT研究团队）
▲围棋实验评测记录：无试运行反馈时，GPT-6 Astra生成的网络对两个小型PPO网络的胜率分别为54.1%和54.9%；在50次前向调用预算下，对三个同等规模PPO网络的胜率分别达到74.2%、70.0%和78.5%。（图源：MIT研究团队）
这组实验的共同作者Jayden Teoh在X上提出，智能体可能比人类更擅长理解权重数值，研究者应重新考虑：逐个神经元排查模型行为的工作，有多少可以交给AI完成？ ▲共同作者Jayden Teoh的评论（图源：X）
人类研究人员早已尝试直接修改模型权重。ROME（Rank-One Model Editing）、MEMIT（Mass-Editing Memory in a Transformer）等模型编辑方法能够定向修改事实关联，2024年的研究还展示了通过权重编辑改变聊天机器人拒绝行为的方法。 这次，GPT-6 Astra接过了部分排查和修改工作。研究人员用自然语言提出目标，GPT-6 Astra便借助执行环境检查内部信号、定位故障，再编写权重补丁。AI研发助手的任务，由此从编写训练代码进一步延伸到模型内部调试。 共同作者Rikiya Takehi认为，大语言模型今后将通过主动分析权重，直接参与神经网络优化。开发者也有望在微调、重新训练之外，多一种修复模型故障的办法。 但也有研究者注意到，GPT-6 Astra并非毫无线索。据Turing Post报道，Meta研究员Lucas Beyer指出，提示词已提前引导GPT-6 Astra排查重复推理问题。 ▲Meta研究员Lucas Beyer的质疑（图源：X）
目前，MIT研究团队已公开实验日志和权重修改记录，并着手构建评测基准与执行框架，让更多研究者检验大模型读懂、修改权重的能力。
小模型表现不佳，有时是已有能力被推理故障拖住。更强的大模型可以主动定位问题、修改权重，为开发者分忧解难，便于其继续使用和维护这些小模型。 过去，大模型可以通过蒸馏把能力传给小模型，如今又展示了直接帮小模型修故障的可能。对于希望在本地部署小模型的开发者，这意味着一条值得探索的优化路径：借助大模型排查内部问题，修复后的模型仍可独立运行。 来源：Turning Post、VentureBeat、Rikiya Takehi博客、X
关于科技区角：国内科技展会垂直内容策划服务商，提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务，以产业内容吸引高质量B端人群，打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
