MIT提出权重空间编程 改0.016%参数提升数学成绩

驱动中国11月3日消息，麻省理工学院计算机科学与人工智能实验室研究人员提出“权重空间编程”方法。在该方法下，OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重，仅调整约 0.016% 参数，使模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%，约为原来的 6.1 倍。

这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客发布研究内容，将其命名为“权重空间编程”。其核心思路是让大语言模型直接读取、理解并修改另一个神经网络的权重，而不是通过常规训练流程调整模型参数。

实验显示，GPT-6 Astra 并未随机调整少量参数，而是先定位 Qwen3.5-0.8B 的推理循环问题。研究人员发现，该模型在回答数学问题时容易反复生成相同内容，导致大量回答耗尽 32768 个 Token 的长度限制。在最初的 96 次测试回答中，有 85 次触及这一上限。

研究团队为 GPT-6 Astra 提供了可读取和修改模型权重的 Python 环境，并允许其使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层多层感知机写入的一种重复方向，通过修改这两层的部分权重，削弱了导致推理循环的信号。

最终，Astra 修改了 131072 个权重，占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中，模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%，在 GSM8K 上从 13.8% 提升至 67.1%。

同时，修改后的模型指令遵循能力也有所改善，相关表现由 IFEval 测试衡量。整个调整过程未使用梯度下降或传统训练循环。