MIT那项引发热议的研究被一位知名专家公开质疑——Astra声称能够修改其他AI模型的参数,但实际做法存在误导。

Astra最近凭借一项独特能力在AI领域引起轰动:无需训练或计算梯度,就能直接更改另一个AI模型的权重。MIT团队宣称,Astra只调整了Qwen3.5-0.8B的0.016%权重,就使其数学成绩从7.9%跃升至48.1%,提升了约6倍。但如今,情况出现变化。

一位业内资深人士发布长篇博客,直接批评这项研究存在严重误导。质疑者是Matthew Honnibal,他是spaCy的作者,也是AI公司Explosion的联合创始人。

Honnibal用一个比喻讽刺MIT的研究:舞台魔术师经常用不同方法表演同一个戏法。第一次可能用特殊道具,第二次展示道具普通但自己藏了东西,第三次又利用强迫选择。观众以为只有一种技术,每次表演都推翻之前的假设。他认为Astra研究的实验呈现就像这样一场魔术。

回到论文,原文展示了三种不同能力:读取权重,即仅通过原始权重数字识别小型神经网络的任务;写入权重,即不依赖环境反馈,从零生成或修改小型网络参数,使其能玩《打砖块》等游戏;修复大模型,即通过修改Qwen部分权重,大幅提升数学测试表现。但论文摘要给人的核心印象是,Astra仅通过观察原始权重,就能理解并修改另一个模型。这很容易让人误以为,识别小型网络和修复大语言模型的能力源于同一种“读脑”技术。

然而,Honnibal仔细分析论文中的8组实验后发现,实现这三件事的实验条件差异极大,这纯粹是在偷换概念。

具体来说,在识别小型网络任务和修复卡住的赛车模型等实验中,Astra确实做到了“只看原始权重”。实验条件非常严格:直接将权重数字作为输入,放入Astra的上下文,不允许Astra运行Python代码,也不允许它执行目标网络观察行为。在这种模式下,Astra处理的模型参数规模都非常小,介于1.7万到17.2万之间。这确实令人印象深刻,但离真正理解现代大语言模型还有很大差距。

但到了最引人注目的Qwen数学能力修复实验,情况完全不同。在修复8亿参数的Qwen模型时,Astra并没有直接读取原始权重。相反,它被允许使用Python编程,并进行最多50次前向测试。每次,Astra让模型处理一批练习题,通过观察模型表现来分析和修改权重。这完全是两回事。

Honnibal一针见血地指出,将这两种方法混在一起,容易让读者误以为在小模型上实现的“读脑术”也能规模化应用于8亿参数的大模型。但实际上,处理真正的大语言模型时,Astra更像一个“场外教练”,需要通过编程、运行、观察等一系列工程手段介入。

那么,这是否意味着MIT的研究毫无价值?当然不是。即使剥离了“读心术”的光环,Astra展现的能力依然非常了不起。Honnibal也承认,让一个AI模型被提示去设计并执行人类机器学习工程师才能完成的任务——编写代码片段来分析甚至直接修改网络权重——这本身就是巨大的进步。一两年前的AI模型,在所有这些任务上都会失败。这说明,今天的顶尖大模型已经具备复杂的工具使用和推理能力,能作为“AI工程师”诊断和修复其他模型。这本身就是值得关注的工程突破。

真正的问题在于成果的呈现方式。将两种截然不同的能力模糊包装成一种统一的、能够读写AI大脑的“超能力”。说实话,乍一听还以为是A社做的事。这也侧面反映了如今AI圈的Hype狂潮。

原文:https://honnibal.dev/blog/astra-read-write-misleading

本文来自微信公众号“量子位”,作者:Jay,36氪经授权发布。