MIT团队用GPT-6Astra改写Qwen3.5-0.8B权重,MATH-500成绩升至48.1%

麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究团队近日展示一种名为“权重空间编程”的AI优化方法,让OpenAI的GPT-6 Astra直接改写Qwen3.5-0.8B的神经网络权重。

仅调整约0.016%、即13.072万个参数,Qwen3.5-0.8B在MATH-500数学基准上的成绩即从7.9%提升至48.1%。

研究团队的做法是让GPT-6 Astra像程序员阅读和修改代码那样,直接分析神经网络的权重,定位模型的问题,再修改其中的参数。

这一方法还被用于其他任务:在小车控制网络上修改3.5%的权重,为网络加入“先后退蓄力,再全速前进”的控制路径,成功率从0提升至100%。

被修改的Qwen3.5-0.8B是阿里云通义千问旗下的热门模型。研究团队称,整个过程没有使用梯度下降或传统训练循环。

在其他基准上,Qwen3.5-0.8B的GSM8K成绩从13.8%提升至67.1%,IFEval指令遵循成绩从21.0%升至62.3%;其在MATH-500上触及token上限的回答比例从93.0%降至33.1%。

市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

财经频道更多独家策划、专家专栏,免费查阅>>

责任编辑:钟离
AI智能分析该文,为您挖掘投资机会该AI功能处于试用阶段,内容仅供参考,请仔细甄别!
展开
精彩推荐
加载更多
全部评论
热榜
关闭 下载金融界app
金融界App
金融界微博
金融界公众号