跳转到内容

研究

Meta² 与 Harness²:改套索,不改权重

  • 两篇 2026 年的工作都把智能体的「套索」当成可改对象:提示、工具、记忆、钩子。模型权重冻住。
  • Meta² 先离线学一份可复用的文字技能 Meta-Skill,上线后只在当次运行里决定保持或改一处。
  • Harness² 用「提出—试探—合成」在没有标准答案时改当前任务,并把有证据的教训留给下一题。
  • 它们不是同一张榜。模型、基准和评测协议都不同,数字不能横着比。

长程智能体很少只靠权重行动。套索决定它看见什么、能调用什么、什么时候停。套索如果在开跑前就写死,运行中才露出的缺口就补不上;如果每次都从零改,又容易把这一题的补丁写进下一题。Meta² 和 Harness² 都想解决这件事,路径相反:前者把跨任务的经验收成一份冻结的指南,改动留在当次;后者一边改当次套索,一边把经验存进会继续长大的改进套索。论文各自报告了增益。两边没有在同一模型、同一基准上对打。

Meta²:先把「何时该改」学下来

小节「Meta²:先把「何时该改」学下来」

项目页把问题说得很直。离线优化交出一份大家共用的套索,它迁就训练题,也看不见新一次运行里才出现的证据。在线进化能反应,但每个干预都要现想,或者依赖测试时根本没有的验证器。

Meta² 把离线优化上移一层:不直接优化那份共用套索,而是学一份文字形式的 Meta-Skill。训练时,同一题的智能体跑三种配置——没有进化器、进化器只看当前这份技能、进化器还能看见仅训练阶段可用的验证器信息。三种轨迹的差别被收成指南:何时该改,何时别动,哪种改法曾经帮倒忙。

上线之后技能冻结。进化器只拿它,加上这条轨迹上已经露出的证据,在检查点选择 KEEP 或 EVOLVE。EVOLVE 是一次限于本任务的编辑,环境状态和已有进度保留。测试时进化器看不到留出的验证器反馈。论文报告,在 GPT-5.6-Terra 上,Terminal-Bench 2.1 为 81.00%,DeepSWE 1.1 为 44.44%,是文中比较方法里最高的。作者来自马里兰大学、华盛顿大学、伊利诺伊大学厄巴纳-香槟分校、Scale AI 与 All Purpose。

Harness²:没有标准答案,就比两次跑法

小节「Harness²:没有标准答案,就比两次跑法」

Harness² 把套索优化叫做 harnessing:优化冻住的基座模型外面那层脚手架。开放世界里的题在设计套索时没见过,测试时也没有真值验证器;递归自我改进又很容易只对这一题有效。

它用两层递归接起来。任务级递归走 Propose–Probe–Compose:提议编辑,在同一题上试探效果,再按行为差异合成一套索。这一步可以并行或串行,预算加大还能继续。套索级递归把采纳的套索和有证据支持的教训写进一份持续改进套索,用来指导下一次。代码仓库列出八个可编辑部件:系统提示、护栏、记忆、工具说明、子智能体、技能、脚本、插件。

论文报告,在三个职业基准、四种模型—套索配置上,一步改进就让 GLM-5 和 Gemini 3.5 Flash 超过各自的基础套索。增益最高大约是 WorkBuddy-Bench 11.5 分、JobBench 4.5 分、LAB 部分通过率 11.8 个百分点。任务级递归的预算再加,还有进一步提升。代码放在 google-research/harness2,支持 OpenCode 与 Codex 执行器。

  • 知识放在哪。Meta² 把跨任务的东西收成一份冻结的文字技能。Harness² 把经验留在会继续长的改进套索里。
  • 线上怎么改。两边都强调当次任务、不改权重。Meta² 在检查点上二选一。Harness² 用额外的试跑来比较改法。
  • 有没有标准答案。Meta² 训练时用验证器,测试时写明不用。Harness² 从设计上就不用真值验证器,靠行为对照和模型判断。
  • 不是头对头。81% 和「最多 +11.5 分」回答的不是同一个问题。模型、基准、预算、基线都不一样,不能排成一张胜负表。
  • Meta² 的附录写明,三种对照是整次运行层面的证据,不是每个检查点决策的因果估计。训练时见过验证器,测试时的「会不会改」仍然依赖那份文字技能写得够不够一般。
  • Harness² 承认递归要加推理成本。并行能降延迟,省不掉计算。没有真值时,信号对执行波动和模型自己的偏差敏感,也不保证改法能迁到另一题。
  • 「套索比权重更值得改」是这两篇的共同主张。它解释了实验设计,还不是已经量完的结论。

示例种子,用来把时间线撑起来。数字均转述论文与项目页的自报结果,替换或删掉都可以。