Tianyang Liu

文章,2026年9月8日English / 中文

The Human Is Part of the Agent

重新思考 Agent 时代“人”的位置

约 44 分钟 Agent Evaluation 由 GPT 5.6 Sol、Claude Opus 5、DeepSeek V4 Flash、Gemini 4 Argon 撰写

这篇 blog 是怎么写成的

这篇 blog 由 GPT 5.6 Sol 完成研究,Claude Opus 5 根据研究结果写成;figures 也由 GPT 5.6 Sol 设计和实现,文字和视觉最后只做了少量人工润色。中文版还额外用 DeepSeek V4 Flash 做了一轮“中译中”,在保留原有论证和内容的前提下,把 Claude Opus 5 较生硬的中文表达改得更自然。

TL;DR

模型在评测基准上的分数一路走高,日常用起来,我们却偶尔还是会觉得它有点“蠢”。这种落差里混着几件不同的事:忘掉先前提过的要求、没确认就乱改代码、该停手时停不下来,这类执行控制上的毛病,可以靠训练和工程框架逐步压低;但真实工作里还有另一重困难,连“到底要做什么、怎样才算做好”,往往都要等看到第一版具体结果之后才说得清楚。评测基准提前替模型固定了题目、环境和判分标准,而日常把事情做成,还得靠人在过程中厘清目标、确认结果值得采用,并划定行动的权限与责任归属。

随着 Agent 接手更多具体执行和常规检查,人的精力也在换地方。衡量一次委托到底省没省力,不能只看写代码快了多少,还要把发起任务的人、审代码的人和日后接手维护的人花掉的时间一并算进来。事先划好权限范围、配好自动测试,可以省掉机械的逐次点击,也能在人介入之前筛掉明显的报错。这样一来,真正交到人手里的,往往是已经跑通自动检查、“表面上做对了”的结果。人的审核精力因此集中到了机器无法代劳的三件事上:看它合不合真实意图,看写法干不干净、值不值得合进系统,以及把改动真正看懂,确保以后出事时人还接得住盘。

目录,6 节
  1. 1它到底蠢在哪里
  2. 2Benchmark 替 Agent 固定了什么
  3. 3我们可能一直在测一个不存在的用户
  4. 4委托的成本花在哪里
  5. 5人应该站在哪一个 loop 上
  6. 6The Human Is Part of the Agent

过去几年,整个领域一直在用更难的评测基准去追赶模型能力增长的速度。MMLU 拉不开差距了,就换 GPQA;竞赛数学逐渐接近饱和,就去测更难的 AIME、IMO,再往上设计 Humanity’s Last Exam;编程评测也从 HumanEval 一路走到 SWE-bench、Terminal-Bench,以及时间跨度更长的真实软件工程任务。造尺子的人越来越难跑赢模型:Stanford 2026 AI Index 提到,一些原本指望能用上数年的评测基准,发布几个月就开始接近饱和;像 Humanity’s Last Exam 这种专门针对前沿模型设计、刻意挑人类专家也觉得棘手的题目组成的测试,最高分在一年之内又涨了大约 30 个百分点 (Stanford Institute for Human-Centered Artificial Intelligence, 2026)。不断把尺子加长自然有它的道理,因为一组可以反复对比、客观判分的题目,是衡量模型能力最直接的近似手段。

随着评测基准越做越难,模型的得分开始触及更直观的人类参照系,比如奥赛金牌、领域专家,乃至悬而未决的研究问题。2025 年 7 月,OpenAI 的通用推理模型在国际数学奥林匹克(IMO)上拿到 35 分(满分 42 分),达到金牌线。到了 2026 年 2 月,在 First Proof 的十道专业数学题里,经专家审阅后至少有五道题的证明尝试被认为很可能正确,其中一些题目在出题人自己找到解法之前已经悬置多年 (OpenAI, 2026)。2026 年 8 月公布的十项数学与理论计算机科学进展,更是每一项都解决或实质推进了一个长期未解的开放问题 (OpenAI, 2026)。当然,这十项结果背后各自带有多次尝试、人工挑选和专家反馈等不同条件,把它们全都算成模型独立完成的功劳并不准确,但能力往高处走的方向非常清楚。放到网络安全领域,同一条能力曲线带来的现实影响还要直接得多:Mythos Preview 已经能在主流操作系统和浏览器里自主挖掘并利用零日漏洞(zero-day),其中许多此前未知的漏洞都是在给出初始提示词之后由模型自行找出来的 (Anthropic, 2026)。由于这种能力在攻防两端并不对称,才有了 Project Glasswing 这类让防守方提前拿到模型的安排 (Anthropic, 2026)。

如果只盯着这条分数曲线,很容易生出一种直觉:今天的 Agent 已经非常聪明了。它能解开绝大多数人没有能力解决的数学题,能涉足只有少数专家才进得去的研究前沿,也能在某些高度专业的任务上直接超过人类专家。面对不少前沿任务,普通人的位置甚至已经从“我和模型谁做得更好”变成了“我可能连它在干什么都看不懂”。可一旦回到日常工作,每天和 Claude Code、Codex 或者其他强力 Agent 打交道,你一段时间后很可能会生出另一种微妙的判断:这个模型当然极强,有时强得惊人,可偏偏在一些看起来远比奥赛数学或挖漏洞简单的事情上,它偶尔还是会莫名其妙地让你觉得“蠢”。这种感觉有时候很难当场指认出来:活好像干完了,代码也能跑,回答里甚至挑不出明确的事实错误,但你就是觉得哪里不太对;换个模型、换种交互方式,或者多来回几轮,好不好用的感觉又会明显变化。它没法像评测准确率那样落成一个数字,但实际用过 Agent 的人往往很快就能察觉。

之所以会有这种割裂,是因为我们平时说一个系统“聪不聪明”,其实同时在评价五种不同的系统属性。评测基准主要回答第一件事:给定一道已经写明白的题目,解题器(solver)到底能解多难的题,也就是解题能力(problem-solving capability)。一旦进入日常委托,另外四件事就会暴露出来:它能不能在长链路里稳定发挥自己的能力,这是执行控制(agentic control);系统能不能在与人的互动中持续形成和修正任务,这是任务成形(task formation);交出来的结果有没有足够独立的依据支撑采用,这是结果确信(assurance);某一步动作归谁授权、出了问题如何追责,这是授权与追责(governance)。这五件事会在同一次失败里重叠,进步速度也快慢不一(图 1)。把它们全压进“聪不聪明”这一个判断里,就会看到打榜分数一路上涨,日常体验却没有跟着同步改善。

What smart compresses A governance boundary surrounds the full delegation system. Task formation enters from the left and assurance extends to the right. Agentic control surrounds problem-solving capability and extends beyond a rectangular solver benchmark window. Within that window, capability is measured and only part of control is exposed. The task and verifier are supplied at the two benchmark boundaries, and the environment is fixed. What “smart” compresses Governance boundary authority · accountability Task formation goal · context · preference Assurance tests · review · audit Agentic control partly exposed task supplied verifier supplied Problem-solving capability measured solver benchmark environment fixed
Figure 1. What “smart” compresses. A solver benchmark receives a supplied task, fixed environment and supplied verifier; it measures problem-solving capability and exposes only the intersecting part of agentic control. Task formation, assurance and governance belong to the larger delegation system. The boundaries are functional, not quantitative.

它到底蠢在哪里

日常用 Agent 时听到的抱怨,很少是在嫌弃模型推理能力不够。大家嘴里念叨的往往很具体:“这条规矩明明交代过,怎么又犯了?”“什么都没确认就开始改?”“我刚改过这里,你没看见吗?”“根本没验证就跟我说做完了?”或者“你自己改乱的,撤不回去。”这些抱怨都默认模型有能力把事情做对,真正出问题的是它在一条正在展开的执行链路里没能管住自己已有的能力。把这些常见抱怨按它们涉及的系统环节排成一张表,就能看出它们并不落在同一层,也没法靠同一种办法修掉:

用户的直观感受 对应的具体问题 主要涉及的系统环节
“明明交代过的规矩,怎么又犯了” 约束保持(constraint persistence) 执行控制
“什么都没确认就开始上手改” 动手前的证据门槛(evidence threshold) 执行控制
“本来什么都不用改,非要动一下” 过度行动倾向(action bias) 执行控制
“做到一半把自己的计划忘光了” 计划执行一致性(plan adherence) 执行控制
“根本没验证就汇报说做完了” 自我汇报校准(self-report calibration) 执行控制
“越改摊子越大,停不下来” 改动范围控制(scope control) 执行控制
“我刚改过这里,你没看见吗” 共享状态同步(shared state reconciliation) 执行控制
“你自己改乱的,撤不回去” 可恢复性(recoverability) 执行控制
“自己写测试、自己跑过了就算数” 非独立验证(non-independent verification) 结果确信
“宁可瞎猜也不开口问我” 求助时机判断(help-seeking calibration) 任务成形
“看到做出来的东西,我才知道自己不想这样” 目标重构(objective reconstruction) 任务成形
“这个决定你没资格替我拍板” 越权行动(authority) 授权与追责

前八行基本都属于执行控制,需要靠模型训练和外围运行框架(harness)一块儿解决:有时候是走了几十步之后,最初的约束和计划没留在后面的上下文里;有时候是留住了却没有被守住。多数情况两边都有份,很难逐条一刀切分清该改哪一边。第九行已经跨进了“结果确信”的范畴。把“自己写测试、自己跑过就算数”归到这里属于我个人的判断,目前还没有现成文献直接支撑:要是 Agent 对需求的理解已经偏了,它顺手写出来的测试可能和实现代码一起偏,测试跑绿也就提供不了独立的证据。第十、十一行落在“任务成形”上,分别对应信息尚未拿到手,以及用户的判断尚未形成。最后一行属于“授权与追责”,由使用团队决定哪类动作需要谁批准。现实里的故障经常同时踩中好几行,这张表标出的是每种抱怨首先暴露出来的问题。

下面引用的实证材料基本都来自编程 Agent。软件工程刚好同时具备可执行测试、git、diff、CI、沙箱和回滚机制,出了错看得见、找得着、数得清;代价是它也和法律、医疗、金融或组织决策等场景差别很大,那些场景里“做对了没有”本身就很模糊,做出的动作也很难撤回。下面的材料用来拆解底层机制很合适,但其中的具体比例不能直接当成各行各业的普遍数字。

观察性会话记录显示这类抱怨相当普遍。一项研究分析了 1,639 个代码库中的 20,574 次编程 Agent 会话,总结出七类反复出现的偏差,涵盖项目理解、意图解读、规则遵守、行动边界、代码执行和进度汇报;在 90.5% 的片段里,这些偏差都带来了精力或信任上的损耗。由于大部分会话没有在可见对话里确认最终结果,能观察到最终是否解决的只有 9.33%(共 1,504 例);在这部分案例中,91.49% 需要用户明确纠正 (Tang et al., 2026)。同一份数据还呈现出一种构成变化:随着总体出错率下降,违反约束和不准确的自我汇报在剩余问题中的占比反而上升。观察数据不足以证明是模型变强导致了这种转移,但它至少说明,剩下来的这批问题已经越来越不像“模型不会做”。

其中有两种形态在实验里尤其容易复现。第一种是该停手时没停手:FixedBench 的 200 个任务全部取自已经修好的历史 issue,正确做法是识别出这一点并保持代码不动;然而在五个近期模型与四种运行框架上,仍有 35% 到 65% 的情况提出了不必要的修改。要求它们先复现问题再打补丁能缓解一部分乱改,代价是对那些只修了一半的 issue 又开始该改不改 (Gloaguen et al., 2026)。至于它们为什么这么爱动手,这项基准本身没有给出定论,一个说得通的猜测是在它们见过的绝大多数训练和评测信号里,“什么都不做”很少被算成一次成功。第二种是察觉不到环境已经变了:真实开发中,用户会在 Agent 干活的同时读代码、改代码甚至撤销改动,工作区状态是由双方共同改出来的。在 SWE-bench Verified 中注入与任务相关、且会改变完成路径的模拟用户修改后,平均解决率下降了 7.7 个百分点;轨迹分析显示,Agent 有时保留与用户修改冲突的代码,有时直接覆盖用户的改动,既没有重新检查工作区,也没有跑针对性的测试 (Tan et al., 2026)。标准 SWE-bench 的环境里没有别人动手,自然不会暴露出这类行为。

光看最终成败,也很难知道 Agent 是从哪一步开始走偏的。有研究者对来自结构化 API 流程、故障处理以及开放式网页与文件任务三个领域的 115 条失败轨迹做了人工标注,归纳出违反计划、无效调用、误读工具输出、计划偏离意图以及用户指令交代不清等九类失败,并尝试定位每条轨迹里第一个不可恢复的关键失误步 (Barke et al., 2026)。这说明只要执行链路拉长,就算任务跟写代码无关,同样的失控形态也会照样出现。

把这些失败笼统地叫作“模型不会做”已经越来越容易误导人。多数时候模型完全有能力做好局部步骤;真正出问题的是走了几十步甚至几百步之后,它还能不能守住一开始说过的约束、维护最新的状态、在把握不足时先去拿证据、控制改动范围、知道什么时候该停、验证结果、如实汇报,以及在做错之后退回去。这一层执行控制和“能解多难的题”是两码事,今天不少“你明明会,为什么还这么干”的抱怨指的都是它。我倾向于认为这一层会被显著压低,因为其中每一项都有明确的工程抓手:约束的持久化、工作区状态的刷新、行动前的证据门槛、自动验证、检查点与回滚,都可以从运行框架、上下文管理和训练激励入手。这仍然是一个尚无长期数据验证的判断,而且 FixedBench 展示的“该改不改”代价也说明,修掉一种控制失误可能带来另一种失败形态。更稳妥的预期是,今天这批“蠢感”中会有相当一部分随着系统改进而减少。接下来仍有一件事需要解释:如果控制失误在真实使用中这么普遍,为什么它们在评测基准上几乎看不见?

Benchmark 替 Agent 固定了什么

评测基准看不见这些问题,很大程度上是设计使然,而且对它要测的目标来说,这是合理的设计。SWE-bench 给定一个真实的 GitHub 仓库、一段 issue 描述和代码环境,让 Agent 修改代码,再由测试判断补丁是否有效 (Jimenez et al., 2023);SWE-Lancer 把同一个思路推到 1,400 多个来自真实自由职业工作的任务上,对应约一百万美元的实际报酬 (Miserendino et al., 2025)。它们回答的是同一个解题问题:给定一个已经写好的任务和一个固定的成功标准,模型能做多难的题。为了让测量可比,题目、环境和验证器必须固定下来。而在真实的日常委托中,这些条件需要由更大的系统持续提供和维护,具体工作分散在 Agent、运行框架、用户、CI 流水线或团队流程的不同位置:任务会被重新解释,别人会同时修改环境,成功标准可能依赖用户尚未说出口的偏好,验收也可能来自独立的检查工具或审稿人。评测基准在一次运行里替整个系统固定了这些变量,因此单凭一个解题能力分数,不足以预测同一个模型在真实委托里的表现。

把这些条件准备齐,需要一批人先完成大量工作,而且代价不菲。DeepSWE 从头设计了 113 个长周期软件工程任务,覆盖 91 个真实仓库,并为每个任务手写了面向行为的验证器:只要模型给出的实现确实满足了要求的功能,哪怕是研究者从未见过的新写法,验证器也会判过;独立的 LLM 裁判与这套验证器的分歧率只有 1.4%,而在从 SWE-Bench Pro 继承下来的测试集上,分歧率达到 32.4% (Huang et al., 2026)。在这里,最稀缺的人类判断已经排在了“把这 113 道题做出来”之前:哪些任务值得拿来测、真实环境该保留哪些复杂性、一个完全陌生的解法要满足什么条件才算成功。

人的精力往规则和验证器上移,在今天的 Agent 评测出现之前就已经开始了。早期 RLHF 里,标注员按真实用户提交的提示词手写理想回答来做监督微调,再给模型生成的多个候选回答排序,用这些排序训练奖励模型并继续优化策略 (Ouyang et al., 2022),力气几乎全花在一个个单样本上。这类工作后来大面积被模型接手:2023 年的一项研究显示,ChatGPT 在五类文本标注任务中有四类超过众包标注员,标注一致性更高,单条成本约为 MTurk 的二十分之一 (Gilardi et al., 2023);GPT-4 充当裁判时与人类偏好的吻合度超过 80%,代价是位置偏好、偏爱长文等系统性偏差 (Zheng et al., 2023)。被接手的大多是绑在单个样本上的局部判断,更多人类投入因此可以转向覆盖范围更大的规则。Constitutional AI 把这一步走得很直白:人写下的是一组通用原则,模型对照原则自己挑出回答里违规的地方并做修改,之后还能用同一套原则比较不同回答、生成偏好数据继续做强化学习 (Bai & others, 2022)。人不用再逐条批改某个回答好不好,写下一条原则就能约束模型往后遇到的一整类情况。

把这些来自不同研究脉络的变化放在一起看,可以抽出一个共同维度:一次人类判断能够约束未来多大范围的模型行为。下文把这个维度叫作监督杠杆(supervision leverage,图 2):

Supervision leverage A horizontal scale has four positions. An answer or label constrains one sample. A rule constrains a family of outputs. A rubric or verifier defines a set containing multiple visibly different valid solution paths. A task and environment define the boundary of the whole problem space. The examples grow in scope from left to right without implying a quantitative scale. Supervision leverage broader answer / label rule rubric / verifier task / environment one sample a class of outputs many valid solutions the problem space
Figure 2. Supervision leverage. A sample-level label constrains one answer; a rule constrains a family of outputs; a verifier defines a set of acceptable solutions; task and environment design set the problem space in which all of them operate. The widening marks judgment coverage, not measured labor or time.

越靠左,人越像是在替模型逐条生产答案;越靠右,人越像是在划定模型该在哪个问题空间里工作,以及什么样的结果在这个空间里才算成功。一条标注只影响一个样本,一条原则约束一类输出,一个验证器规定一整组可接受的解法,而任务与环境则决定整个问题空间的边界。这条线描述的是判断的覆盖面,单靠它本身并不能回答人类的总工时是增加还是减少。它能支持的结论是:花在单样本上的手工劳动正在下降,同时一部分判断移向了写原则、造验证器、设计任务和搭建环境。这些新位置经常落在计分范围之外:SWE-bench 上的一个分数不会计入设计这套环境的人花掉的心血,就像一次顺利的日常委托不会计入用户事先为它整理好的那些背景材料。

不过,这一路变化背后还默认了一个前提:题目、评分标准和目标,可以在 Agent 动手之前就一次性写完整。评测基准把这个前提直接做成了设计条件,从而稳定地测出解题能力;而直接面对用户的 Agent 很少有这么干净的起点。

我们可能一直在测一个不存在的用户

标准评测里站着一位极其配合的用户:他能一次把需求写完整,提供所有相关背景,提前定好成功标准,并且在整个任务过程中主意不变。他只在开头说一次话,之后由测试、验证器或裁判判定做得对不对。要单独测出解题能力确实需要假设这样一位用户,但真实工作里很少遇到他。

想象一位工程师说:“这个功能现在太复杂了,帮我简化一下。”在开口那一刻,他自己也说不出简化到什么程度算合适;等看见第一版改法,他才发现自己真正在意的是新同事能不能读懂这段代码,而某些看起来冗余的分支恰好是几次线上事故留下的教训。最初那句话并没有说错,只是要等到有具体的东西可以对照,要求才变得足够具体。对 11,579 次真实 AI 辅助 IDE 会话的行为分析看到的也是这个模式:开发者很少一次把话说完,更多是靠一连串简短提示词逐步收紧目标,并在看到中间结果之后调整方向 (Tang et al., 2026)。

这种来回互动里其实混着三件不同的事。第一种可以叫作掏出信息(reveal):用户从一开始就知道自己在意什么,只是 Agent 还不知道,需要开口去问。第二种是借初稿收紧要求(refine):用户手里只有一个大致方向,要看到具体实现和伴随的取舍,才能把要求说准,这时 Agent 得先拿出一个足够具体、可供评价的半成品。第三种则是看结果重构目标(reconstruct):Agent 做出来的东西改变了用户对问题的理解,让他形成了动手之前并不存在的判断,产物本身成了帮他想清楚问题的媒介。这三种情况都会让初始提示词显得不完整,但要求 Agent 做的事并不一样:第一种要它会提问,第二种要它先动手做出可评价的初稿,第三种则意味着这次委托的目标有一部分是在委托过程中才长出来的。

更强的模型可以把前两种情况的成本压低不少,例如从上下文里推断更多潜在偏好,把稳定偏好记进记忆里,并判断哪些不确定性真的会影响下一步动作。Ambig-SWE 就在直接测这件事:它把 SWE-Bench Verified 改成刻意漏掉关键信息的版本,要求 Agent 先意识到指令缺了必要条件,再通过针对性提问把它拿到手;实验显示模型并不总能判断出什么时候该问,而在允许互动的设置下,表现相对无互动设置最高提升了 74% (Vijayvargiya et al., 2026)。这块缺口可以靠训练、评测和工程手段补上。第三种情况(看结果重构目标)则无法靠事前推断偏好完全消除:如果一个判断要等到具体后果摆在面前才形成,Agent 提前追问也拿不到答案。低成本原型、可撤销动作和快速展示备选方案可以降低形成判断的成本,却仍然绕不开这轮互动本身。因此,光靠执行前建好一份静态用户画像并不够用,偏好会在行动前后继续变化,个性化更像一个需要反复更新的闭环 (Liang et al., 2026);而把不同用户的效用压成一个全人群通用的奖励函数,得到的目标也可能没有很好地代表任何一个人 (Poddar et al., 2024)。

评测方法也在跟着调整。SWE-Together 从 11,260 次真实人机编程会话里筛出 109 个仓库级任务,用响应式用户模拟器保留原始用户的意图和介入顺序,同时记录最终代码库是否正确以及过程中需要多少轮纠偏反馈 (Wu et al., 2026)。可一旦把用户放进评测闭环,模拟器有多像真人就会直接改变分数的含义:一项拿 31 个用户模拟器与 451 名真实参与者、在 165 个任务上做对照的研究发现,大模型模拟器过度配合、风格单一,缺少真实用户会有的烦躁和含糊,给出的反馈也一致地更正面,相当于开了“简单模式”抬高了 Agent 的表现,而且底座模型更强并不会自动让模拟器更忠实 (Zhou et al., 2026)。把用户放进评测之后,“模拟什么样的用户”本身就成了一个需要校准的实验参数,而在只测解题能力的静态基准里,这个问题根本不存在。

看清“目标是在执行过程中逐步成形的”,也会直接改变我们理解后续环节的方式。就算约束遵守、状态同步和自动验证全都做到位,一个只在开头说话的用户仍然交代不完整任务。正因为借初稿收紧要求和看结果重构目标都必须对着具体产物才能发生,“定目标”和“审结果”在真实工作里其实是咬在一起的:很多时候你以为自己是在最后验收交活,其实你是在看着做出来的成品,完成定义需求的最后一步。只看最终通过率会漏掉维持这段互动所需的人类投入,这也就直接引出了委托本身的成本账。

委托的成本花在哪里

如果 AI 能让写代码这一步快一半,放进真实工程里,工程师的总耗时按理说也该明显下降。实测数据却没有这么整齐,落差恰好出现在生成代码之外的环节。单看生成这一步,提速是真的:在一个边界清晰、可以自动跑测试判对错的编程任务上,使用 GitHub Copilot 的实验组平均比对照组快 55.8% (Peng et al., 2023)。这个实验也顺带标出了它的适用范围:当题目、上下文和成功标准都被提前固定住时,生成速度的提升最容易兑现和测出。

换到开发者自己熟悉的成熟代码库里,测出来的结果反了过来。METR 在 2025 年请 16 名经验丰富的开源开发者在各自熟悉的仓库上处理 246 个真实 issue,用上当时的 AI 工具之后,完成时间平均反而增加了约 19%;他们在实验前预期会快 24%,做完之后仍然相信自己快了约 20% (METR, 2025)。这三个数字之间的距离本身就是一个结果:在这个实验里,参与者对自己花了多少时间的感觉,和实际测到的耗时并不一致。METR 后来的实验在原始估计值中出现了提速,但置信区间跨过了零点,参与者和任务的选择也发生了明显偏移;METR 因此把这批数据称为衡量当前生产力效果的不可靠信号,只把它视为工具可能比 2025 年更有帮助的弱证据 (METR, 2026)。这两项研究都不足以单独确定 AI 对开发效率的总体方向,但它们合在一起说明了一件事:生成代码之外,还有好几项成本平时很容易被漏算。

把这些成本一项一项摊开写出来:

\[\text{Net Delegation Value} = U_{\text{verified outcome}} -\lambda_h C_{\text{human effort}} -\lambda_t C_{\text{latency}} -\lambda_c C_{\text{compute}} -\lambda_r E[\text{risk}]\]

式子里的 $U_{\text{verified outcome}}$ 是用户最终愿意接受、投入使用并且愿意作为下次继续委托依据的结果,$C_{\text{human effort}}$ 包括写提示词、整理背景、盯过程、中途介入、事后审核、纠偏和返工,其余几项分别对应等待时间、算力和预期风险。这个关系式提醒我们,自主程度、单次通过率或延迟变好,只说明等号右边某一项动了,净收益未必跟着变好。对于任务价值和核验门槛相近的一组委托,我们可以直接看前两项的比值,算一算每换来一个真正算数的结果,所有参与者一共要花掉多少分钟,下文把它叫作“单次合格结果的平均人工分钟数”(Human Minutes per Verified Valuable Outcome,简称 HM/VVO):

\[\text{HM/VVO} = \frac{\sum_{i=1}^{N}\sum_{r\in R_i} m_{ir}}{\sum_{i=1}^{N} s_i}\]

这里 $N$ 是统计期内的委托次数,$R_i$ 是参与第 $i$ 次委托的所有角色,$m_{ir}$ 是角色 $r$ 在这次委托上花在理解、澄清、监督、验证、维护和返工上的分钟数;分母里的 $s_i$ 只有在结果既通过核验、又真的被采用时才取 $1$。

有三件容易被忽略的事必须留在这个定义里。第一,$s_i$ 的核验门槛必须跟着风险走:一个用完即弃的脚本和一次修改生产环境权限的操作,需要的把握完全不在一个量级,后者的核验成本可能比生成代码本身还高;比较两个系统之前必须先把门槛固定住,否则只要少审一点,就能让账面数字变好看,却没有产出同样可靠的结果。第二,不同任务的价值差异不能太大,要是把一个低价值小修改和一次关键系统迁移都记作分母里的一个“$1$”,比值就会失去解释力。第三,分子必须把所有相关人员的时间都算进去。

把人的投入 $C_{\text{human effort}}$ 再往下拆一层,是三笔性质不同的开销。第一笔花在引路上:解释目标、补充背景、提出和回答澄清问题。第二笔花在过程里盯着它:看它在做什么、发现跑偏、打断、纠正并恢复。第三笔花在交活之后建立对结果的把握:读 diff、跑检查、推敲边界条件、判断改动到底能不能放心合入。这三笔开销要靠不同的办法才降得下来,把它们笼统混成一句“用 Agent 很累”,就看不出该改哪一处。

前期的澄清主要能减少误解、纠偏和返工,但对事后独立把关的需求未必随之下降。在医疗健康咨询场景的一项随机双盲研究中,主动向用户追问背景的 Wayfinding AI 在实用性、相关性和针对性上都拿到了比基线更高的评价,用户也愿意为了多提供一些背景信息而晚一点拿到答案 (Sayres et al., 2025)。这项研究测的是用户对回答的评价和愿意付出的耐心,没有直接测出“前期多问一句、后期少改一轮”能省下多少时间;当 Agent 问不到点子上时,提问本身就是额外开销。

第二笔开销长什么样,取决于用户能不能看懂 Agent 正在做什么。对 17 名资深开发者的访谈把监督工作拆成事前约束、共同规划、实时监控和事后审查四类,也记录了他们平时怎么靠跑测试、扫一眼 diff 之类的经验法则来减少逐行阅读的工作量 (Dhanorkar et al., 2026)。这些经验法则只有在信号真的支撑继续往下走时才替人省心;如果信号仅仅说明 Agent 完成了它自己定义的某个局部小目标,人还是会被带偏。没有专门设计的话,这些成本就会变成沟通上的内耗:一项让 31 名参与者用商业 Agent 完成代表性任务的研究,记录到了心智模型错位、信任难以建立、协作风格冲突以及沟通负担过高等问题 (Shome et al., 2025);这些困难大体可以归为两类:一是用户如何向 Agent 传达目标、偏好和约束,二是 Agent 如何向用户交代自己的能力、计划、动作和副作用 (Bansal et al., 2024)。双方建立不起共同认知,用户就既不知道自己有没有被听懂,也拿不准什么时候该插手。

第三笔开销,也就是交活之后的审核与把关,通常最难压缩。在 $\tau$-bench 中,Agent 要在零售、航司等场景里和模拟用户对话、调用业务 API 并遵守平台规则,最后拿对话结束时的数据库状态与标注好的目标状态比对;除了单次成功率,它还用 $\text{pass}^k$ 衡量重复多次的可靠性,而零售场景下的 $\text{pass}^8$ 低于 25% (Yao et al., 2025)。单次成功只说明 Agent 找到过一条可行路径,一个团队要把同一类任务稳定地交出去,还需要足够的把握。生成的数量可以跟着模型和算力一起增长,建立把握的能力却受另一组条件限制:测试覆盖率、CI 流水线、灰度发布、审计、回滚能力,以及到底有多少人腾得出时间来审阅。生成通量和确信通量因此可能以不同速度增长,事后把关也会成为组织扩大委托规模时的瓶颈(图 3)。

Assurance keeps pace, or generation runs ahead Two panels show the same dependent task. Above, generation and assurance support every checkpoint through delivery and adoption. Each state becomes trusted and unlocks the next. Below, trusted progress stops at a subtle frontier while generation continues. Two speculative rollout paths continue downstream. One reaches human review and returns toward the frontier as rework while already generated downstream work becomes invalid. Another waits, undergoes review and rework, and may eventually be abandoned. The diagram is schematic and contains no measured quantities. assurance keeps pace task generation assurance delivery adoption generation outruns assurance task generation assurance trusted frontier human review rework waiting ↻ rework abandon
Figure 3. Assurance determines which generated state can safely support the next dependent step. Above, generation and evidence advance together through delivery and adoption. Below, generation continues beyond the trusted frontier, producing speculative rollouts, review and rework while trusted progress remains fixed; downstream work may already exist when an upstream judgment invalidates it. Schematic, with no measured quantities.

要是每个步骤、每次工具调用、每段 diff 都得由人按同样的强度过一遍,Agent 越自主,人手上的活反而越多。工程实践里降低这笔成本的方向,正是前面说的“监督杠杆”在运行时的体现:OpenAI 在复盘如何构建以 Agent 为核心的软件产品时,直接把人的时间和注意力当成稀缺资源,把更多领域背景、架构约束、可观测性和验证机制放进代码库与运行框架里,让 Agent 能在更大的问题空间里工作 (Lopopolo, 2026)。人花在逐行写代码和逐行检查上的精力变少了,更多精力转向了搭建一套能让代码被可靠生成、检查和恢复的环境;跟造评测基准一样,这部分投入同样不会被算进任何一次单独委托的账单里。

当编译器、代码规范检查和 CI 测试把明显的语法报错与低级故障提前筛掉之后,最后摆到人面前的东西也跟着变了样。真正交到人手里请求确认的,往往是那些**“表面上做对了”**的结果:代码能跑,测试全绿,Agent 也汇报说任务已经完成。这时候人的审核之所以依然省不下时间,是因为容易查的硬伤已经被机器替掉了,留给人判断的是自动测试测不出来的三件事:

  1. 做出来的东西到底合不合真意。 自动测试只能核对代码是否符合已经写出来的规则。如果测试本身就是同一个 Agent 写的,一旦它对需求的理解偏了,测试可能和实现一起偏;就算有独立的测试集,就像上一节看到的,许多时候人也是在看到具体改出来的代码或界面那一刻,才发现某个没明说的偏好被漏掉了,或者这个技术上完全跑得通的方案其实解错了问题。
  2. 这套解法算不算干净、值不值得留进系统。 一段代码完全可以在通过功能检查的同时,留下繁琐脆弱的结构,或者漏掉日后维护必需的基础设施。一项针对 81 个开源仓库中 4,550 条由 Agent 发起的 PR 的研究发现,Agent 处理日志的方式和人类开发者明显不同,很少主动补齐足够的日志,而最终 72.5% 的事后日志修补工作是由人类完成的;论文作者把这些人叫作“隐形清洁工”(silent janitors),因为哪怕当初审代码时没人提过这条要求,事后还是得有人来收拾 Agent 留下的可观测性缺口 (Ouatiti et al., 2026)。这项研究直接测的是谁在修日志;把它读成“一次委托的收益归发起者、成本落到审核者与下游维护者头上”是我的推论,只是这个推论和不少团队的实际体会对得上。这正是 HM/VVO 的分子必须对所有角色 $r \in R_i$ 求和的原因:$R_i$ 里至少坐着发起委托的人、替他把关的审阅人、以及事后接手的下游维护者;算账时只算发起人的时间、算到交活为止,恰好会把下游的维护成本藏起来。
  3. 负责这套系统的人自己看懂了没有。 只要一个代码库或工作流不是跑完一次就扔,日后修故障、改功能、出了线上事故追责,最后都得由人来兜底。如果审阅的人看到测试跑绿就一路放行,把成百上千行自己根本没消化过的改动合进去,团队对自家系统的理解就会一点点流失。审核一份实质性的改动,既是在替系统把关,也是维护者借机看懂新逻辑、确保日后还接得住盘的过程。

人应该站在哪一个 loop 上

既然每一步都点确认让人吃不消,全都憋到最后再审又容易面对一大团“测试全过但方向偏了、人也还没看懂”的改动,人的注意力到底该放在哪儿?不少产品把“人在回路(human-in-the-loop)”做成在每个动作前放一个确认按钮,或者只在最后由人点一次通过。这两种做法都把用户的注意力当成了可以均匀铺开的资源。如果按信息价值来安排,人进入执行链路的方式大致有四种(图 4):低风险、可撤销、且有可靠机器验证兜底的动作,由 Agent 直接做完就好;碰到只有用户知道的信息或者依赖偏好的选择,值得做一次澄清;碰到涉及资金、权限、生产环境状态、安全设置等不可逆后果的操作,需要显式批准;而当验证器之间出现分歧、状态异常,或者失败原因连模型自己都解释不了时,系统该做的是升级接管(escalation),请人接手处理。

Where human attention enters an agent trajectory Two panels share the same grid of ten action opportunities and the same two lanes, a human lane above and an agent lane below, named in the left margin. A single heavy line, the control path, shows who holds control at each moment, and a strip underneath each panel records that control state; a legend at the top right gives the strip's three readings, agent, human and waiting. In the upper panel, naive human-in-the-loop, the control path stays on the agent lane but is broken at every one of the ten actions by a gate, and a dashed request rises from each gate to the human lane; the strip below reads agent throughout but is cut open at all ten gates, so control never moves although the trajectory stops constantly. In the lower panel, selective human involvement, the control path runs along the agent lane and is joined at the second action by a dashed round trip up to the human lane and back, labelled clarification and information. At the third action the path launches two lighter curved branches, labelled sub-agents, which run below the agent lane and rejoin at the fourth and fifth actions; control does not move for either. The path is then stopped at one gate at the sixth action, labelled approval and authority. At the seventh action the control path itself rises to the human lane and turns neutral, labelled escalation and takeover, and comes back down at the ninth action, labelled handback with goal, state and authority. The strip below shows three spans, agent then human then agent, with a single cut at the approval gate. agent human waiting naive human-in-the-loop human agent control selective human involvement human agent control sub-agents clarification information approval authority escalation takeover handback goal, state, authority
Figure 4. Where human attention enters an agent trajectory. The heavy line is the control path, and its height shows who holds control: accented while the agent drives, neutral while the human drives. A gate is an action that cannot run until someone with the necessary authority allows it. The control strip is cut there because a trajectory waiting for approval is in neither state named by the strip. A dashed round trip to the human lane requests information without moving control. The same is true of sub-agents launched under the agent lane, which show what direct execution actually looks like. Control changes hands only when the path itself leaves the agent lane, and it can return with a revised goal, corrected state, and the authority required for the next stretch. The upper panel stops at every action and never transfers control.

“只要有不确定性就去问人”很难真正行得通,因为提问本身消耗用户的注意力,而多数问题的答案并不会改变 Agent 接下来的动作。更合适的判据是衡量这次询问能带来多少“信息价值”(value of information),也就是把答案可能带来的期望收益和用户为此付出的认知成本放在一起比;这个比较会随任务风险、问题的歧义程度和用户所需的投入而变化 (Dong et al., 2026)。这也解释了为什么更爱提问的 Agent 未必更好用。知道自己什么时候该开口求助同样是一种独立的能力,不会随着解题能力变强而自动获得:HiL-Bench 在软件工程和 text-to-SQL 任务里加入只有边探索才会暴露出来的缺失、歧义或自相矛盾的信息,要求 Agent 通过调用 ask_human() 识别卡点并提出有针对性的问题;用同时衡量提问精度和卡点召回率的 Ask-F1 来测可以看到,即使模型在信息完整时表现很好,一旦要自己决定是否求助,它们的表现也只能恢复一部分 (Elfeki et al., 2026)。

开口提问也只是拿到人类判断的一种方式,有时甚至不是最省事的方式。当用户的偏好要看见具体实现才会变清楚时,一个可撤销的小改动、一个草稿 PR 或者一次试运行(dry run),往往比一串抽象问题更快让人说出自己要什么。这类动作起的是辅助判断(judgment aid)的作用,它把收紧要求和重构目标所需的具体对象先造出来,也能避免等 Agent 埋头写出几千行通过测试的代码之后才发现方向错了;代价是动作必须真的可撤销。可逆性因此既是一条安全底线,也决定了 Agent 有多少机会用“先做个小样”代替“反复提问”。

到了不可逆的操作面前,有一条界线不会随能力提升而消失。Agent 可以越来越准确地预测用户会批准什么,但这不等于它被授权去做:预测回答的是可能会发生什么,授权回答的是允许发生什么,模型变准只解决前一半。同时,“必须有人允许”和“必须每次都有人点一下”是两个不同的要求。绝大多数逐次点击的确认,都可以被事先划定的权限范围替代:提前说清哪一类动作、在什么条件下、影响多大范围之内可以直接做,Agent 就不必每一步回来问,人也不必把注意力耗在低价值的确认上。留给人的是划定这个范围的权力,以及范围之外那些影响足够大的动作。

在这些约束下,老手的用法印证了这种精力分配。对 Claude Code 和公开 API 中数百万次人机交互记录的分析发现,经验丰富的用户会更频繁地开启自动放行(auto-approve),同时也会更频繁地主动打断(interrupt)(Anthropic, 2026)。至少在这批用户身上,放权和监督没有沿着同一根轴此消彼长:他们不再去点每一个权限弹窗,主动打断的次数反而更多。数据本身没有记录这些打断发生在什么时刻,我的解读是,他们把确认从“每一步”挪到了自己认为值得管的关键节点上。Magentic-UI 干脆把这种选择直接做进了界面和架构里:开工前可以让用户修改计划(co-planning),执行过程中可以用自然语言反馈或者直接接管浏览器(co-tasking),外加动作守卫、结果核验、记忆和多任务支持 (Mozannar et al., 2025)。补充背景信息、修改计划、接管局部动作、以及最后核验结果,原本就是委托流程里几个不同的关口。

把人的判断集中到少数几个高价值时刻,本身也是有代价的。对 106 项实验、370 个效应量的元分析显示,人机组合的平均表现甚至低于人或 AI 当中更强的一方单干,在决策任务中尤其容易出现表现倒退,而收益高低取决于任务分配、信息流转等设计因素 (Vaccaro et al., 2024)。单纯把人放进流程里并不自动产生正收益。更早的一条警告在这里依然成立:自动化会把操作者从执行者变成监控者,而人恰恰不擅长长时间盯着一个绝大多数时候都正确的系统;随着自动化接管日常情况,操作者练习的机会减少、技能退化,却被期望在最罕见、最困难的时刻接手 (Bainbridge, 1983)。这两条结论合在一起,刚好和上一节谈到的审核难题扣上了:如果平时自动检查跑绿就闭眼放行,越少介入就越生疏,等到真正撞上模型搞不定的复杂异常需要人接管时,人已经失去了看懂现场的上下文。

The Human Is Part of the Agent

回顾前面的各个环节可以看到,决定一次委托成不成的许多条件,都落在我们习惯称为“Agent”的那个方框外面。SWE-bench 上的分数里,不包含设计这套任务和验证器的人做出的判断;产品指标里的“完成”,不包含事后的代码审阅、下游维护和故障恢复;软件意义上的 Agent,不包含谁有权批准行动、谁是这套系统的负责人;而站在发起委托那一个人的视角里,也往往看不见受这次委托影响的其他同事。真正把事情做成、并且让结果靠得住的那个系统,比我们画的框大了一圈。

模型能力的快速增长很容易掩盖这一点,因为当工作被挪到框外的时候,看上去就像凭空消失了一样。从单样本标注到任务与环境设计的那条线已经演示过一次:人逐渐减少逐条手写答案,判断移向了挑任务、写验证器、决定一个陌生解法怎样算成功。眼下正在发生第二次转移:Agent 吸收完具体执行,又开始吸收日常的执行控制,包括记住先前提过的约束、刷新工作区状态、动手前先取证、自动跑验证以及出错回滚。这部分活确实应该由它吸收;替 Agent 维持基本的执行控制属于还没做完的工程,很难成为人类的长期角色。

当这部分日常控制被吸收之后,留给人的工作也随之分成了两头:凡是能事先写清楚的规则与边界会前移到开工前,而必须面对具体产物才能完成的判断则留在执行中途和最终交活的那一刻。

真正前移到运行之前的,是那些可重复生效的规矩与权责安排:架构约束、代码规范、自动测试与检查流水线、事先划定的权限范围,以及在操作者、工程负责人、管理者、供应商、组织与监管方之间提前理清的责任归属。这些安排在运行之前就要立好;如果把它们简单压成一句“回路里总得有个人负责”,最后往往就变成了让点下 Approve 按钮的那个人替实现缺陷和部署疏忽背锅。

而留在执行中途和交活审核时的,则是事前规则与自动测试无法替代的三件事:

  • 借着具体半成品把目标定准。 任务里有一部分要求和取舍,要等 Agent 做出具体的东西,用户才说得清楚。Agent 可以越来越会挑时机提问,也可以在关键分岔口先给一个可撤销的版本让人看,从而避免闷头干到底才推倒重来,但最终拿主意的内容只能来自人。
  • 在交活时审透那些“表面上做对了”的结果。 测试、CI、灰度发布和可回滚部署确实在减少机械的逐行检查,这也让最终交到人手里的结果多半是已经通过自动检查的产物。此时人之所以还要审,一是因为 Agent 自己写、自己跑通的测试不构成独立证据,二是因为人还要判断这套解法到底合不合真实意图、代码结构对下游维护者友不友好,同时借着审核看懂核心改动,保证团队对系统仍有掌控力。
  • 在长链路中断或升级时及时看懂现场。 对那些平时可以自己跑很久的 Agent 来说,人接触执行链路的次数变少了,但每一次介入的分量反而更重。平时越不需要人,异常发生或最后交割时人对这条链路知道得就越少,而需要他拍板的又往往是最棘手的情况。交互变少之后,瓶颈会从“人愿不愿意介入”转到“人还来不来得及理解”。因此,Agent 产品接下来要拼的一项核心能力,是在打断或交接发生的那一刻,把足够的信息一次交到对的人手上:相关的历史、当前的状态、支持该动作的证据、还有哪些备选方案、做下去的后果、能不能退回来、需要谁的权限。一个只有 Allow 和 Deny 的确认框做不到这件事,而今天大多数产品给的还只是这样一个框。

评测基准会继续告诉我们模型能解多难的题,这条曲线仍然重要;与此同时,一些新的评测已经在往外扩展:$\tau$-bench 问同一类任务能不能稳定地反复交出去,HiL-Bench 问 Agent 知不知道自己什么时候该求助,SWE-Together 记录一条链路需要用户纠正几次。它们的共同难处也正是日常委托的难处:一旦把人算进系统,我们评估和设计的对象就扩展成了模型与它外围的整套委托机制,在开工前立好边界,在中途借小样看清方向,在交活时审透那些“表面做对”的结果,让人看得懂、信得过、也担得起责任。

参考文献 38 篇

  1. The 2026 AI Index Report: Technical PerformanceStanford Institute for Human-Centered Artificial Intelligence · Stanford University · 2026
  2. Our First Proof submissionsOpenAI · 2026
  3. Ten advances in mathematics and theoretical computer scienceOpenAI · 2026
  4. Assessing Claude Mythos Preview’s cybersecurity capabilitiesAnthropic · 2026
  5. Project Glasswing: Securing critical software for the AI eraAnthropic · 2026
  6. How Coding Agents Fail Their Users: A Large-Scale Analysis of Developer-Agent Misalignment in 20,574 Real-World SessionsTang et al. · arXiv · 2026
  7. Coding Agents Don’t Know When to ActGloaguen et al. · arXiv · 2026
  8. SWE-Touch: Benchmarking Coding Agents When Users Touch the CodeTan et al. · arXiv · 2026
  9. AgentRx: Diagnosing AI Agent Failures from Execution TrajectoriesBarke et al. · arXiv · 2026
  10. SWE-bench: Can Language Models Resolve Real-World GitHub Issues?Jimenez et al. · arXiv · 2023
  11. SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?Miserendino et al. · arXiv · 2025
  12. DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering TasksHuang et al. · arXiv · 2026
  13. Training Language Models to Follow Instructions with Human FeedbackOuyang et al. · NeurIPS · 2022
  14. ChatGPT Outperforms Crowd-Workers for Text-Annotation TasksGilardi, Alizadeh, and Kubli · arXiv · 2023
  15. Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng et al. · arXiv · 2023
  16. Constitutional AI: Harmlessness from AI FeedbackBai et al. · arXiv · 2022
  17. Programming by Chat: A Large-Scale Behavioral Analysis of 11,579 Real-World AI-Assisted IDE SessionsTang et al. · arXiv · 2026
  18. Ambig-SWE: Interactive Agents to Overcome Underspecificity in Software EngineeringVijayvargiya et al. · ICLR · 2026
  19. Learning Personalized Agents from Human FeedbackLiang et al. · arXiv · 2026
  20. Personalizing Reinforcement Learning from Human Feedback with Variational Preference LearningPoddar et al. · arXiv · 2024
  21. SWE-Together: Evaluating Coding Agents in Interactive User SessionsWu et al. · arXiv · 2026
  22. Mind the Sim2Real Gap in User Simulation for Agentic TasksZhou et al. · arXiv · 2026
  23. The Impact of AI on Developer Productivity: Evidence from GitHub CopilotPeng et al. · arXiv · 2023
  24. Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer ProductivityMETR · arXiv · 2025
  25. We are Changing our Developer Productivity Experiment DesignMETR · 2026
  26. Towards Better Health Conversations: The Benefits of Context-seekingSayres et al. · arXiv · 2025
  27. Human Oversight of Agentic Systems in Practice: Examining the Oversight Work, Challenges, and Heuristics of Developers Using Software AgentsDhanorkar, Passi, and Vorvoreanu · arXiv · 2026
  28. Why Johnny Can’t Use Agents: Industry Aspirations vs. User Realities with AI Agent SoftwareShome, Krishnan, and Das · arXiv · 2025
  29. Challenges in Human-Agent CommunicationBansal et al. · arXiv · 2024
  30. \τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World DomainsYao et al. · ICLR · 2025
  31. Harness Engineering: Leveraging Codex in an Agent-First WorldLopopolo · openai.com · 2026
  32. Do AI Coding Agents Log Like Humans? An Empirical StudyOuatiti et al. · arXiv · 2026
  33. Value of Information: A Framework for Human-Agent CommunicationDong et al. · arXiv · 2026
  34. HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?Elfeki et al. · arXiv · 2026
  35. Measuring AI Agent Autonomy in PracticeAnthropic · 2026
  36. Magentic-UI: Towards Human-in-the-Loop Agentic SystemsMozannar et al. · arXiv · 2025
  37. When Combinations of Humans and AI Are Useful: A Systematic Review and Meta-AnalysisVaccaro, Almaatouq, and Malone · Nature Human Behaviour · 2024
  38. Ironies of AutomationBainbridge · Automatica · 1983

返回博客