怎样证明它不是偶尔做对一次
用代表性任务、明确标准和重复运行，同时检查真实结果、执行过程与用户控制。
这一课会用到两个新词
每个新词先用一句人话、一个生活类比和同一个访谈任务解释；后文才会直接使用。
- 一句人话
- 用一组代表性任务反复运行产品，检查它在不同情况和不同版本下是否稳定达到要求。
- 生活类比
- 像驾照考试，不看一次开得顺不顺，而是在倒车、坡道、路口和突发情况里按同一标准反复检验。
- 具体例子
- 准备 20 组不同质量的访谈材料，让产品各运行多次，检查结论准确、引用完整、越权受控，并记录时间与成本。
- 一句人话
- 按照明确标准，对一次任务的结果或过程给出通过、失败或分数的检查者。
- 生活类比
- 像考试阅卷人：题目相同，但可以由答案规则、老师或另一套可靠方法来判分。
- 具体例子
- 代码评分器检查每条引用 ID 是否真实存在；人工评分器判断洞察有没有遗漏关键反例；权限评分器检查过程是否越权。
- 能定义 Task、Trial、Transcript、Outcome 与 Grader
- 能混合代码、模型和人工评分
- 能建立 Capability 与 Regression Suite
为什么一次漂亮结果，不能证明这个产品已经可靠？
聊天评测常关注单次回答，而 Agent 会多轮行动并改变环境。一个评测任务需要目标、起始环境、可用工具、完成证据和禁止副作用。运行一次得到一个 Trial，过程形成 Transcript，结束后的真实状态是 Outcome。
评分也不只有一种。代码或规则适合检查引用是否存在、文件是否生成；模型可以按 Rubric 评价开放性质量；专家用于校准高价值判断。评分器的目标是测量用户真正需要的结果，而不是奖励固定措辞。
Agent 有非确定性，所以单次通过不能代表稳定。允许多次尝试的探索型产品可以关注至少一次成功的能力上限；一次托付就应可靠完成的产品更关心连续成功和尾部风险。
先记住这句话这类产品会多轮行动并改变环境。质量检查既要看最终状态，也要看是否越权、是否用错工具、是否产生隐性副作用，以及失败后是否正确停止。
先从五个真实任务建立最小 Eval
任务 1 检查是否能为每条洞察找到真实引用；任务 2 检查来源冲突时是否停止；任务 3 检查个人信息是否泄露；任务 4 检查工具失败后的降级；任务 5 检查最终报告是否覆盖研究问题。
每题固定资料版本、权限和完成标准，保存正例、反例和参考证据。任务描述不能泄露唯一解，否则 Agent 只是在迎合测试。
一次 Trial 从起始环境到 Outcome
Eval Harness 重置环境并运行 Agent，记录模型、Harness、工具和数据版本。Transcript 保存计划、工具、Observation、审批和费用；Outcome 从外部状态读取，例如报告文件和引用关系。
同一任务至少运行三次，才能看到偶尔成功、稳定成功和稳定失败。失败要回到首次偏离点并进入责任分类。
Grader 要混合且互相校准
确定事实优先用代码或状态检查；开放质量使用有清晰等级的模型 Rubric；高影响判断由专家抽样复核。模型评分器必须用人工样本校准，不能因为易扩展就默认可信。
Trajectory 不应强迫唯一理想路径。只要 Outcome 达标且过程合规，新的高效路径应被允许；轨迹主要用于安全约束、效率和诊断。
Capability 与 Regression 分开管理
Capability Suite 测量目前能做到多难，Regression Suite 防止已解决的高价值失败重新出现。前者可以逐步增加挑战，后者要稳定、快速并和发布门槛绑定。
pass@k 表达多次尝试中至少一次成功的可能性，适合允许候选选择的任务；稳定托付更应看多次连续成功、失败尾部和首次成功率。具体统计要结合产品承诺解释。
排行榜先审题，再看分数
一个高分可能来自任务过于单一、测试泄漏、Grader 奖励了格式而非真实结果，或 Agent 钻了环境漏洞。评测报告至少要同时写任务代表性、模型与 Harness 版本、工具和预算、重复次数、成本、失败分布与评分器校准。
还要检查外部有效性：真实用户是否拥有相同资料、时间和权限，任务是否允许多次尝试，基准是否被训练数据污染。排行榜适合发现能力线索，不直接等于产品可靠性或业务价值。
Agent Eval 不只是问答评分。Task 定义目标与环境；Trial 是一次非确定运行；Transcript 记录过程；Outcome 是外部状态；Grader 用代码、模型或人工判断；Eval Harness 保证版本、重复与统计。
从真实用户任务和失败建立 Task 与参考证据
在固定环境运行多次 Trial
代码查确定事实，模型按 Rubric 评开放质量，专家校准
按版本、难度和多次运行汇总
有术语没听懂？在这里用人话再看一遍9 个词＋
- Task
- 包含目标、环境、工具、完成证据和约束的一道 Agent 评测任务。
- Trial
- 同一 Task 的一次独立运行。
- Transcript
- Trial 中的模型输出、工具、观察、审批和状态轨迹。
- Outcome
- 运行结束后环境中的真实结果，而不是 Agent 自己说完成。
- Grader
- 用代码、状态、模型或人工对 Outcome 与关键轨迹进行评分的检查器。
- Eval Harness
- 负责重置环境、运行多次 Trial、记录版本并汇总评分的评测系统。
- pass@k
- 在 k 次尝试中至少一次成功的指标，适合可以生成多个候选的场景。
- Regression
- 曾经通过或已修复的能力在新版本中再次退化。
- 外部有效性
- 评测结论能否从实验任务外推到真实用户、环境、权限和产品承诺。
评测十份访谈生成的研究报告
没有唯一标准答案，因此不能只做文字相似度。
- 01
代码检查引用是否真实存在
- 02
状态检查验证产物和数据边界
- 03
模型 Rubric 评覆盖、Groundedness 与洞察
- 04
专家抽样校准模型评分
Outcome 是主要目标，Trajectory 用于安全、诊断和效率，而不是强迫唯一理想路径。
本章依据与证据边界7 条结论 · 15 份原始材料＋
正文已经把关键来源放在相关概念旁边。这里保留完整核验清单：每条材料能支持什么、不能支持什么；不要求离开本站才能继续学习。
- [1]
Anthropic 的 Agent Eval 方法强调从代表真实使用的任务开始，并为任务准备可验证结果、参考证据与正反样本。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [2]
Anthropic 的 Agent Eval 文章系统区分 Task、Trial、Transcript 与 Outcome，并建议通过重复运行观察非确定性表现。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [3]
Anthropic 建议按结果类型组合代码、模型与人工 Grader，并用人工样本校准模型评分器。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [4]
本站把 Capability Suite、Regression Suite 与 pass@k 的产品承诺分开解释，是基于公开评测方法整理的教学框架。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [5]
公开的 Agent 基准最佳实践强调任务有效性、评分器漏洞、复现性、版本与外部有效性；高分必须连同这些边界解释。
独立研究ZHEstablishing Best Practices for Building Rigorous Agentic Benchmarks论文 / 基准 · 核验 2026-07-14 - [6]
AI Agents That Matter 提醒评测同时报告成本、可复现性并警惕基准过拟合；其结论同样受研究样本与时间限制。
独立研究KAAI Agents That Matter论文 / 基准 · 核验 2026-07-14 - [7]
SWE-bench 是使用真实 GitHub Issue 与代码仓库评测软件工程能力的公开基准案例。
独立研究PRSWE-bench: Can Language Models Resolve GitHub Issues?论文 / 基准 · 核验 2026-07-14
查看全部一手材料与源码证据 15 条
这份材料把工具定义为确定性系统与非确定性 Agent 之间的合同，说明工具名称、参数、描述、错误反馈和返回内容都会改变模型行为。它支持用真实任务和留出集评测工具，并强调更少重叠、边界清晰、返回高信号且 Token 高效的工具通常更可靠。
官方产品实现 · 核验 2026-07-11Create custom subagentsAnthropic这份文档说明 Subagent 使用独立上下文完成委派任务并向主会话返回摘要，可分别配置模型、工具、权限、Skill、MCP、Memory、Hook 与 Worktree 隔离。它支持把 Subagent 的价值定位为上下文隔离、并行和专业化，而不是把增加 Agent 数量等同于自动提升结果质量。
官方方法 · 核验 2026-07-11Effective harnesses for long-running agentsAnthropic这份材料展示 Compaction 仍不足以解决跨上下文长任务，并总结一次做太多、半成品难接续和过早宣布完成等失败模式。它用初始化环境、功能清单、进度文件、Git 历史、增量推进和端到端验证说明 Harness 如何把连续性写入环境。
官方方法 · 核验 2026-07-11Demystifying evals for AI agentsAnthropic这份材料定义 Task、Trial、Grader、Transcript、Outcome、Evaluation Harness 与 Agent Harness，并强调评估 Agent 时实际评估的是模型与 Harness 的组合。它支持用多次 Trial、代码/模型/人工 Grader、Outcome 与轨迹联合评分，以及分别建设 Capability Eval 和 Regression Eval。
官方方法 · 核验 2026-07-11Harness engineering: leveraging Codex in an agent-first worldOpenAI这份案例说明当 Agent 承担大量执行工作时，人类工作的重心会转向表达意图、设计环境、维护可读知识和建立反馈回路。它支持用仓库内版本化知识、机械化架构约束、测试、Lint 与可操作错误信息提升 Agent 的可读性、自治性和长期一致性。
官方产品实现 · 核验 2026-07-11Tracing - OpenAI Agents SDKOpenAI Agents SDK这份文档定义 Trace 与 Span，并说明 Agents SDK 默认记录 Agent 运行、模型生成、工具调用、Handoff、Guardrail 和自定义事件。它支持课程把轨迹观测落到可实现的数据结构，同时提醒默认 Trace 可能包含模型及工具输入输出等敏感数据，需要显式配置采集与导出策略。
固定提交源码 · 核验 2026-07-11Hermes Agent conversation loopNous Research这段固定提交源码展示 Hermes 如何检查工具名、修复参数、限制委派数量、去重调用、执行工具，并把结果写回消息历史。它直接证明生产级 Agent Loop 在模型输出与真实动作之间还需要确定性处理。
固定提交源码 · 核验 2026-07-14Hermes Agent turn finalizationNous Research这段固定提交源码定义 Turn 结束时的预算与完成判定，并把轨迹保存、资源清理、会话持久化和清理错误纳入统一关账。它支持课程把 completed 视为需要系统证据与退出处理的状态，而不是模型的一句话。
官方产品实现 · 核验 2026-07-14How we built our multi-agent research systemAnthropic这份生产案例披露 Orchestrator-Worker、独立上下文、并行搜索、恢复与评测方法，也明确多 Agent 的高 Token 成本和对串行、强共享上下文任务的限制。
证据边界：内部研究 Eval 的提升不能证明多 Agent 对所有任务都优于单 Agent。官方产品实现 · 核验 2026-07-14A harness for every task: dynamic workflows in Claude CodeClaude by Anthropic这份材料说明 Claude Code 如何让用户为长程、并行、结构化或对抗任务编写动态 Harness，并以多个独立上下文完成分解、验证和汇总。
证据边界：动态工作流不是默认更优；协调、Token、延迟和错误传播仍需针对任务测量。官方岗位原文 · 核验 2026-07-14AI 产品经理（Agent Harness 产品方向）DeepSeek官方岗位原文要求路线图、真实任务与用户反馈、模型行为判断、Vibe Coding、UI/UX、Harness 技术原理、数据研究和模型与 Harness 共同进化。
证据边界：公开 JD 不披露 DeepSeek 内部路线图、面试题、组织分工或唯一合格答案。独立研究结论 · 核验 2026-07-14Towards a Science of Scaling Agent SystemsGoogle Research受控实验表明多 Agent 在可分解并行任务上可能显著提升，在严格串行任务上可能下降 39%–70%，工具密集任务还会承担额外协调成本。
证据边界：论文仍受基准、模型、配置和版本限制，不能当作所有生产任务的固定公式。独立研究结论 · 核验 2026-07-14AI Agents That MatterPrinceton NLP论文指出只追准确率会忽略成本、复现性、下游适用性、留出集和基准过拟合，并提出联合优化准确率与成本。
证据边界：该框架本身不能替代具体产品的真实用户任务、风险与商业指标。独立研究结论 · 核验 2026-07-14Establishing Best Practices for Building Rigorous Agentic BenchmarksNeurIPS该研究系统讨论 Agent benchmark 的任务设计、污染、评分可靠性、统计报告和复现要求。
证据边界：严谨 benchmark 仍不能单独证明部署后的用户价值和组织 ROI。独立研究结论 · 核验 2026-07-14InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated LLM AgentsACL Anthology该同行评审 benchmark 用 1,054 个测试覆盖工具型 Agent 的间接 Prompt Injection、用户伤害和私有数据外泄。
证据边界：单一 benchmark 的攻击成功率不能直接代表当前某款产品的线上风险。