第 22/25 课·21 min 阅读·最后更新 2026-08-03

用户说喜欢，为什么还不能上线？

用户说喜欢计划面板，不等于它真的减少返工。先用访谈理解原因，再用离线 Eval 排除质量和安全退化，最后只对一小部分真实任务开放。

实验期间固定模型、Harness、工具和材料版本。否则结果变好或变坏时，不知道是哪一项变化造成的。

表达偏好不等于行为收益。先通过访谈理解原因，再用任务评测排除能力退化，最后通过灰度观察完成率、打断率、耗时和留存。

验证阶段门

用户说喜欢以后，产品还要过哪几关？

十份访谈先帮助理解原因；离线 Eval 检查能力和风险；内部试用暴露真实工具问题；小流量灰度验证行为。任一护栏失败，都应停下或回滚。

1访谈理解问题与机制
用户为什么需要计划面板？它在哪一步减少不确定？
形成假设
2离线评测（Eval）固定任务重复运行
结果、引用、权限和失败处理没有退化。
能力关卡（Gate）
3内部试用观察真实协作
记录等待、改计划、人工接管和工具故障。
可用性关卡（Gate）
4小流量灰度验证真实行为变化
完成率、耗时与护栏按预先规则判断。
产品关卡（Gate）
5发布或回滚只按预注册条件收口
越权、静默错误或关键任务退化立即停止。
人工决定

先访谈，再离线检查，最后小流量

访谈发现用户在哪一步失去理解和控制；离线 Eval 检查引用、权限和失败路径；团队内部先用；通过后再给小部分用户灰度。

每一步都有停止条件。出现越权、引用退化或静默错误时立即回滚，不因为满意度提高继续放量。

官方事实查看这一结论的依据与边界＋

Anthropic 的 Agent Eval 方法强调先用可重复任务与多次 Trial 建立能力和回归证据。

ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14

运行前先写下判断标准

开始前写明对谁开放、改变什么、看哪个主指标、哪些护栏不能变差、什么情况停止。十份访谈任务应按完整任务分组，不让同一次任务跨两种体验。

失败记录只保留改进所需的最少字段。原文或敏感轨迹进入分析前需要用户同意、脱敏、访问控制和删除期限。

官方事实查看这一结论的依据与边界＋

DeepSeek 招聘信息体现真实用户反馈、工程与研究之间需要持续闭环。

DEAI 产品经理（Agent Harness 产品方向）官方招聘 · 核验 2026-07-14

提前写下什么会推翻原假设

例如计划面板提高完成率，却显著增加等待；或只帮助熟练用户、伤害新用户，都不能宣布整体成功。分层差异和副作用要与平均结果一起报告。

如果样本不足或选择偏差太大，就把结论降为“尚未确认”，缩小范围或继续收集证据。不要换一个更好看的指标。

独立研究查看这一结论的依据与边界＋

METR 2026 更新公开说明其后续研究受选择偏差影响，不能可靠估计总体生产率；这是主动降低结论强度的反证案例。

MEUpdated analysis of AI coding productivity uplift论文 / 基准 · 核验 2026-07-14

有术语没听懂？在这里用人话再看一遍4 个词＋

Dogfood: 团队在真实内部工作中先使用产品，发现实验室任务遗漏的问题。
灰度: 把新版本逐步开放给受控流量，并保留停止和回滚能力。
版本固定: 实验期间保持模型、Harness、工具和材料版本不变，避免原因混在一起。
反证条件: 在实验前写明哪些结果、分层差异或副作用会推翻或削弱原假设。

正在载入本课完整案例、模板与标准答案…

本章依据与证据边界2 条补充结论 · 8 份原始材料＋

下面补充本章的其他依据，并说明每份材料能证明什么、不能证明什么。

[4]
Microsoft Research 的现场实验说明真实行为研究可以补充离线任务，但其代码补全场景不能直接外推到自主 Agent。
独立研究MIThe Effects of Generative AI on High-Skilled Work官方研究 · 核验 2026-07-14
[5]
本站从访谈到灰度的五阶段 Gate、随机单元、反证条件和隐私闭环是实验教学框架。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14

查看全部一手材料与源码证据 8 条

官方方法 · 核验 2026-07-23Demystifying evals for AI agentsAnthropic

这份材料定义 Task、Trial、Grader、Transcript、Outcome、Evaluation Harness 与 Agent Harness，并强调评估 Agent 时实际评估的是模型与 Harness 的组合。它支持用多次 Trial、代码/模型/人工 Grader、Outcome 与轨迹联合评分，以及分别建设 Capability Eval 和 Regression Eval。

证据边界：官方经验与自测不能单独证明普遍收益，结论不得越过其样本、版本和适用范围。官方产品实现 · 核验 2026-07-11Tracing - OpenAI Agents SDKOpenAI Agents SDK

这份文档定义 Trace 与 Span，并说明 Agents SDK 默认记录 Agent 运行、模型生成、工具调用、Handoff、Guardrail 和自定义事件。它支持课程把轨迹观测落到可实现的数据结构，同时提醒默认 Trace 可能包含模型及工具输入输出等敏感数据，需要显式配置采集与导出策略。

证据边界：官方文档不能单独证明未公开内部实现、长期可靠性或真实用户收益。独立研究结论 · 核验 2026-07-14Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer ProductivityMETR

该随机实验在经验丰富的开源开发者和自有成熟仓库任务中观察到早期 2025 AI 工具使完成时间增加 19%。

证据边界：研究页面已明确标注结果过时，不能外推到 2026 工具、所有开发者或非编码 Agent。独立研究结论 · 核验 2026-07-14We are Changing our Developer Productivity Experiment DesignMETR

METR 说明后续实验受到参与者和任务选择效应影响，数据只能很弱地支持晚 2025 工具带来更大加速，无法可靠估计幅度。

证据边界：原始点估计和自报体验都不足以给出当前普遍提效比例。独立研究结论 · 核验 2026-07-14The Effects of Generative AI on High-Skilled WorkMicrosoft Research

三个企业随机实验合并 4,867 名开发者后，AI 编码助手组完成任务数提高 26.08%，且较少经验开发者的采用和收益更高。

证据边界：研究对象是代码补全助手和企业任务，不等于自主 Agent 的净收益或质量提升。独立研究结论 · 核验 2026-07-14Towards a Science of Scaling Agent SystemsGoogle Research

受控实验表明多 Agent 在可分解并行任务上可能显著提升，在严格串行任务上可能下降 39%–70%，工具密集任务还会承担额外协调成本。

证据边界：论文仍受基准、模型、配置和版本限制，不能当作所有生产任务的固定公式。独立研究结论 · 核验 2026-07-14AI Agents That MatterPrinceton NLP

论文指出只追准确率会忽略成本、复现性、下游适用性、留出集和基准过拟合，并提出联合优化准确率与成本。

证据边界：该框架本身不能替代具体产品的真实用户任务、风险与商业指标。独立研究结论 · 核验 2026-07-14Establishing Best Practices for Building Rigorous Agentic BenchmarksNeurIPS

该研究系统讨论 Agent benchmark 的任务设计、污染、评分可靠性、统计报告和复现要求。

证据边界：严谨 benchmark 仍不能单独证明部署后的用户价值和组织 ROI。

接下来

下一课在网页里运行四条路径，亲眼检查系统边界。

用面试题验收

本课对应面试题

第 22/25 课·21 min 阅读·最后更新 2026-08-03

用户说喜欢，为什么还不能上线？

用户说喜欢计划面板，不等于它真的减少返工。先用访谈理解原因，再用离线 Eval 排除质量和安全退化，最后只对一小部分真实任务开放。

实验期间固定模型、Harness、工具和材料版本。否则结果变好或变坏时，不知道是哪一项变化造成的。

表达偏好不等于行为收益。先通过访谈理解原因，再用任务评测排除能力退化，最后通过灰度观察完成率、打断率、耗时和留存。

验证阶段门

用户说喜欢以后，产品还要过哪几关？

十份访谈先帮助理解原因；离线 Eval 检查能力和风险；内部试用暴露真实工具问题；小流量灰度验证行为。任一护栏失败，都应停下或回滚。

1访谈理解问题与机制
用户为什么需要计划面板？它在哪一步减少不确定？
形成假设
2离线评测（Eval）固定任务重复运行
结果、引用、权限和失败处理没有退化。
能力关卡（Gate）
3内部试用观察真实协作
记录等待、改计划、人工接管和工具故障。
可用性关卡（Gate）
4小流量灰度验证真实行为变化
完成率、耗时与护栏按预先规则判断。
产品关卡（Gate）
5发布或回滚只按预注册条件收口
越权、静默错误或关键任务退化立即停止。
人工决定

先访谈，再离线检查，最后小流量

访谈发现用户在哪一步失去理解和控制；离线 Eval 检查引用、权限和失败路径；团队内部先用；通过后再给小部分用户灰度。

每一步都有停止条件。出现越权、引用退化或静默错误时立即回滚，不因为满意度提高继续放量。

官方事实查看这一结论的依据与边界＋

Anthropic 的 Agent Eval 方法强调先用可重复任务与多次 Trial 建立能力和回归证据。

ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14

运行前先写下判断标准

开始前写明对谁开放、改变什么、看哪个主指标、哪些护栏不能变差、什么情况停止。十份访谈任务应按完整任务分组，不让同一次任务跨两种体验。

失败记录只保留改进所需的最少字段。原文或敏感轨迹进入分析前需要用户同意、脱敏、访问控制和删除期限。

官方事实查看这一结论的依据与边界＋

DeepSeek 招聘信息体现真实用户反馈、工程与研究之间需要持续闭环。

DEAI 产品经理（Agent Harness 产品方向）官方招聘 · 核验 2026-07-14

提前写下什么会推翻原假设

例如计划面板提高完成率，却显著增加等待；或只帮助熟练用户、伤害新用户，都不能宣布整体成功。分层差异和副作用要与平均结果一起报告。

如果样本不足或选择偏差太大，就把结论降为“尚未确认”，缩小范围或继续收集证据。不要换一个更好看的指标。

独立研究查看这一结论的依据与边界＋

METR 2026 更新公开说明其后续研究受选择偏差影响，不能可靠估计总体生产率；这是主动降低结论强度的反证案例。

MEUpdated analysis of AI coding productivity uplift论文 / 基准 · 核验 2026-07-14

有术语没听懂？在这里用人话再看一遍4 个词＋

Dogfood: 团队在真实内部工作中先使用产品，发现实验室任务遗漏的问题。
灰度: 把新版本逐步开放给受控流量，并保留停止和回滚能力。
版本固定: 实验期间保持模型、Harness、工具和材料版本不变，避免原因混在一起。
反证条件: 在实验前写明哪些结果、分层差异或副作用会推翻或削弱原假设。

5 分钟跟做 · 含标准答案

用户表示喜欢计划面板，为什么仍不能证明它提升任务成功？

约 5 分钟

先用一句话回答本课的跟做问题，再展开参考回答核对。想继续练习时，下方还提供完整案例、模板和通过标准。

写完一句再看展开参考回答＋

表达偏好可能来自新鲜感或可见性，但计划也可能增加等待与锚定。必须观察真实任务完成、返工、纠偏和风险行为。

可选深挖：完整模板、标准案例与通过标准2 小时＋

材料已经备齐。按模板写完，再展开标准答案逐项核对；掌握后，把同一方法用到自己的业务里。

本课给定案例 · 教学假数据

只对复杂任务展示计划，验证它是否减少返工而不是只增加好感

团队准备给研究 Agent 增加可编辑计划。计划可能帮助用户提前纠偏，也可能增加等待和锚定；上线前已有离线 Eval 与内部 Dogfood 证据。

教学案例：人物、公司、数据与运行结果均为虚构；带官方链接的岗位与产品事实除外。

人群：240 名已同意产品实验的内部研究员；最近 30 天每人至少完成 2 个复杂任务，简单摘要不入组。
版本：模型 m-2026-07、Harness 1.9.0、Tool Registry 3.1 固定；Control 直接执行，Treatment 在首次工具前展示可编辑计划。
基线：复杂任务完成率 68%、人工返工率 31%、P95 时长 44 分钟、高风险误操作 0.4%。
隐私：原始访谈不得进入分析仓；可采集事件和脱敏失败标签，原始 Transcript 仅在用户逐次同意后供安全抽样。
功效计算假设：双侧 α=0.05、power=80%、希望检测 68%→76%的 8 个百分点差异；每名用户平均 3 个 eligible task，教学上先假设用户内相关系数 ICC=0.15。若实际 ICC 未由试点估出，本轮只能称探索性灰度。

你要完成的任务

预注册一次“复杂研究任务是否展示可编辑计划”的线上实验，并设计从匿名失败样本回到 Eval Suite 的隐私数据闭环。

标准模板

1
人群、随机单元、假设与样本
写目标人群、稳定随机单元、可证伪假设、样本量与实验周期，处理同一用户多任务和跨组污染。
2
主指标、护栏、停止和回滚
预先指定主指标、护栏、停止规则、回滚责任和最低可检测效果，不用满意度替代任务结果。
3
版本矩阵与轨迹抽样
冻结模型/Harness/工具版本，设计分层与轨迹抽样，说明版本变化或全局故障如何处理。
4
用户同意、最小采集、脱敏、保留周期与任务集更新
写同意、最小采集、脱敏、访问、保留、删除和失败样本进入任务集的审查流程。

交付标准

写作时按这四点检查，标准答案会逐项展示依据。

因果有效
随机、版本和任务污染得到控制
风险可控
上线前有离线与内部证据
数据治理
反馈闭环不默认保存私有代码与完整敏感轨迹

完整标准案例与参考答案建议先写再展开＋

标准案例 · 教学假数据

只对复杂任务展示计划，验证它是否减少返工而不是只增加好感

人群、随机单元、假设与样本

以 user_id 做 1:1 稳定随机，避免同一研究员同时看到两种体验；可证伪假设是计划使 14 天内质量完成率从 68% 提升到至少 76%，并使人工返工下降 5 个百分点。
按双侧 α=0.05、power=80%的两比例正态近似，68%→76% 需要约 494 个独立 task/组；平均每人 3 个 task、ICC=0.15 时设计效应为 1+(3-1)×0.15=1.30，约需 643 task/组，即约 215 人/组。现有 240 人总池不够做确认性因果实验，因此本轮 4 周、每组约 120 人/360 task 明确标为探索性灰度，只估计效应与方差，为下一轮正式功效计算提供 ICC。

主指标、护栏、停止和回滚

主指标是外部证据验证的质量完成率；次指标为返工、计划编辑率和恢复；护栏为 P95 时长增幅 ≤15%、高风险误操作不高于 0.4%、成本增幅 ≤20%。
任一越权/PII 事件立即全量回滚；高风险误操作连续 20 个任务高于 1% 暂停。四周结果只报告效应点估计、区间与实际 ICC；无论方向多好，都不能把这 240 人探索性灰度冒充达到 80% power 的确认性结论。

版本矩阵与轨迹抽样

实验矩阵固定 model=m-2026-07、harness=1.9.0、tools=3.1、prompt=p17；版本不得中途切换，紧急安全修复则终止本轮并重新预注册。
每组随机抽 10% 脱敏轨迹，另抽全部失败终态；基础设施全局故障窗口单独标记。ITT（intention-to-treat，意向治疗分析）指所有入组任务都按用户最初随机分组统计，即使用户没有编辑计划；符合协议分析只看真正按分配体验完成的任务，仅作敏感性检查，不能替代 ITT，也不删除产品自身失败。

用户同意、最小采集、脱敏、保留周期与任务集更新

默认只采 task_id、事件、版本、耗时、token、失败标签和来源数量；姓名、原文、Prompt 全文不进分析仓，事件 90 天删除，抽样 Transcript 30 天删除。
只有用户逐次同意且自动脱敏通过后，失败片段才进入双人审查；审查者把它改写成无个人信息的 Task fixture，经隐私负责人批准后加入 Regression，并保留删除映射。

为什么这份答案达标

因果有效: user_id 随机、版本冻结、入排标准和污染处理在首个用户入组前登记；分析可复算且不受中途选择影响。
风险可控: 上线前已有 10 任务离线 Eval 与 30 名员工 Dogfood 零高风险事件；线上有自动停止和一键回滚 owner。
数据治理: 数据字典不含原始访谈或完整敏感 Transcript；抽样需逐次同意、自动脱敏、双人审查，并按 30/90 天规则删除。

正在载入本课完整案例、模板与标准答案…

本章依据与证据边界2 条补充结论 · 8 份原始材料＋

下面补充本章的其他依据，并说明每份材料能证明什么、不能证明什么。

[4]
Microsoft Research 的现场实验说明真实行为研究可以补充离线任务，但其代码补全场景不能直接外推到自主 Agent。
独立研究MIThe Effects of Generative AI on High-Skilled Work官方研究 · 核验 2026-07-14
[5]
本站从访谈到灰度的五阶段 Gate、随机单元、反证条件和隐私闭环是实验教学框架。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14

查看全部一手材料与源码证据 8 条

官方方法 · 核验 2026-07-23Demystifying evals for AI agentsAnthropic

该随机实验在经验丰富的开源开发者和自有成熟仓库任务中观察到早期 2025 AI 工具使完成时间增加 19%。

METR 说明后续实验受到参与者和任务选择效应影响，数据只能很弱地支持晚 2025 工具带来更大加速，无法可靠估计幅度。

证据边界：原始点估计和自报体验都不足以给出当前普遍提效比例。独立研究结论 · 核验 2026-07-14The Effects of Generative AI on High-Skilled WorkMicrosoft Research

三个企业随机实验合并 4,867 名开发者后，AI 编码助手组完成任务数提高 26.08%，且较少经验开发者的采用和收益更高。

受控实验表明多 Agent 在可分解并行任务上可能显著提升，在严格串行任务上可能下降 39%–70%，工具密集任务还会承担额外协调成本。

证据边界：论文仍受基准、模型、配置和版本限制，不能当作所有生产任务的固定公式。独立研究结论 · 核验 2026-07-14AI Agents That MatterPrinceton NLP

论文指出只追准确率会忽略成本、复现性、下游适用性、留出集和基准过拟合，并提出联合优化准确率与成本。

该研究系统讨论 Agent benchmark 的任务设计、污染、评分可靠性、统计报告和复现要求。

证据边界：严谨 benchmark 仍不能单独证明部署后的用户价值和组织 ROI。

接下来

下一课在网页里运行四条路径，亲眼检查系统边界。

用面试题验收