从用户反馈到实验：问卷、访谈、A/B 与灰度
定性研究发现问题与机制，离线评测验证能力，线上实验验证真实行为。
- 能设计离线 Eval 到线上灰度的证据链
- 能控制 Agent 实验中的版本与任务污染
- 能建立用户失败到任务集的数据飞轮
用户说喜欢新计划面板，为什么还不能直接全量？
用户说喜欢计划面板，只能说明表达偏好。计划可能同时增加等待、造成锚定或降低任务成功。先通过访谈理解机制，再用离线 Eval 排除能力和安全退化，最后在可控风险下灰度观察真实行为。
Agent 实验比普通页面实验多一层版本问题：模型、Prompt、工具、Context 策略、Runtime 和数据都可能变化。没有完整版本矩阵，结果很难归因。
先记住这句话表达偏好不等于行为收益。先通过访谈理解原因，再用任务评测排除能力退化，最后通过灰度观察完成率、打断率、耗时和留存。
证据链从发现到发布
定性研究发现用户在哪里失去理解和控制；离线 Eval 快速验证结果与安全；内部 Dogfood 暴露真实工具问题；小流量灰度观察行为；轨迹抽样解释汇总指标；长期数据检查留存和副作用。
每一阶段都有进入下一阶段的 Gate。高风险外部写入不能因为离线分数提高就直接普通 A/B。
预注册减少看完数据再编故事
实验前写明目标人群、随机单元、版本、主指标、护栏、停止规则和预期方向。以 Thread 随机通常比每条消息随机更能避免同一任务跨组污染。
失败轨迹进入数据闭环前，需要用户同意、最小采集、脱敏、访问控制和保留周期。更多数据不自动等于更好模型。
先设计什么证据会让你改变结论
实验前写下反证条件：例如计划面板提高完成率却显著增加等待，或只帮助熟练用户而伤害新用户，就不能宣布整体成功。对供应商案例、内部 Dogfood 和社区口碑都要问：谁没有被纳入，失败是否被选择性遗漏，工具和任务是否与我们的产品一致。
METR 2026 年更新说明，其后续 AI 编程研究受到严重选择偏差，无法给出可靠总体速度结论；这正是研究诚实的示范。无法支持原假设时，应降低结论强度、缩小适用范围或继续收集证据，而不是换一个更好看的指标。
Agent 产品实验要经过定性发现、离线 Eval Gate、内部 Dogfood、随机灰度、轨迹抽样与长期观察。模型、Harness、工具与环境版本必须记录，否则变化无法归因。
访谈和轨迹发现机制问题
离线验证能力与安全未退化
按用户或 Thread 随机灰度并固定版本
结合指标、轨迹和长期留存决定发布或回滚
有术语没听懂？在这里用人话再看一遍7 个词＋
- Dogfood
- 团队在真实内部工作中先使用产品，发现实验室任务遗漏的问题。
- 灰度
- 把新版本逐步开放给受控流量，并保留停止和回滚能力。
- Shadow
- 新系统在不影响用户真实结果的情况下旁路运行，用于比较和发现风险。
- 随机单元
- 决定实验分组的对象，例如用户、Thread 或团队。
- 版本污染
- 实验期间模型、工具或任务结构变化，使观察结果无法归因给单一方案。
- 预注册
- 在看结果前固定假设、指标、分组、停止和分析方法。
- 反证条件
- 在实验前写明哪些结果、分层差异或副作用会推翻或削弱原假设。
只在复杂任务展示可编辑计划
按 Thread 随机，固定模型与 Harness，比较完成率、返工、耗时、纠偏和高风险误操作。
- 01
访谈先定义“信任”对应哪些行为
- 02
离线 Eval 检查计划不会降低能力
- 03
线上结合汇总指标与失败轨迹抽样
能判断计划面板在哪些任务有价值，而不是只得到“用户说喜欢”。
本章依据与证据边界5 条结论 · 8 份原始材料＋
正文已经把关键来源放在相关概念旁边。这里保留完整核验清单：每条材料能支持什么、不能支持什么；不要求离开本站才能继续学习。
- [1]
Anthropic 的 Agent Eval 方法强调先用可重复任务与多次 Trial 建立能力和回归证据。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [2]
DeepSeek 招聘信息体现真实用户反馈、工程与研究之间需要持续闭环。
官方事实DEAI 产品经理（Agent Harness 产品方向）官方招聘 · 核验 2026-07-14 - [3]
METR 2026 更新公开说明其后续研究受选择偏差影响，不能可靠估计总体生产率；这是主动降低结论强度的反证案例。
独立研究MEUpdated analysis of AI coding productivity uplift论文 / 基准 · 核验 2026-07-14 - [4]
Microsoft Research 的现场实验说明真实行为研究可以补充离线任务，但其代码补全场景不能直接外推到自主 Agent。
独立研究MIThe Effects of Generative AI on High-Skilled Work官方研究 · 核验 2026-07-14 - [5]
本站从访谈到灰度的五阶段 Gate、随机单元、反证条件和隐私闭环是实验教学框架。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
查看全部一手材料与源码证据 8 条
这份材料定义 Task、Trial、Grader、Transcript、Outcome、Evaluation Harness 与 Agent Harness，并强调评估 Agent 时实际评估的是模型与 Harness 的组合。它支持用多次 Trial、代码/模型/人工 Grader、Outcome 与轨迹联合评分，以及分别建设 Capability Eval 和 Regression Eval。
官方产品实现 · 核验 2026-07-11Tracing - OpenAI Agents SDKOpenAI Agents SDK这份文档定义 Trace 与 Span，并说明 Agents SDK 默认记录 Agent 运行、模型生成、工具调用、Handoff、Guardrail 和自定义事件。它支持课程把轨迹观测落到可实现的数据结构，同时提醒默认 Trace 可能包含模型及工具输入输出等敏感数据，需要显式配置采集与导出策略。
独立研究结论 · 核验 2026-07-14Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer ProductivityMETR该随机实验在经验丰富的开源开发者和自有成熟仓库任务中观察到早期 2025 AI 工具使完成时间增加 19%。
证据边界：研究页面已明确标注结果过时，不能外推到 2026 工具、所有开发者或非编码 Agent。独立研究结论 · 核验 2026-07-14We are Changing our Developer Productivity Experiment DesignMETRMETR 说明后续实验受到参与者和任务选择效应影响，数据只能很弱地支持晚 2025 工具带来更大加速，无法可靠估计幅度。
证据边界：原始点估计和自报体验都不足以给出当前普遍提效比例。独立研究结论 · 核验 2026-07-14The Effects of Generative AI on High-Skilled WorkMicrosoft Research三个企业随机实验合并 4,867 名开发者后，AI 编码助手组完成任务数提高 26.08%，且较少经验开发者的采用和收益更高。
证据边界：研究对象是代码补全助手和企业任务，不等于自主 Agent 的净收益或质量提升。独立研究结论 · 核验 2026-07-14Towards a Science of Scaling Agent SystemsGoogle Research受控实验表明多 Agent 在可分解并行任务上可能显著提升，在严格串行任务上可能下降 39%–70%，工具密集任务还会承担额外协调成本。
证据边界：论文仍受基准、模型、配置和版本限制，不能当作所有生产任务的固定公式。独立研究结论 · 核验 2026-07-14AI Agents That MatterPrinceton NLP论文指出只追准确率会忽略成本、复现性、下游适用性、留出集和基准过拟合，并提出联合优化准确率与成本。
证据边界：该框架本身不能替代具体产品的真实用户任务、风险与商业指标。独立研究结论 · 核验 2026-07-14Establishing Best Practices for Building Rigorous Agentic BenchmarksNeurIPS该研究系统讨论 Agent benchmark 的任务设计、污染、评分可靠性、统计报告和复现要求。
证据边界：严谨 benchmark 仍不能单独证明部署后的用户价值和组织 ROI。本课对应面试题
离开这个模块之前，先自己回答这 3 个问题。
不打分、不记录。答不上来就点回那一课；能用自己的话讲清楚，再进入下一模块。已标记已读 0/3。
05.1为什么不应强制 Agent 遵循唯一标准轨迹？＋
开放任务可能有多条优质路径。Trajectory 更适合安全护栏和诊断；只要 Outcome 达标且过程合规，更高效的新路径应被允许。
05.2人工介入率越低是否越好？＋
不一定。关键判断点的人工介入可能提高任务价值和安全；应区分无效救火与高杠杆协作，并结合完成质量判断。
05.3用户表示喜欢计划面板，为什么仍不能证明它提升任务成功？＋
表达偏好可能来自新鲜感或可见性，但计划也可能增加等待与锚定。必须观察真实任务完成、返工、纠偏和风险行为。