模块 5·05.2·19 min·最后更新 2026-07-14

指标：Agent 是否真的帮助了更多人

核心指标要表达有价值任务的深度完成，而不是消息数或生成字数。

正文阅读 19 min · 本课练习 2 小时

读完这一章，你应该能够

能建立用户价值到系统驱动因素的指标树
能写清分子、分母与验证条件
能同时管理成本、延迟和尾部风险

这一章要回答的问题

Agent 产品的北极星指标应该是什么？

消息数、Token 和生成字数说明系统很忙，不说明用户获得价值。Agent 产品更适合从可验证的有效任务完成出发，再按任务难度、用户类型和运行环境分层。

北极星不能独自工作。人工救火、成本、P95 时延、静默错误、回滚和数据事故需要作为护栏。成功率提高却成本翻倍或严重错误增加，不能自动判定版本更好。

先记住这句话
以“可验证的有效任务完成”为核心，按场景组合成功率、完成深度、人工介入、时间节省、复用、成本、延迟和风险。没有单个指标能覆盖所有 Agent。

从用户价值拆到系统驱动

先定义分子：在规定时间内、通过外部证据验证、无需重大人工重做的高价值任务；再定义分母：发起此类任务的合格用户或任务。之后拆采用、成功、介入、恢复、复用和留存。

系统层继续拆到工具成功、上下文命中、验证覆盖、模型调用、成本和时延。指标树让异常可以回到可行动的责任层。

分层防止简单任务抬高总分

如果新版吸引更多简单任务，总成功率可能上升，即使复杂任务退化。必须按任务难度、风险、用户熟练度、模型、Runtime 和版本做 cohort。

上线决策可以寻找质量、成本和时延的 Pareto 改善；高价值难任务也可以路由到更强策略，而不是让所有请求承担同样成本。

从个人速度走到团队与业务结果

指标链要逐层连接：单个任务是否完成；用户是否采纳且减少返工；团队的评审、等待和队列是否改善；最终业务周期、质量或收入是否变化。越往后，越需要更长观察和更强因果设计，不能用 Token 数代替。

相反证据很重要。METR 在特定时期、特定开源任务和资深开发者样本中观察到使用当时 AI 工具反而慢 19%；另一项汇总 4,867 名开发者的现场随机实验观察到代码补全助手让完成任务数提高 26.08%。两者用户、工具和任务不同，正确结论不是选一个口号，而是为自己的 Agent、用户和任务做验证。

把原理放进一次完整过程

消息数、Token 和生成字数衡量的是活动，不是价值。指标应从用户真正获得的可验证成果出发，再拆到采用、任务表现、系统驱动和成本风险护栏，并按任务难度与用户类型分层。

01Product

定义质量加权的有效任务完成

02Analytics

拆分采用、复用、成功、介入和恢复

03Finance / Risk

加入成本、P95 时延、回滚和副作用

04PM

按任务难度、Runtime、用户与版本做 cohort

有术语没听懂？在这里用人话再看一遍7 个词＋

北极星指标: 最能代表目标用户持续获得核心价值的主要产品指标。
护栏指标: 防止主指标以牺牲成本、风险、质量或体验为代价增长的约束指标。
P95: 95% 样本不超过的时延或成本位置，用来观察尾部体验。
Cohort: 按用户、任务、版本或环境划分的可比较群组。
Pareto 改善: 至少一个目标改善，同时其他关键目标不明显变差。
静默错误: 系统看似完成但结果错误，且没有向用户暴露失败信号。
指标链: 把任务结果、用户采用、团队流程和业务结果逐层连接，并注明每层的证据强度。

教学案例 · 假数据先说清任务，再比较系统应该怎样分工

编码 Agent 的质量加权完成指标

定义“24 小时内被合并、验证通过且无需人工重写的 PR / 发起高价值任务的周活用户”。

01
完成必须有 CI 与合并证据
02
按任务难度加权
03
同时看人工重写、回滚、成本和 P95 完成时间

由此得到的产品结论

指标鼓励有价值的深度任务，而不是制造更多低质量 PR。

正在载入本课完整案例、模板与标准答案…

本章依据与证据边界5 条结论 · 12 份原始材料＋

正文已经把关键来源放在相关概念旁边。这里保留完整核验清单：每条材料能支持什么、不能支持什么；不要求离开本站才能继续学习。

[1]
Anthropic 的 Agent Eval 方法支持用真实任务、重复运行和结果证据衡量 Agent 质量。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[2]
DeepSeek 招聘信息强调 Agent 产品需在更多场景、更深入地帮助更多人，并连接模型与产品反馈。
官方事实DEAI 产品经理（Agent Harness 产品方向）官方招聘 · 核验 2026-07-14
[3]
METR 在其早期 2025 年特定样本中观察到资深开源开发者使用当时 AI 工具慢 19%；该页面已标注结论时效，不能外推到所有 Agent。
独立研究MEMeasuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity论文 / 基准 · 核验 2026-07-14
[4]
Microsoft Research 汇总三项现场随机实验后报告任务完成量提高 26.08%；研究对象是代码补全助手，不等同于自主 Agent。
独立研究MIThe Effects of Generative AI on High-Skilled Work官方研究 · 核验 2026-07-14
[5]
本站的质量加权完成、指标树和 Go/No-Go 规则是产品指标教学推演。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14

查看全部一手材料与源码证据 12 条

官方方法 · 核验 2026-07-11Demystifying evals for AI agentsAnthropic

这份材料定义 Task、Trial、Grader、Transcript、Outcome、Evaluation Harness 与 Agent Harness，并强调评估 Agent 时实际评估的是模型与 Harness 的组合。它支持用多次 Trial、代码/模型/人工 Grader、Outcome 与轨迹联合评分，以及分别建设 Capability Eval 和 Regression Eval。

官方产品实现 · 核验 2026-07-11Running Codex safely at OpenAIOpenAI

这份材料展示 OpenAI 在真实内部工作流中如何组合 Sandbox、Approval、网络策略、身份凭证、规则和管理员强制配置。它也说明 Agent 原生遥测如何记录用户意图、审批、工具、MCP 与网络决策，让安全团队能够审计发生了什么以及为什么发生。

官方产品实现 · 核验 2026-07-11Tracing - OpenAI Agents SDKOpenAI Agents SDK

这份文档定义 Trace 与 Span，并说明 Agents SDK 默认记录 Agent 运行、模型生成、工具调用、Handoff、Guardrail 和自定义事件。它支持课程把轨迹观测落到可实现的数据结构，同时提醒默认 Trace 可能包含模型及工具输入输出等敏感数据，需要显式配置采集与导出策略。

厂商研究 · 核验 2026-07-14Agentic coding and persistent returns to expertiseAnthropic

这项 Anthropic 研究讨论不同经验水平开发者怎样使用 Claude Code，以及领域与工程经验为何仍会影响任务选择、监督、验证和最终产出。

证据边界：厂商研究不能单独证明所有用户、任务与组织都获得相同生产率收益。官方产品实现 · 核验 2026-07-14How we built our multi-agent research systemAnthropic

这份生产案例披露 Orchestrator-Worker、独立上下文、并行搜索、恢复与评测方法，也明确多 Agent 的高 Token 成本和对串行、强共享上下文任务的限制。

证据边界：内部研究 Eval 的提升不能证明多 Agent 对所有任务都优于单 Agent。官方岗位原文 · 核验 2026-07-14AI 产品经理（Agent Harness 产品方向）DeepSeek

官方岗位原文要求路线图、真实任务与用户反馈、模型行为判断、Vibe Coding、UI/UX、Harness 技术原理、数据研究和模型与 Harness 共同进化。

证据边界：公开 JD 不披露 DeepSeek 内部路线图、面试题、组织分工或唯一合格答案。独立研究结论 · 核验 2026-07-14Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer ProductivityMETR

该随机实验在经验丰富的开源开发者和自有成熟仓库任务中观察到早期 2025 AI 工具使完成时间增加 19%。

证据边界：研究页面已明确标注结果过时，不能外推到 2026 工具、所有开发者或非编码 Agent。独立研究结论 · 核验 2026-07-14We are Changing our Developer Productivity Experiment DesignMETR

METR 说明后续实验受到参与者和任务选择效应影响，数据只能很弱地支持晚 2025 工具带来更大加速，无法可靠估计幅度。

证据边界：原始点估计和自报体验都不足以给出当前普遍提效比例。独立研究结论 · 核验 2026-07-14The Effects of Generative AI on High-Skilled WorkMicrosoft Research

三个企业随机实验合并 4,867 名开发者后，AI 编码助手组完成任务数提高 26.08%，且较少经验开发者的采用和收益更高。

证据边界：研究对象是代码补全助手和企业任务，不等于自主 Agent 的净收益或质量提升。独立研究结论 · 核验 2026-07-14Towards a Science of Scaling Agent SystemsGoogle Research

受控实验表明多 Agent 在可分解并行任务上可能显著提升，在严格串行任务上可能下降 39%–70%，工具密集任务还会承担额外协调成本。

证据边界：论文仍受基准、模型、配置和版本限制，不能当作所有生产任务的固定公式。独立研究结论 · 核验 2026-07-14AI Agents That MatterPrinceton NLP

论文指出只追准确率会忽略成本、复现性、下游适用性、留出集和基准过拟合，并提出联合优化准确率与成本。

证据边界：该框架本身不能替代具体产品的真实用户任务、风险与商业指标。独立研究结论 · 核验 2026-07-14Establishing Best Practices for Building Rigorous Agentic BenchmarksNeurIPS

该研究系统讨论 Agent benchmark 的任务设计、污染、评分可靠性、统计报告和复现要求。

证据边界：严谨 benchmark 仍不能单独证明部署后的用户价值和组织 ROI。

下一章为什么自然发生

指标告诉我们发生了什么，却不自动证明某个方案造成了变化。下一课把访谈、离线 Eval、Dogfood 和线上灰度串成证据链。

用面试题验收

本课对应面试题

模块 5·05.2·19 min·最后更新 2026-07-14

指标：Agent 是否真的帮助了更多人

核心指标要表达有价值任务的深度完成，而不是消息数或生成字数。

正文阅读 19 min · 本课练习 2 小时

读完这一章，你应该能够

能建立用户价值到系统驱动因素的指标树
能写清分子、分母与验证条件
能同时管理成本、延迟和尾部风险

这一章要回答的问题

Agent 产品的北极星指标应该是什么？

先记住这句话
以“可验证的有效任务完成”为核心，按场景组合成功率、完成深度、人工介入、时间节省、复用、成本、延迟和风险。没有单个指标能覆盖所有 Agent。

从用户价值拆到系统驱动

系统层继续拆到工具成功、上下文命中、验证覆盖、模型调用、成本和时延。指标树让异常可以回到可行动的责任层。

分层防止简单任务抬高总分

如果新版吸引更多简单任务，总成功率可能上升，即使复杂任务退化。必须按任务难度、风险、用户熟练度、模型、Runtime 和版本做 cohort。

上线决策可以寻找质量、成本和时延的 Pareto 改善；高价值难任务也可以路由到更强策略，而不是让所有请求承担同样成本。

从个人速度走到团队与业务结果

把原理放进一次完整过程

01Product

定义质量加权的有效任务完成

02Analytics

拆分采用、复用、成功、介入和恢复

03Finance / Risk

加入成本、P95 时延、回滚和副作用

04PM

按任务难度、Runtime、用户与版本做 cohort

有术语没听懂？在这里用人话再看一遍7 个词＋

北极星指标: 最能代表目标用户持续获得核心价值的主要产品指标。
护栏指标: 防止主指标以牺牲成本、风险、质量或体验为代价增长的约束指标。
P95: 95% 样本不超过的时延或成本位置，用来观察尾部体验。
Cohort: 按用户、任务、版本或环境划分的可比较群组。
Pareto 改善: 至少一个目标改善，同时其他关键目标不明显变差。
静默错误: 系统看似完成但结果错误，且没有向用户暴露失败信号。
指标链: 把任务结果、用户采用、团队流程和业务结果逐层连接，并注明每层的证据强度。

教学案例 · 假数据先说清任务，再比较系统应该怎样分工

编码 Agent 的质量加权完成指标

定义“24 小时内被合并、验证通过且无需人工重写的 PR / 发起高价值任务的周活用户”。

01
完成必须有 CI 与合并证据
02
按任务难度加权
03
同时看人工重写、回滚、成本和 P95 完成时间

由此得到的产品结论

指标鼓励有价值的深度任务，而不是制造更多低质量 PR。

本课练习 · 含完整标准答案

Agent 指标系统包

2 小时

不用另外找题。先用下面给定的案例按模板完成，再展开标准答案逐项对照；掌握后，再把同一方法迁移到你自己的业务。

01读给定案例材料已经备齐
02复制模板作答每一栏都有填写提示
03展开标准答案对照证据与通过标准

本课给定案例 · 教学假数据

从“生成报告数”改成“可验证洞察被采用”

80 名研究员每月发起约 400 个任务。当前仪表盘只统计报告数和 token，团队无法判断报告是否有证据、是否被使用，或低质量自动化是否增加返工。

以下组织、人物、版本、业务数据、运行轨迹和实验结果均为教学假数据，不代表 DeepSeek 或任何真实企业；只有明确标为公开信号并附一手来源的内容可核验。

基线滚动 28 天：400 个 eligible 任务，240 个生成报告，168 个通过引用检查，92 个在任务开始后 14 天内进入评审材料。
质量信号：引用有效率 91%、人工大改率 34%、越权/静默错误 3 次、失败恢复率 72%、P95 完成时长 38 分钟。
单位经济：每任务中位成本 4.2 元、P95 18 元；高价值综合任务业务价值估算是简单摘要的 5 倍。
候选版本目标：提高复杂任务的稳定完成，但预计 token 增加 15%；发布必须保护隐私、成本和时延。
北极星计算补充：同一滚动 28 天窗口内，92 个进入评审的唯一洞察包中有 61 个同时满足引用校验通过且人工改写低于 30%；发起过 eligible 高价值任务的唯一活跃研究员为 64 人。

你要完成的任务

为企业内部用户研究 Agent 定义一个质量加权北极星、完整指标树、事件字典和候选版本 Go/No-Go 护栏。

标准模板

1
完整北极星定义
写出北极星的分子、分母、质量条件、价值窗口和去重规则，解释它为什么比报告数更接近用户成果。
2
用户价值—任务—系统指标树
从用户价值拆到采用、任务表现、系统驱动和成本/风险护栏，并按任务难度与用户 cohort 分层。
3
事件字典、归因窗口与排除条件
定义关键事件、必填属性、事实来源、归因窗口和排除条件，使分析师能直接落表。
4
版本上线 Go/No-Go 与护栏
给 candidate 版本写量化 Go/No-Go、灰度、回滚和告警线，说明高价值任务为什么可以接受不同成本。

做到什么程度才算完成

价值一致: 指标增长意味着用户获得更多可验证成果
不可轻易作弊: 难度、质量和外部证据进入定义
单位经济: 成本、延迟与风险都有阈值

完整标准案例与参考答案建议先写再展开＋

标准案例 · 教学假数据

从“生成报告数”改成“可验证洞察被采用”

完整北极星定义

北极星：滚动 28 天内，被纳入正式评审材料且引用校验通过、人工改写低于 30%的唯一洞察包数 / 同一 28 天窗口内发起过 eligible 高价值任务的唯一活跃研究员数；单个产物的采用归因窗口为 task_started 后 14 天。
同一 task_id 只计一次，撤回或来源失效的产物从分子扣除。题目给出的合格交集为 61、分母为 64，所以当前值为 61/64=0.95 个质量采用洞察包/活跃研究员；不能用全部 92 个进入评审的产物替代质量交集。

用户价值—任务—系统指标树

价值层看质量采用洞察包和 14 日复用；任务层看外部证据完成、三次全成功、人工大改和恢复；系统层看检索命中、Verifier 拒绝原因、工具错误与检查点恢复。
护栏看静默越权、PII 泄露、回滚、单任务成本和 P95 时长；所有指标按简单/复杂任务、新/资深用户、本地/云 Runtime 与版本分层，禁止简单摘要抬高总分。

事件字典、归因窗口与排除条件

task_started 必填 task_id、user_cohort、difficulty、model/harness/tool_version；outcome_verified 必填 evidence_count、corpus_hash、grader_version、result；insight_adopted 必填 artifact_id、review_id、adopted_at。
归因窗口为 task_started 后 14 天；测试账号不进入活跃用户分母，同一 task_id 去重。用户只要发起过 eligible 高价值任务就仍计入分母；开始处理前取消的任务不进入任务层完成率，基础设施全局故障单独标注但不静默删除，静默错误永不排除。

版本上线 Go/No-Go 与护栏

先对 10% 用户灰度 7 天；Go 要求复杂任务质量采用率提升 ≥10%、人工大改率不升、恢复率 ≥90%，同时 P95 成本增幅 ≤20%、P95 时长增幅 ≤15%。
任一 PII 泄露/越权即立即回滚；静默错误率 >0.5% 或连续两天成本护栏超线暂停放量。高价值任务可路由强策略，但必须单独证明每个额外 1 元带来可验证质量提升。

为什么这份答案达标

价值一致: 北极星分子必须同时有评审采用、引用校验和改写幅度三类外部证据，删除“模型自报完成”后仍可计算。
不可轻易作弊: 难度、质量和静默错误进入定义与分层；用大量简单摘要无法单独抬高复杂任务指标。
单位经济: Go/No-Go 同时有成本、P95 时延、恢复和零越权阈值；高价值路由也必须遵守独立预算上限。

本课自查人工介入率越低是否越好？＋

不一定。关键判断点的人工介入可能提高任务价值和安全；应区分无效救火与高杠杆协作，并结合完成质量判断。

正在载入本课完整案例、模板与标准答案…

本章依据与证据边界5 条结论 · 12 份原始材料＋

正文已经把关键来源放在相关概念旁边。这里保留完整核验清单：每条材料能支持什么、不能支持什么；不要求离开本站才能继续学习。

[1]
Anthropic 的 Agent Eval 方法支持用真实任务、重复运行和结果证据衡量 Agent 质量。
官方事实ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14
[2]
DeepSeek 招聘信息强调 Agent 产品需在更多场景、更深入地帮助更多人，并连接模型与产品反馈。
官方事实DEAI 产品经理（Agent Harness 产品方向）官方招聘 · 核验 2026-07-14
[3]
METR 在其早期 2025 年特定样本中观察到资深开源开发者使用当时 AI 工具慢 19%；该页面已标注结论时效，不能外推到所有 Agent。
独立研究MEMeasuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity论文 / 基准 · 核验 2026-07-14
[4]
Microsoft Research 汇总三项现场随机实验后报告任务完成量提高 26.08%；研究对象是代码补全助手，不等同于自主 Agent。
独立研究MIThe Effects of Generative AI on High-Skilled Work官方研究 · 核验 2026-07-14
[5]
本站的质量加权完成、指标树和 Go/No-Go 规则是产品指标教学推演。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14