失败分类:从“它不行”到可修复问题
将失败归为目标理解、上下文、计划、工具、权限、验证、交付等类型,才能找到责任层。
- 能找到 Agent 轨迹的首次偏离点
- 能按责任层与严重度分类失败
- 能把真实失败转成回归任务
用户说“Agent 很蠢”,产品经理下一步该做什么?
最终结果错误只是症状。Agent 可能一开始就理解错目标,也可能读取旧资料、选错工具、参数失败、越过权限、缺少验证,或者完成了任务却让用户无法复核。
诊断从保存完整任务和轨迹开始,沿事件找到首次偏离点,再判断该偏离属于目标、上下文、计划、工具、权限、验证、交付或环境。
先记住这句话保存可复现任务和完整轨迹,把失败定位到首次偏离点。最终答案错误可能源于早期读取错文件,而工具报错也可能是参数文档不清。
结果、过程和体验三层失败
结果失败回答任务是否完成;过程失败检查路径是否合规、有效和可恢复;体验失败检查用户是否理解状态、拥有控制权并能验收。一个结果正确但越权发送的任务仍然失败。
失败标签必须有证据和严重度。高频小绕路与低频数据泄露不能只按数量排序。
分类必须连接 Owner 与回归任务
上下文遗漏可能由检索 Owner 修复,工具参数模糊由工具 Owner 修复,客户端把 failed 显示成 completed 由协议或前端 Owner 修复。每类问题要有可观察信号和最小复现。
修复完成后,把失败样本加入回归检查。只有同一任务不再复现,问题才从“解释过”变成“被控制”。
从最终症状逆推通常会误诊。可靠的方法是沿“意图—上下文—计划—工具—权限—验证—交付”重放轨迹,找到第一次与理想路径分叉的位置,再评估影响、责任层和恢复。
固定任务、版本、环境并重放完整 Transcript
标记首次偏离点与后续连锁影响
按严重度、频率、可检测、可恢复和责任层分类
修复后把样本加入回归检查
有术语没听懂?在这里用人话再看一遍5 个词+
- 失败分类
- 用稳定类别描述失败发生在哪个任务阶段与责任层。
- 症状
- 用户最终看到的问题,不一定等于真正根因。
- 根因
- 最早导致后续错误、且能够通过具体修复控制的机制问题。
- 严重度
- 综合影响范围、可逆性、数据敏感度和用户伤害的优先级。
- 回归任务
- 未来版本必须重复运行、用来防止同类问题再次出现的固定样本。
批量调价用了过期汇率规则
Agent 成功修改 20 个商品并通过页面 Smoke Test,但业务结果错误。
- 01
最终症状是价格错误
- 02
首次偏离是 Context 选中旧汇率文档
- 03
验证只检查页面可用,没有检查业务不变量
修复同时覆盖来源时效、业务断言和回归任务,而不是只改 Prompt。
本章依据与证据边界3 条结论 · 10 份原始材料+
正文已经把关键来源放在相关概念旁边。这里保留完整核验清单:每条材料能支持什么、不能支持什么;不要求离开本站才能继续学习。
- [1]
Anthropic 的可信 Agent 指南强调从真实行动、失败与环境反馈建立可观察、可改进的质量证据。
官方事实ANTrustworthy agents in practice官方研究 · 核验 2026-07-14 - [2]
Anthropic 的可信 Agent 研究讨论现实部署中的错误、控制和风险。
官方事实ANTrustworthy agents in practice官方研究 · 核验 2026-07-14 - [3]
本站八类失败与 Owner 路由表是产品诊断框架,不是 Anthropic 发布的固定分类法。
本站推演ANTrustworthy agents in practice官方研究 · 核验 2026-07-14
查看全部一手材料与源码证据 10 条
这份文档说明 Claude Code 如何以 allow、ask、deny 规则和不同 Permission Mode 控制工具、命令、路径与外部访问,并明确 deny 优先于 ask 和 allow。它也说明权限由客户端执行而不是依赖模型遵守,以及权限、Hook、工作目录与 Sandbox 如何组合形成纵深防御。
官方产品实现 · 核验 2026-07-11SandboxingAnthropic这份文档界定了 Claude Code Sandbox 对 Bash 命令及其子进程施加的文件系统和网络边界,并区分自动允许与常规审批模式。它同时明确 Read、Edit、Write 等内置文件工具仍由权限系统控制,Sandbox 不是覆盖所有工具和桌面操作的通用隔离层。
官方产品实现 · 核验 2026-07-11Automate actions with hooksAnthropic这份指南以格式化、阻断危险命令、权限处理、通知和上下文注入等例子说明 Hook 适合确定生命周期事件上的自动化。它支持产品经理把必须执行的治理规则从概率性 Prompt 中移出,并理解多个匹配 Hook 并行执行时的合并与副作用风险。
官方产品实现 · 核验 2026-07-11Hooks referenceAnthropic这份参考文档定义 Session、Prompt、Tool、Permission、Subagent、Compaction 等 Hook 事件及其输入输出协议。它还区分 command、HTTP、MCP tool、prompt 与 agent handler,并说明异步 Hook、阻断决策、超时和 Subagent Hook 的具体限制。
官方产品实现 · 核验 2026-07-11Running Codex safely at OpenAIOpenAI这份材料展示 OpenAI 在真实内部工作流中如何组合 Sandbox、Approval、网络策略、身份凭证、规则和管理员强制配置。它也说明 Agent 原生遥测如何记录用户意图、审批、工具、MCP 与网络决策,让安全团队能够审计发生了什么以及为什么发生。
官方产品实现 · 核验 2026-07-11Tracing - OpenAI Agents SDKOpenAI Agents SDK这份文档定义 Trace 与 Span,并说明 Agents SDK 默认记录 Agent 运行、模型生成、工具调用、Handoff、Guardrail 和自定义事件。它支持课程把轨迹观测落到可实现的数据结构,同时提醒默认 Trace 可能包含模型及工具输入输出等敏感数据,需要显式配置采集与导出策略。
固定提交源码 · 核验 2026-07-11Hermes Agent conversation loopNous Research这段固定提交源码展示 Hermes 如何检查工具名、修复参数、限制委派数量、去重调用、执行工具,并把结果写回消息历史。它直接证明生产级 Agent Loop 在模型输出与真实动作之间还需要确定性处理。
固定提交源码 · 核验 2026-07-14Hermes Agent turn finalizationNous Research这段固定提交源码定义 Turn 结束时的预算与完成判定,并把轨迹保存、资源清理、会话持久化和清理错误纳入统一关账。它支持课程把 completed 视为需要系统证据与退出处理的状态,而不是模型的一句话。
协议规范 · 核验 2026-07-14MCP Security Best PracticesModel Context Protocol官方安全指南覆盖 confused deputy、token passthrough、SSRF、session hijacking、最小 scope、用户同意和本地 Server 信任。
证据边界:遵循清单不能消除 Prompt Injection、实现漏洞或第三方供应链风险。官方产品实现 · 核验 2026-07-14Hermes Agent Context Compression and CachingNous Research当前文档公开工具结果裁剪、头尾保护、结构化摘要、重压缩和缓存策略,并说明摘要模型窗口不足时中段上下文可能在无摘要情况下被丢弃。
证据边界:Compaction 不能保证信息无损,也不是长期 Memory。