亲手跑四条 Agent 路径
网页里已经放好十份访谈的教学材料。先猜这次任务会怎样结束,再点击运行,对照每一步和最后保存的文件。
你会依次看到四种结果:草稿正常保存;原始访谈被保护;文件路径错误后重新找到材料;一次读入太多材料时主动停下。
每次只改一个开关,再看任务从哪一步开始变化。四条路径跑完后,你会知道系统如何把“应该这样做”变成真的边界。
先预测结果,再切换一个条件并运行。观察系统是否真的改了文件、在哪一步停下,以及验收为什么变红或变绿。
先跑正常完成:草稿真的被保存了吗
任务先读取研究摘要,经用户批准后写入 drafts/insights.md,再回读验证。把写入策略改成“直接放行”,文件仍可能正确,但审批检查会变红。
这一幕说明结果和过程都要检查:文件写对,不代表写入方式合规。
官方事实查看这一结论的依据与边界+
OpenAI 对 Codex Agent Loop 的公开说明支持模型请求、工具结果回填与循环这一基本机制。
OPUnrolling the Codex agent loop官方工程文章 · 核验 2026-07-14再跑权限拒绝:原始访谈不能被改
任务要求改写 interviews/original/01.md。原文保护开启时,系统在写入前直接拒绝,文件内容保持不变,也不会把底线变成一个容易误点的审批弹窗。
关闭保护并批准后,文件真的被改,验收立刻飘红。比较前后两次记录,就能找到权限规则真正生效的位置。
官方事实查看这一结论的依据与边界+
OpenAI 的 Codex 安全实践支持把沙箱、审批、网络策略和审计作为 Harness 责任。
OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14观察工具失败:换路径恢复,但不能编造
第一条读取路径不存在,系统记录结构化失败;模型改用搜索找到 interviews/03.md,再读取真实片段。最终引用必须来自实际命中的路径。
失败不是异常页面的同义词。只要错误可观察、有替代路径且最终证据成立,任务仍可诚实完成。
官方事实查看这一结论的依据与边界+
Anthropic 的 Agent Eval 方法区分 Task、Trial、Transcript、Outcome、Grader 与 Evaluation Harness。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14最后看上下文超限:来不及可靠判断就停下
一次读入的材料超过容量时,系统会在继续判断前停下,并明确记录“材料过多”。它不会让模型拿着残缺信息硬写结论。
提高容量后任务可能完成,但原来的“材料过多时必须停下”就不再适用。系统边界改变时,验收规则也要一起更新。
固定源码观察查看这一结论的依据与边界+
Hermes 固定提交源码展示工具调用在执行前还要经过名称、参数与重复调用处理,执行结果再被写回会话。
NOHermes Agent tool loop (fixed commit)官方源码 · 核验 2026-07-14有术语没听懂?在这里用人话再看一遍3 个词+
- Policy
- 根据动作、资源、风险和用户授权输出 allow、ask 或 deny 的规则层。
- Transcript
- 按顺序记录模型请求、工具、审批、Observation 和终态的事件历史。
- Outcome Verifier
- 独立检查文件、测试或外部状态,判断任务是否真的完成。
可选深挖想核对实现?下载代码包+
代码包用于核对网页实验背后的实现;不下载也能完成本课。
下载代码包本章依据与证据边界2 条补充结论 · 10 份原始材料+
下面补充本章的其他依据,并说明每份材料能证明什么、不能证明什么。
- [5]
网页实验台、事件名、四个十份访谈场景与可下载实现均为本站教学假数据,不是上述机构的官方脚手架。
本站推演ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14 - [6]
Hermes 固定提交的 Turn Finalizer 展示预算耗尽、完成判定、轨迹保存、资源清理与会话持久化等生产责任;本课只用浏览器假数据演示其中的产品含义。
固定源码观察NOHermes Agent turn finalizer (fixed commit)官方源码 · 核验 2026-07-14
查看全部一手材料与源码证据 10 条
这份材料区分了由预定义代码路径控制的 Workflow 与由模型动态控制过程的 Agent,并强调先采用能工作的最简单方案。它还给出 Prompt Chaining、Routing、Parallelization、Orchestrator-Workers、Evaluator-Optimizer 等组合模式,以及何时值得承担 Agent 的延迟、成本和复合错误。
证据边界:官方经验与自测不能单独证明普遍收益,结论不得越过其样本、版本和适用范围。官方方法 · 核验 2026-07-23Writing effective tools for AI agents - with AI agentsAnthropic这份材料把工具定义为确定性系统与非确定性 Agent 之间的合同,说明工具名称、参数、描述、错误反馈和返回内容都会改变模型行为。它支持用真实任务和留出集评测工具,并强调更少重叠、边界清晰、返回高信号且 Token 高效的工具通常更可靠。
证据边界:官方经验与自测不能单独证明普遍收益,结论不得越过其样本、版本和适用范围。官方方法 · 核验 2026-07-23Demystifying evals for AI agentsAnthropic这份材料定义 Task、Trial、Grader、Transcript、Outcome、Evaluation Harness 与 Agent Harness,并强调评估 Agent 时实际评估的是模型与 Harness 的组合。它支持用多次 Trial、代码/模型/人工 Grader、Outcome 与轨迹联合评分,以及分别建设 Capability Eval 和 Regression Eval。
证据边界:官方经验与自测不能单独证明普遍收益,结论不得越过其样本、版本和适用范围。官方方法 · 核验 2026-07-23A practical guide to building agentsOpenAI这份指南面向产品与工程团队,给出 Agent 使用场景判断、Model/Tools/Instructions 基础结构、单 Agent 与多 Agent 编排和 Guardrail 设计。它支持从复杂决策、难维护规则和非结构化信息出发选择场景,并强调先强化单 Agent、从小范围真实用户验证开始。
证据边界:官方经验与自测不能单独证明普遍收益,结论不得越过其样本、版本和适用范围。官方产品实现 · 核验 2026-07-23Unrolling the Codex agent loopOpenAI这份材料逐步解释 Codex Harness 如何组装 instructions、tools 与 input,通过 Responses API 在一次 Turn 内循环完成模型推理和工具调用。它还说明对话增长、上下文窗口、Prompt Caching 与 Compaction 为什么属于 Harness 的核心工程责任。
证据边界:官方文档不能单独证明未公开内部实现、长期可靠性或真实用户收益。官方产品实现 · 核验 2026-07-23Running Codex safely at OpenAIOpenAI这份材料展示 OpenAI 在真实内部工作流中如何组合 Sandbox、Approval、网络策略、身份凭证、规则和管理员强制配置。它也说明 Agent 原生遥测如何记录用户意图、审批、工具、MCP 与网络决策,让安全团队能够审计发生了什么以及为什么发生。
证据边界:官方文档不能单独证明未公开内部实现、长期可靠性或真实用户收益。固定提交源码 · 核验 2026-07-23Hermes Agent tool-call validation and recoveryNous Research这段固定提交源码展示 Hermes 如何检查工具名和 JSON 参数、限制委派数量、去重调用,并用结构化工具结果把可恢复错误送回下一轮。它直接证明生产级 Agent Loop 在模型输出与真实动作之间还需要确定性处理。
证据边界:固定提交只能证明该版本的公开实现,不能代表现行私有产品、真实任务质量或行业统一架构。固定提交源码 · 核验 2026-07-23Hermes Agent tool execution and guardrail handoffNous Research这段固定提交源码先持久化工具调用,再交给执行器产生真实副作用;若工具 Guardrail 阻断,则写入明确的受控终止原因。它证明工具执行、恢复与用户可见状态需要由 Harness 收口。
证据边界:固定提交只能证明该版本的公开实现,不能代表现行私有产品、真实任务质量或行业统一架构。固定提交源码 · 核验 2026-07-23Hermes Agent budget, completion and cleanup finalizationNous Research这段固定提交源码定义 Turn 结束时的预算耗尽、回退与完成判定,并把轨迹保存、资源清理和清理错误纳入统一关账。它支持课程把 completed 视为需要系统证据与退出处理的状态,而不是模型的一句话。
证据边界:固定提交只能证明该版本的公开实现,不能代表现行私有产品、真实任务质量或行业统一架构。固定提交源码 · 核验 2026-07-23Hermes Agent durable session finalizationNous Research这段固定提交源码在 Turn 结束时修复未闭合的工具消息序列,并把最终消息和会话状态持久化;持久化失败会作为清理错误保留,而不是静默伪装成完整成功。
证据边界:固定提交只能证明该版本的公开实现,不能代表现行私有产品、真实任务质量或行业统一架构。