Claude Code、Codex 与开源 Agent：看实现，不看功能表
真正的差异存在于默认上下文、控制权节奏、失败可见性和任务交付方式。
- 能建立黑盒复合产品对测协议
- 能区分结果、过程与体验
- 能写有条件、可证伪的竞品结论
Claude Code 和 Codex 都会改代码，产品经理还应该比较什么？
比较 Claude Code 与 Codex 不能只勾选“是否支持终端、MCP、记忆、Subagent”。同名能力可能有不同默认范围、权限节奏、状态模型和交付方式。功能存在是门槛，端到端任务体验才是产品。
具体产品持续更新，因此每条事实必须写核验日期和官方来源。黑盒体验得到的是 Model、Harness、Runtime 与客户端共同产生的复合结果，不能轻易归因成单纯模型能力。
本课同时使用 Claude Code、Codex 与开源 Hermes Agent 作为代表性案例。前两者帮助理解成熟产品体验，Hermes 的固定提交源码让我们看到主循环、上下文压缩、工具运行时、异步委派和最终关账怎样落到代码；三者都不能被写成所有 Agent 的统一行业架构。
先记住这句话用同一个任务与环境观察：启动成本、计划方式、读取范围、权限节奏、Diff 体验、测试验证、长任务恢复、记忆和扩展生态。功能存在只是门槛，完整任务体验才是产品。
先建立产品分层地图
对每个产品分别记录入口、模型选择、运行位置、默认上下文、工具与扩展、权限、记忆、线程状态、失败恢复和最终交付。先把官方事实与实际观察分开，再写推断。
例如 Claude Code 官方文档可以支持其具体功能与配置事实，Codex 官方文档可以支持 Codex 的产品入口与能力事实；对内部未公开调度策略，只能描述观察，不能伪装成架构事实。
用两类任务而不是一个 Demo
第一类选择窄而确定的修复任务，观察启动成本、工具选择、Diff、测试和完成证据；第二类选择跨文件、长时间任务，观察计划、上下文、审批、恢复和最终交接。每个任务至少运行三次。
输入、仓库版本、权限和完成标准尽量一致。无法固定模型、云端资源或隐藏策略时，在报告限制中明确说明。
把“感觉更顺”拆成事件
首次有效行动时间、无效读取、审批次数、用户纠偏、重复工具、失败恢复步骤、测试证据和交付复核时间，都比“聪明、稳、丝滑”更可比较。
一个产品可能首次成功率更高，另一个可能在失败后更容易恢复。结论要绑定目标用户、任务风险和可接受成本，而不是压成一个总分。
用 Hermes 源码看见文档背后的真实取舍
Hermes Agent 把核心保持为“窄腰”，优先通过 Skill、Plugin 和 MCP 增加能力，因为每个常驻核心工具都会增加 Schema、Token 和选择成本。它的主循环还处理工具参数修复、有限重试、上下文压缩、停止验证和 Finalizer 关账——这些都说明 Harness 不是一条简单 while loop。
当前固定提交里，顶层委派已经采用异步完成队列，而部分旧文档仍描述为同步。这种漂移本身就是重要产品课：研究实现时应固定 commit，并采用“同 commit 源码 > 同 commit 文档 > README/产品宣传”的证据层级。
把 Hermes 的五个概念拆开，别被“自我进化”带走
SOUL 或 instructions 负责身份与行为偏好；有容量上限的 Memory 保存少量跨会话事实；Session History 保存完整工作记录；Session Search 用 SQLite FTS5 找历史原话；Compaction 压缩当前上下文；Skills 保存可复用方法。它们互相协作，但不是同一种记忆。
因此，“self-improving”首先是一项产品主张。可核验的机制是：系统复盘会话、写入 Memory、更新或创建 Skill，并在后续任务中读取；这不等于模型权重在本地自动训练。可写 Memory 与 Skill 还会扩大持久化风险，需要容量、来源、审批、Diff 与审计。
事实、观察和推断必须分栏
研究从六步开始：把问题拆成可证伪结论；按官方合同、设计说明、固定源码、独立研究和社区线索分级；固定版本或 commit；做同任务多次 Trial；主动寻找反证；最后标注核验日期与适用范围。
官方文档回答承诺，固定源码回答一个版本的实现，任务记录回答特定环境发生了什么，推断才尝试解释原因。Hermes 的迭代预算、Codex 的 Thread/Turn/Item、Claude Code 的 Hook 与权限语义都属于具体实现，不能被写成行业统一标准。
比较 Agent 产品要从 JTBD 与目标用户开始。统一环境后进行多次 Trial，保存轨迹并按结果、过程、体验评分；模型、Harness、Runtime 和 Client 的归因必须保持谦逊。
选择三类真实任务与两档难度
每题多次运行并记录版本、权限与环境
分别评分完成、恢复、成本、控制与交付
连接目标用户与任务权重
有术语没听懂？在这里用人话再看一遍6 个词＋
- 产品分层地图
- 按 Model、Harness、Runtime、Client 与 User 责任记录一个 Agent 产品的公开事实和观察。
- 复合结果
- 多个系统层共同作用产生的最终任务表现，不能直接归因给单一模型。
- 核验日期
- 说明易变化的产品事实在哪一天由哪个官方来源确认。
- 观察
- 在固定任务中真实记录到的行为，不等同于对内部原因的证明。
- 推断
- 根据事实和观察提出、仍可被新证据推翻的原因解释。
- 证据边界
- 明确一条材料能支持哪种结论，以及哪些内部机制、长期可靠性或业务收益仍未被证明。
三类任务 × 两档难度 × 五次运行
陌生仓库 Bug、跨文件重构、从需求实现小功能，每个产品共 30 次运行。
- 01
固定 commit、测试和权限
- 02
保存人工纠偏与失败恢复
- 03
结论允许不同维度胜者不同
报告说明“谁在什么任务、对什么用户更合适”，而不是制造排行榜。
本章依据与证据边界6 条结论 · 10 份原始材料＋
正文已经把关键来源放在相关概念旁边。这里保留完整核验清单：每条材料能支持什么、不能支持什么；不要求离开本站才能继续学习。
- [1]
Anthropic 官方文档用于支持 Claude Code 当前公开能力与使用方式；这些是 Claude Code 产品事实。
官方事实ANHow Claude Code works官方文档 · 核验 2026-07-14 - [2]
OpenAI Codex 官方文档用于支持 Codex 当前公开能力与使用方式；这些是 Codex 产品事实。
官方事实OPCodex CLI documentation官方文档 · 核验 2026-07-14 - [3]
OpenAI App Server 文章公开了 Codex Thread、Turn、Item 与多客户端 Harness 接口案例。
官方事实OPUnlocking the Codex harness: App Server官方工程文章 · 核验 2026-07-14 - [4]
Nous Research 的固定提交源码用于核对 Hermes 的窄腰核心、扩展策略与当前实现；仓库自述不被当作独立行业结论。
固定源码观察NOHermes Agent repository architecture (fixed commit)官方源码 · 核验 2026-07-14 - [5]
Hermes 当前文档把有界 Memory、SQLite FTS5 Session Search 与完整会话历史分开；这支持机制区分，不支持“模型权重持续学习”的说法。
官方事实NOHermes Agent sessions官方源码 · 核验 2026-07-14 - [6]
本站两类任务、证据分级、固定版本、多次 Trial、反证和适用范围六步法，吸收了公开 Agent 基准对任务、评分、复现与外部有效性的审计要求。
独立研究ZHEstablishing Best Practices for Building Rigorous Agentic Benchmarks论文 / 基准 · 核验 2026-07-14
查看全部一手材料与源码证据 10 条
这份材料逐步解释 Codex Harness 如何组装 instructions、tools 与 input，通过 Responses API 在一次 Turn 内循环完成模型推理和工具调用。它还说明对话增长、上下文窗口、Prompt Caching 与 Compaction 为什么属于 Harness 的核心工程责任。
固定提交源码 · 核验 2026-07-11Hermes Agent repository and architecture guidanceNous Research这份固定提交的仓库说明展示 Hermes Agent 如何用同一个窄腰核心服务 CLI、TUI、桌面与消息入口，并优先通过 Skills、Plugins 与 MCP 扩展。它还把 Prompt Cache、核心工具数量和扩展 Footprint 当成真实架构约束，说明工具越多并不自动更强。
固定提交源码 · 核验 2026-07-11Hermes Agent conversation loopNous Research这段固定提交源码展示 Hermes 如何检查工具名、修复参数、限制委派数量、去重调用、执行工具，并把结果写回消息历史。它直接证明生产级 Agent Loop 在模型输出与真实动作之间还需要确定性处理。
固定提交源码 · 核验 2026-07-11Hermes Agent async delegation and turn finalizationNous Research这段源码说明后台 Subagent 的完成结果进入共享队列，并在 Agent 空闲时形成新的 Turn，而不是插进正在进行的工具序列；这样可以保持消息角色顺序与 Prompt Cache 稳定。这是 Hermes 的实现选择，不是行业统一协议。
厂商研究 · 核验 2026-07-14Agentic coding and persistent returns to expertiseAnthropic这项 Anthropic 研究讨论不同经验水平开发者怎样使用 Claude Code，以及领域与工程经验为何仍会影响任务选择、监督、验证和最终产出。
证据边界：厂商研究不能单独证明所有用户、任务与组织都获得相同生产率收益。官方产品实现 · 核验 2026-07-14Hermes Agent Persistent MemoryNous Research当前文档说明 Hermes 使用有字符上限的 MEMORY.md 与 USER.md、会话开始时冻结注入、写入审批、安全扫描，以及基于 FTS5 的 Session Search。
证据边界：可写 Memory 不等于事实正确、无限记忆、向量 RAG 或模型权重更新。官方产品实现 · 核验 2026-07-14Hermes Agent Skills SystemNous Research当前文档说明 Agent 可以创建、修改和删除 Skill，并通过 write_approval 将更改暂存供人工检查；Skill 被定义为按需加载的程序性记忆。
证据边界：Skill 自修改不等于方法必然改进，也不等于模型参数学习。独立研究结论 · 核验 2026-07-14Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer ProductivityMETR该随机实验在经验丰富的开源开发者和自有成熟仓库任务中观察到早期 2025 AI 工具使完成时间增加 19%。
证据边界：研究页面已明确标注结果过时，不能外推到 2026 工具、所有开发者或非编码 Agent。独立研究结论 · 核验 2026-07-14The Effects of Generative AI on High-Skilled WorkMicrosoft Research三个企业随机实验合并 4,867 名开发者后，AI 编码助手组完成任务数提高 26.08%，且较少经验开发者的采用和收益更高。
证据边界：研究对象是代码补全助手和企业任务，不等于自主 Agent 的净收益或质量提升。一线课程案例 · 核验 2026-07-14Free Claude Code CourseFrontend Masters课程由 Claude Code 团队成员 Lydia Hallie 授课，覆盖 CLAUDE.md、权限、Skills、Hooks、Subagents、Plugins、MCP 和 Desktop 的操作语境。
证据边界：讲师身份与演示成功不等于 Anthropic 官方产品合同或普遍架构结论。本课对应面试题
离开这个模块之前，先自己回答这 4 个问题。
不打分、不记录。答不上来就点回那一课；能用自己的话讲清楚，再进入下一模块。已标记已读 0/4。
03.1为什么 Thread 不能只存在浏览器内存？＋
长任务可能在标签页关闭、网络中断后继续。若客户端是事实源，重连无法恢复完整状态，甚至会重复执行外部动作。
03.2Web 能看到本地任务进度，是否意味着 Web 获得了本地文件权限？＋
不一定。客户端可以读取服务端同步的任务事件；本地文件与凭证仍可只存在本地 Runtime。
03.3三个 Agent 给出相同结论，可信度是否自然提高三倍？＋
不会。它们可能共享同一错误上下文或互相锚定。真正独立的上下文、角色、证据和审查流程才可能提高可信度。
03.4黑盒产品对测为什么不应直接宣布某个模型更强？＋
观察到的是模型、Harness、工具、Runtime 和 Client 的组合表现；除非能控制其他变量，否则只能做复合产品层结论。