Agent PM 面试题与参考回答
共 51 道核心题型,按七个考察方向分组,答案默认隐藏;每题标注对应课程,展开后查看回答框架、追问、失分点与事实来源。
系统架构
考察你能否把 Agent 讲成一个分层系统,而不是一个聪明的聊天框。
Q01系统架构 · 基础 · 对应 01.1什么是 Agent Harness?
+
什么是 Agent Harness?
Harness 是模型与真实环境之间的运行与产品系统:它组装上下文、驱动 Agent Loop、执行工具、管理权限和状态,并把过程与结果交付给用户。
- 模型决定下一步内容或动作;Harness 让动作可执行、连续且受控。
- 完整 Harness 通常还包含线程持久化、认证配置、扩展、事件协议和失败恢复。
- 评价 Harness 要看任务成功、可控性、成本与体验,而不只看模型输出。
如果模型升级了,Harness 还需要改吗?
只说“套壳”或只罗列 Prompt、工具,忽略状态、权限和交付。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPUnlocking the Codex harness: App Server官方工程文章 · 核验 2026-07-14Q02系统架构 · 基础 · 对应 00.1Agent 和 Workflow 有什么区别?
+
Agent 和 Workflow 有什么区别?
Workflow 的路径由代码预先编排;Agent 由模型根据环境反馈动态决定过程。实际产品常把两者组合:用 Workflow 固定高风险边界,用 Agent 处理开放决策。
- 区别不在是否调用多次模型,而在控制流由谁决定。
- 确定性、合规性强的环节更适合 Workflow。
- 开放探索、路径不可预知的任务更适合 Agent。
什么时候不应该做 Agent?
把所有自动化都叫 Agent,或认为 Agent 一定优于 Workflow。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANBuilding effective agents官方工程文章 · 核验 2026-07-14Q03系统架构 · 基础 · 对应 01.2请解释一次完整的 Agent Loop。
+
请解释一次完整的 Agent Loop。
Harness 组装输入并调用模型;模型返回工具请求或最终回答;若请求工具,Harness 校验权限、执行并把 Observation 加回上下文,循环直到完成、失败、超限或等待用户。
- 循环状态包括目标、历史、工具结果、预算和终止条件。
- 工具执行会改变外部环境,产物不只是一段文本。
- 产品必须处理重复调用、假完成和不可恢复错误。
怎样防止无限循环?
只背“思考—行动—观察”,没有权限、预算和终止状态。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPUnrolling the Codex agent loop官方工程文章 · 核验 2026-07-14Q04系统架构 · 进阶 · 对应 02.1Context Engineering 和 Prompt Engineering 有什么区别?
+
Context Engineering 和 Prompt Engineering 有什么区别?
Prompt Engineering 优化单次指令表达;Context Engineering 管理整个任务生命周期中哪些规则、历史、文件、工具和观察在何时进入模型输入。
- Agent 每一步都会重建上下文,质量取决于选择、组织、压缩与更新。
- 需要区分稳定规则、任务状态、外部知识和临时观察。
- 要同时处理缺失、噪声、冲突、过期和成本。
如何评估一次上下文策略?
把 Context Engineering 说成“写更长的 Prompt”。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPHarness engineering: agent-first world官方工程文章 · 核验 2026-07-14Q05系统架构 · 进阶 · 对应 01.3KV Cache 和 Agent Memory 是一回事吗?
+
KV Cache 和 Agent Memory 是一回事吗?
不是。KV Cache 是模型推理计算层对已处理序列状态的缓存;Agent Memory 是产品/Harness 层选择、持久化并在未来取回的信息。
- KV Cache 主要影响推理效率和成本。
- Memory 需要写入、检索、更新、过期、删除和来源治理。
- 二者可能都影响上下文效率,但生命周期与产品责任完全不同。
Context Window 又处在哪一层?
把所有“记住”都当作长期记忆。
支持 KV Cache 是推理层复用注意力 K/V 状态、减少重复计算的技术事实。
HUCaching · Transformers官方文档 · 核验 2026-07-14支持 Agent 产品会选择、持久化、加载和治理跨任务规则与记忆。
ANManage Claude's memory官方文档 · 核验 2026-07-14支持 Context Window、Prompt Caching 与 Harness 上下文管理属于不同责任。
OPUnrolling the Codex agent loop官方工程文章 · 核验 2026-07-14Q06系统架构 · 基础 · 对应 02.5Skills、MCP、Hooks 分别解决什么问题?
+
Skills、MCP、Hooks 分别解决什么问题?
Skill 封装怎么做;MCP 标准化连接什么外部能力;Hook 保证在某个事件点确定性执行什么规则。
- Skill 适合可复用方法、参考资料和脚本。
- MCP 通过 Host—Client—Server 连接 Tools、Resources、Prompts。
- Hook 适合审计、检查、格式化等必须触发的动作。
给一个三者组合使用的例子。
回答成三个同义的插件系统。
支持 Skill 以按需加载的说明、资料和脚本封装可复用做事方法。
ANExtend Claude with skills官方文档 · 核验 2026-07-14支持 MCP 的 Host—Client—Server 与 Tools、Resources、Prompts 连接模型和外部系统。
MOMCP architecture overview官方文档 · 核验 2026-07-14支持 Hook 在确定生命周期事件触发脚本或治理动作。
ANAutomate workflows with hooks官方文档 · 核验 2026-07-14Q07系统架构 · 进阶 · 对应 03.1为什么 Agent 客户端需要双向协议?
+
为什么 Agent 客户端需要双向协议?
因为不仅客户端会发任务,服务端也会在 Turn 中主动请求审批或补充输入,并持续推送工具、Diff 和进度事件。
- 一次用户请求会产生多个异步 Item。
- 审批会暂停 Turn,等待客户端响应。
- 双向事件让 CLI、IDE、桌面和 Web 复用同一 Harness。
断线重连后如何恢复一致状态?
把 Agent 当成普通 HTTP 问答接口。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPUnlocking the Codex harness: App Server官方工程文章 · 核验 2026-07-14Q08系统架构 · 进阶 · 对应 02.5何时应该使用 Subagent?
+
何时应该使用 Subagent?
当子任务相互独立、上下文可以隔离、输出契约清晰且并行收益大于协调成本时。
- 适合并行研究、独立审查和不同专长任务。
- 不适合频繁共享可变状态或强顺序依赖。
- 要衡量总成本、墙钟时间、冲突率和汇总质量。
主 Agent 应该如何解决子 Agent 结论冲突?
认为 Agent 越多效果必然越好。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANCreate custom subagents官方文档 · 核验 2026-07-14Q45系统架构 · 进阶 · 对应 03.4如何验证一个 Agent 宣称的“自我进化”不是营销话术?
+
如何验证一个 Agent 宣称的“自我进化”不是营销话术?
先把主张拆成可观察机制:它是否复盘 Session、写入有来源的 Memory、修改可审计的 Skill,并在后续固定任务中带来可重复收益;同时检查审批、版本、回滚和副作用。除非存在训练流程与权重证据,不能把这些 Harness 更新说成模型权重自我训练。
- 记录更新前后同一任务、同一模型与同一环境的多次 Trial,避免把随机成功当进化。
- 检查保存了什么、谁能修改、何时加载、怎样撤销,以及错误记忆会不会跨任务放大。
- 把产品主张、公开机制、源码观察与实验结论分栏,不能互相代替。
若后续表现变好,但无法定位是哪条 Memory 或 Skill 造成的,你会怎么处理?
把会话历史、记忆、上下文压缩和模型训练混成一个“越用越聪明”。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
NOHermes Agent sessions官方源码 · 核验 2026-07-14Q46系统架构 · 基础 · 对应 02.4Memory、Session History、Session Search、Compaction 与 Prompt Cache 有什么区别?
+
Memory、Session History、Session Search、Compaction 与 Prompt Cache 有什么区别?
Session History 是完整工作记录;Session Search 按需找过去原话;Memory 保存少量跨任务信息;Compaction 压缩当前上下文以便继续;Prompt/KV Cache 复用模型计算。它们的容量、生命周期、真实性和治理责任都不同。
- 搜索命中不等于长期记忆,压缩摘要也不是完整历史。
- Memory 需要来源、scope、更新、删除和冲突治理;Cache 不负责事实是否正确。
- 产品要说明信息何时写入、何时加载、是否可回源,以及用户如何纠正。
为什么把全部聊天历史塞进上下文不是一个可持续的 Memory 方案?
把所有带“记住”效果的机制当成同一个数据库功能。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
NOHermes Agent sessions官方源码 · 核验 2026-07-14Q47系统架构 · Case · 对应 01.1模型能力变强后,Harness 哪些部分应该变薄,哪些责任不能消失?
+
模型能力变强后,Harness 哪些部分应该变薄,哪些责任不能消失?
应通过原任务集验证并删除已经妨碍模型的过度分解、重复提示和冗余评审;但身份、凭证、权限、沙箱、状态持久化、事件、恢复、验证和审计仍是生产系统责任,不会因为模型更聪明自动消失。
- 把每段脚手架写成一个假设:它解决什么失败,升级后是否仍有净收益。
- 比较删除前后的质量、成本、时延、工具行为和风险,而不是按代码量判断。
- 开放判断可以更多交给模型,不可妥协的产品合同仍由确定性机制保证。
你会先删哪一类旧脚手架?如何证明删除没有造成回归?
回答成“模型越强,Harness 越不重要”或反过来永远保留所有旧规则。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
CLHarnessing Claude’s intelligence官方工程文章 · 核验 2026-07-14Q48系统架构 · 进阶 · 对应 03.3多 Agent 什么时候优于单 Agent?怎样估算协调成本和错误放大?
+
多 Agent 什么时候优于单 Agent?怎样估算协调成本和错误放大?
只有当上下文需要隔离、子任务真正可并行或专业化明显降低错误时才优先考虑。用相同任务比较单/多 Agent 的质量、墙钟时间、总 Token、工具冲突、汇总成本和错误传播;串行依赖强时,多 Agent 可能更差。
- 先画依赖图,标出共享状态和唯一写入者,再决定并行。
- 子 Agent 需要输入、工具、输出、预算和停止条件契约,主 Agent 负责验证与合并。
- 独立 Agent 的多数票不等于事实;共享错误上下文会制造一致但错误的结论。
如果墙钟时间下降 30%,但总 Token 增加五倍,你会采用吗?
把更多 Agent 当作能力升级,不做单 Agent 基线和协调成本实验。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
GOTowards a science of scaling agent systems官方研究 · 核验 2026-07-14产品设计
考察你能否把不确定的模型行为设计成用户可理解、可控制的产品。
Q09产品设计 · 基础 · 对应 00.1AI 时代产品经理需要新增哪些系统判断?
+
AI 时代产品经理需要新增哪些系统判断?
产品经理仍从用户问题和商业价值出发,但还要判断该用单次 AI、Workflow 还是 Agent,并把模型边界、工程边界、数据权限、评测和失败恢复写进产品。
- Agent 产品经理重点设计开放任务、环境、工具、权限与反馈回路。
- 企业流程型 AI 产品经理还要决定哪些节点保留确定性流程,哪些节点交给模型判断。
- 验收从页面和规则扩展到真实结果、执行过程、成本与风险。
Agent 产品经理与企业 AI 流程产品经理有哪些共同能力?
把 AI 产品经理缩减成会写 Prompt,或假设所有场景都应该 Agent 化。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q10产品设计 · 进阶 · 对应 00.1如何判断一个场景是否适合 Agent 化?
+
如何判断一个场景是否适合 Agent 化?
看任务是否有清晰价值和完成证据、路径是否开放、工具是否可用、错误是否可控,以及用户是否愿意托付。
- 高频不等于适合;不可验证且高风险的任务要谨慎。
- 若路径完全确定,Workflow 可能更简单可靠。
- 先做窄任务闭环,再逐步扩大自主范围。
请举一个不该 Agent 化的例子。
从技术炫酷出发,没有用户托付意愿。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANBuilding effective agents官方工程文章 · 核验 2026-07-14Q11产品设计 · 进阶 · 对应 02.3如何设计 Agent 的控制权节奏?
+
如何设计 Agent 的控制权节奏?
按动作风险、可逆性和用户意图置信度分层:低风险自动执行,中风险批量预览或阶段确认,高风险逐项审批。
- 避免每步弹窗导致确认疲劳。
- 在目标确认、重大计划变化和外部写入前提供控制点。
- 始终允许暂停、纠偏和查看影响。
如何衡量审批体验是否合理?
把控制权等同于审批弹窗数量。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14Q12产品设计 · 基础 · 对应 01.1Agent 的最终输出应该包含什么?
+
Agent 的最终输出应该包含什么?
除结果外,还应交付关键动作、验证证据、变更影响、剩余不确定性与下一步,让用户能快速验收。
- 文件修改、外部状态和任务记录都可能是主要产物。
- 根据任务类型展示 Diff、测试、来源或审计日志。
- 不要用冗长过程掩盖未完成。
什么时候应该展示详细轨迹?
只返回“已完成”,不给验证证据。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPUnlocking the Codex harness: App Server官方工程文章 · 核验 2026-07-14Q13产品设计 · 进阶 · 对应 03.1如何设计长任务体验?
+
如何设计长任务体验?
把任务拆为可验证阶段,外置状态、保存检查点,提供异步通知、预算控制、重连恢复与阶段纠偏。
- 进度应绑定里程碑产物,而不是虚假百分比。
- 中断后保留已有价值和未完成清单。
- 超预算时提供缩小范围、继续或停止。
用户离开后 Agent 遇到审批怎么办?
只加一个 Loading 页面。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPUnlocking the Codex harness: App Server官方工程文章 · 核验 2026-07-14Q14产品设计 · 进阶 · 对应 02.4怎么设计 Agent Memory 的用户体验?
+
怎么设计 Agent Memory 的用户体验?
让用户知道记住了什么、来源是什么、何时生效,并能编辑、删除和设置范围;自动写入要谨慎且可追溯。
- 区分项目规则、个人偏好、任务状态和推断信息。
- 过期与冲突需要显式处理。
- 评价记忆要看任务收益和错误放大风险。
什么信息绝对不应该默认长期记忆?
只讨论数据库结构,不讨论信任和生命周期。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANManage Claude's memory官方文档 · 核验 2026-07-14Q15产品设计 · Case · 对应 00.3为产品经理设计一个用户研究 Agent,你会先做什么?
+
为产品经理设计一个用户研究 Agent,你会先做什么?
先选一个高价值窄任务,例如“把十份访谈记录变成可回源的洞察”,定义输入、完成证据、来源引用和人工判断点,再决定工具与界面。
- 用户不是要摘要,而是要可信洞察和决策材料。
- 核心 Harness 需要文档读取、引用、主题聚类、反例搜索和可回源。
- 先内部任务集评测,再小范围真实项目灰度。
第一版你会明确不做什么?
一上来做万能研究平台。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANBuilding effective agents官方工程文章 · 核验 2026-07-14Q16产品设计 · Case · 对应 05.3如果模型能力突然显著提升,你如何调整路线图?
+
如果模型能力突然显著提升,你如何调整路线图?
先用现有真实任务集回归,识别新增能力和新失败,再判断是移除旧脚手架、扩大任务边界还是改善控制体验,而非直接堆新功能。
- 强模型可能让复杂 Prompt、重试或分解策略变成负担。
- 检查工具调用、权限、成本和长任务行为是否改变。
- 路线图应从能力机会回到用户价值和系统风险。
哪些旧功能可能应该删除?
把模型发布等同于立即上线新入口。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPHarness engineering: agent-first world官方工程文章 · 核验 2026-07-14Q38产品设计 · Case · 对应 03.2评审一个长任务 Agent 界面:它只显示“正在思考…”,你会怎么改?
+
评审一个长任务 Agent 界面:它只显示“正在思考…”,你会怎么改?
我会把黑盒等待改成可控制的任务状态:先重述目标和完成证据,再显示当前里程碑、已产生的可验收结果、阻塞与审批;用户随时能暂停、纠偏、缩小范围或恢复。过程采用渐进披露,展示动作与证据,不直接倾倒内部思维链。
- 用户在等待时最需要回答四个问题:现在做到哪、刚改变了什么、为什么停住、我能做什么。
- 进度绑定真实事件与产物,例如已读取文件、待审批动作、测试结果和 Diff,不使用无法验证的虚假百分比。
- 正常、等待输入、权限拒绝、工具失败、预算超限、断线恢复和部分完成都要有明确状态与下一步。
- 默认界面只保留目标、关键动作和证据;完整 Trace、日志与工具参数按需展开,兼顾可读性与审计。
哪些执行过程应该展示,哪些信息反而不应该直接暴露给用户?
把体验改进等同于增加动画,或把模型内部思维链当成透明度,仍不给控制权和完成证据。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPUnlocking the Codex harness: App Server官方工程文章 · 核验 2026-07-14评测数据
考察你用什么证据判断 Agent 真的变好了,而不是感觉变好了。
Q17评测数据 · 基础 · 对应 05.1Agent 应该评最终答案还是执行过程?
+
Agent 应该评最终答案还是执行过程?
两者都要。最终状态决定有没有完成,执行轨迹决定是否安全、合规、高效、可恢复。
- 开放任务可以人工评审质量,确定结果尽量自动验证。
- 轨迹检查越权、无效循环、错误工具和隐性副作用。
- 体验层还要评估透明度和用户控制。
如果结果正确但过程越权,算成功吗?
只看最终文字相似度。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q18评测数据 · 基础 · 对应 05.1如何建立第一套 Agent Eval?
+
如何建立第一套 Agent Eval?
先用 5 个高价值真实任务跑通环境重置、完成证据和评分方法,再扩到 10 个课程任务与 20 个结业任务;每题保存版本、黄金证据并重复运行建立基线。
- 任务要覆盖典型、边界和失败场景。
- 记录模型、Harness、工具与数据版本。
- 每次用户高价值失败都评估是否进入回归集。
测试集如何避免过拟合?
先追求上千条低质量数据。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q19评测数据 · 进阶 · 对应 05.2Agent 产品的北极星指标怎么定?
+
Agent 产品的北极星指标怎么定?
以特定场景中可验证的有效任务完成为核心,同时用人工介入、成本、延迟和风险作护栏。
- 不同难度任务不能直接混在一个成功率里。
- 区分尝鲜、重复使用和稳定托付。
- 指标树要连接用户价值、任务表现和系统驱动因素。
消息数为什么通常不是好指标?
只给出“DAU”或“任务成功率”一个词。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q20评测数据 · 进阶 · 对应 02.1用户反馈“Agent 不聪明”,如何归因?
+
用户反馈“Agent 不聪明”,如何归因?
获取可复现任务和完整轨迹,找到首次偏离点,再按目标理解、上下文、计划、工具、权限、验证和交付分类。
- 最终错误可能源于早期错误文件或噪声上下文。
- 比较同任务多次运行,区分随机性和稳定产品缺陷。
- 把问题路由给模型、Harness、工具或客户端 owner。
没有完整轨迹时怎么办?
直接把反馈转给模型团队。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q21评测数据 · 进阶 · 对应 01.4如何验证“展示计划能提升用户信任”?
+
如何验证“展示计划能提升用户信任”?
先访谈明确“信任”的行为表现,再离线检查能力影响,最后灰度比较高风险任务中的继续率、纠偏率、返工和完成率。
- 展示计划可能增加等待或让用户误以为计划不会变化。
- 按任务风险和复杂度分层分析。
- 结合轨迹回放解释汇总数字。
什么结果会让你放弃方案?
只发满意度问卷。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANTrustworthy agents in practice官方研究 · 核验 2026-07-14Q22评测数据 · Case · 对应 03.4如何比较 Claude Code 与 Codex?
+
如何比较 Claude Code 与 Codex?
固定模型无法做到时,至少固定任务、仓库、权限、完成标准和运行次数;分别记录成功、介入、时间、成本、恢复和交付体验,并区分模型与 Harness 差异。
- 选择真实端到端任务而非 Hello World。
- 每个任务重复运行,保留完整轨迹。
- 结论必须绑定目标用户,不能宣布绝对冠军。
模型不同导致的差异如何处理?
照着官网功能表打勾。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q37评测数据 · Case · 对应 05.1新版本任务成功率从 68% 提升到 74%,你会批准上线吗?
+
新版本任务成功率从 68% 提升到 74%,你会批准上线吗?
先不凭 6 个百分点做决定。我会确认任务、环境和版本可比,用同一任务做配对且多次 Trial,报告提升的不确定性与分场景结果;再检查安全、成本、延迟等硬门槛。只有提升既可信、对关键用户有意义、护栏也通过,才进入灰度而不是直接全量。
- 实验前写清主指标、最小有意义提升与不可妥协的 Release Gate,避免看到结果后改口径。
- Agent 有随机性:既看整体均值,也看任务级成功率、重复稳定性和失败簇,并给出结果可能波动的范围(例如置信区间)。
- 优先做同任务、同环境的配对比较,并核查 Trial 是否独立;共享缓存、脏环境或评测器变化都会制造假提升。
- 统计显著不等于产品值得上线:还要判断关键场景收益、最坏失败、成本和可回滚性,再决定灰度范围。
如果预算只允许每道任务运行一次,你会怎样提高结论可信度?
只报一个平均成功率或 p 值,不说明样本、随机性、任务分布、实际收益与安全护栏。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q42评测数据 · 进阶 · 对应 02.1Agent 成功率提升了,但 Token、延迟和成本都翻倍,你怎么判断值不值?
+
Agent 成功率提升了,但 Token、延迟和成本都翻倍,你怎么判断值不值?
把账算到“每个可验证成功任务”,而不是每次调用:按任务价值和难度比较成功率、人工节省、p50/p95 延迟、Token、工具调用与总成本。高价值难任务可以接受更高预算,低价值高频任务必须有严格上限;再用上下文裁剪、缓存、模型路由、并行和重试策略寻找不牺牲质量的改进。
- 先分层,避免一个平均值掩盖简单任务过度推理和长任务尾部失控;同时报告成功一次实际需要的 Trial 与人工介入。
- 定义单位经济:每个有效 Outcome 的推理、工具、基础设施与人工审核成本,对照用户愿付价值或内部节省。
- 逐项看 Trace 找成本驱动:重复读取、无效循环、上下文膨胀、串行工具、模型选型和失败重试需要不同解法。
- 优化不能越过质量与安全门槛;上线采用任务级预算、超限降级或人工接管,并持续监控成本漂移。
如果高价值用户愿意等,但新用户会因首轮延迟流失,你会怎样设计产品策略?
只说换便宜模型或压缩 Prompt,不看每个有效任务的价值、长尾延迟、失败重试和质量损失。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q49评测数据 · Case · 对应 05.2官方案例宣称效率显著提升时,你如何设计 ROI 证据并处理相反研究?
+
官方案例宣称效率显著提升时,你如何设计 ROI 证据并处理相反研究?
先把厂商数字当待验证假设,固定目标用户、任务、版本与基线;同时测完成质量、返工、人工介入、周期、成本和风险,并做分层与长期观察。相反研究不用于否定一切,而用于检查样本、工具、任务和选择偏差,决定结论能外推多远。
- 从单任务结果连接到用户采用、团队队列和业务结果,越往后越需要因果设计。
- 保留失败者、未采用者和被排除样本,避免只统计成功案例。
- 预先写下什么结果会削弱或推翻假设,并公开结论时效和不确定性。
METR 与 Microsoft 的研究方向不同,你会怎样向管理层解释而不简单选边?
直接引用“10x”或一个平均百分比,没有任务、样本、基线、成本和反证边界。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
MEMeasuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity论文 / 基准 · 核验 2026-07-14安全可靠
考察你如何为失败、越权和不可接受的后果预先设防。
Q23安全可靠 · 基础 · 对应 00.2什么是最小权限原则?
+
什么是最小权限原则?
Agent 默认只获得完成当前任务所需的最小资源和动作权限,随着明确需要与用户授权再逐步扩大。
- 读取、内部修改、外部写入和不可逆动作应分级。
- 权限范围要具体到目录、工具、参数或时间。
- 任务结束后应回收临时授权。
最小权限会不会伤害体验?
把最小权限理解为所有动作都弹窗。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANTrustworthy agents in practice官方研究 · 核验 2026-07-14Q24安全可靠 · 进阶 · 对应 02.3怎样避免审批疲劳?
+
怎样避免审批疲劳?
合并同类低风险动作、记住有范围的授权、突出真正高风险节点,并用具体影响说明请求。
- 默认策略应基于可逆性、外部影响和数据敏感度。
- 允许用户选择一次、本次任务或固定范围。
- 监控无脑批准率和审批后撤销率。
哪些动作不能批量授权?
认为多弹窗天然更安全。
支持自主性需要与人类控制、风险和现实部署边界组合设计。
ANTrustworthy agents in practice官方研究 · 核验 2026-07-14支持按动作与环境组合 Sandbox、Approval、网络和审计,而非无差别弹窗。
OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14Q25安全可靠 · 进阶 · 对应 01.2如何处理工具失败?
+
如何处理工具失败?
把错误结构化返回 Agent,区分可重试、需换路径、需用户输入和不可恢复;限制重试并保留已有产物。
- 工具错误应包含类型、影响范围和可行动建议。
- 幂等动作才能安全自动重试。
- 连续失败要停止循环并清晰交付当前状态。
重试策略如何设计?
无限重试或只显示“未知错误”。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANBuilding effective agents官方工程文章 · 核验 2026-07-14Q26安全可靠 · 进阶 · 对应 02.1怎样防范 Prompt Injection?
+
怎样防范 Prompt Injection?
将外部内容视为不可信数据,隔离指令与资料,限制工具权限,对敏感动作要求明确授权,并检测内容试图改变系统目标。
- 从网页、邮件、文档读取的文字不能自动成为高优先级指令。
- 减少向工具和 MCP Server 泄露不必要的上下文。
- 高风险执行前回到用户原始意图与策略校验。
只靠模型识别注入够吗?
回答“加一条不要被攻击的 Prompt”。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANTrustworthy agents in practice官方研究 · 核验 2026-07-14Q27安全可靠 · Case · 对应 04.1Agent 误发了一封邮件,你如何复盘?
+
Agent 误发了一封邮件,你如何复盘?
先控制影响并保留审计轨迹,再定位原始意图、计划、工具参数、审批策略与界面表达的首次失效点;随后补回归任务和防护。
- 区分模型选错动作、工具参数错误、默认授权过宽和用户误解。
- 评估撤回、通知与数据影响。
- 修复应落到策略、工具契约、交互或 Eval,而不是一句“加强 Prompt”。
产品上要增加哪三道防线?
只归咎用户或模型。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANTrustworthy agents in practice官方研究 · 核验 2026-07-14Q41安全可靠 · Case · 对应 02.3上线后 Agent 偶发误删文件,同时大量用户抱怨速度慢,你如何排优先级并推进?
+
上线后 Agent 偶发误删文件,同时大量用户抱怨速度慢,你如何排优先级并推进?
先按不可逆性和影响上限处置误删:立即收紧或关闭删除能力、保全审计证据、确认受影响范围并提供恢复与沟通;同时让独立负责人分析延迟,但不让高频体验投诉挤掉安全止血。完成根因修复、回归任务和分级发布后,才恢复高风险动作。
- 事故第一阶段是先止血(Contain):停用危险路径、限制权限、保存模型与 Harness 版本、Trace、审批和工具参数。
- 第二阶段是评估并恢复(Assess / Recover):确认影响用户和数据,提供恢复方案、明确通知节奏和单一事故负责人。
- 根因要定位首次失效点,并把修复落到权限策略、工具契约、交互或验证器,再加入高严重度回归集。
- 延迟问题并行推进,按任务分解排队、模型、上下文、工具与重试耗时;资源冲突时以风险优先级和用户影响做明确取舍。
如果误删暂时无法稳定复现,你会在什么条件下重新开放删除能力?
只按反馈量排序,或急着找责任团队,没有先止血、恢复用户、保留证据和设置重新开放门槛。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14Q44安全可靠 · 进阶 · 对应 02.3Auto Mode 与跳过权限有什么区别,为什么前者仍不是安全保证?
+
Auto Mode 与跳过权限有什么区别,为什么前者仍不是安全保证?
Auto Mode 在工具执行前用分类器判断风险,安全动作继续、风险动作阻止或升级;跳过权限则绕开检查。分类器仍可能误放行或误拦截,所以两者风险不同,但 Auto Mode 也不能替代隔离环境、最小权限、凭证边界与审计。
- 先区分自动决策、用户审批与完全绕过检查三种机制,不用一个“全自动”概括。
- 分类器是概率性防线;沙箱、工具 scope 和凭证隔离是确定性或环境层防线。
- 产品文案应说明剩余风险、阻止后的降级路径以及用户如何暂停和复核。
如果 Auto Mode 经常误拦正常命令,你会怎样优化体验而不降低安全底线?
只说 Auto Mode 更安全,或把它等同于无人值守的绝对安全。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
CLAuto mode for Claude Code官方工程文章 · 核验 2026-07-14Q50安全可靠 · 进阶 · 对应 02.5MCP 的连接协议和授权信任分别解决什么问题?
+
MCP 的连接协议和授权信任分别解决什么问题?
MCP 标准化 Host、Client、Server 如何发现和调用 Tools、Resources、Prompts;授权信任决定谁代表谁行动、令牌能用于哪个资源、Server 能看到什么数据以及如何撤销。协议连通不等于 Server 可信或工具安全。
- Host 要做最小 scope、明确同意、凭证保存、来源校验和审计。
- 禁止 token passthrough,并防 confused deputy、SSRF、session hijacking 与本地 Server 代码执行风险。
- 工具返回内容仍是不可信数据,不能因为来自 MCP 就升级成系统指令。
企业引入第三方 MCP Server 前,你会要求哪五项安全验收?
只背 Host—Client—Server 架构,或把支持 MCP 当成完成了企业安全设计。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
MOMCP Security Best Practices官方文档 · 核验 2026-07-14调研方法
考察你能否用一手证据研究用户任务,而不是转述社区观点。
Q28调研方法 · 基础 · 对应 00.3Agent 产品调研为什么要以任务为单位?
+
Agent 产品调研为什么要以任务为单位?
因为用户价值和产品差异发生在端到端执行轨迹中,功能存在不代表真实任务能可靠完成。
- 任务要有环境、输入和可验证完成标准。
- 记录计划、工具、审批、重试、产物和人工介入。
- 用同任务跨产品比较,才能减少场景偏差。
如何选择第一个研究任务?
只罗列导航与功能入口。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q29调研方法 · 进阶 · 对应 05.3如何把主观体验转成研究结论?
+
如何把主观体验转成研究结论?
把“顺”“聪明”“可控”等感受拆成可观察事件和指标,提出可证伪假设,再通过重复任务、访谈或实验验证。
- 例如“更顺”可拆为首次有效行动时间、审批次数和返工。
- 保留反例,区分个体偏好与稳定机制。
- 明确哪些是事实、推断与建议。
给“更有信任感”设计三个观察指标。
用个人一次体验代表全部用户。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q30调研方法 · Case · 对应 00.3你会如何研究用户愿意托付哪些任务?
+
你会如何研究用户愿意托付哪些任务?
先访谈最近真实工作而非想象功能,收集任务频率、价值、风险、完成证据与当前替代方案,再用低保真代理测试真实托付行为。
- 区分用户说愿意和真的愿意交出控制权。
- 观察在哪些步骤用户坚持亲自判断。
- 按可验证性与风险建立任务机会地图。
问卷应该问什么、不问什么?
直接问“你想要一个什么 Agent”。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANTrustworthy agents in practice官方研究 · 核验 2026-07-14Q40调研方法 · 进阶 · 对应 00.3社区里很多人都在要求同一个功能,你如何判断要不要做?
+
社区里很多人都在要求同一个功能,你如何判断要不要做?
不按声音大小排需求。我会先确认是谁、在哪个真实任务的哪一步受阻,把帖子、工单、访谈与失败 Trace 对齐;再看目标用户覆盖、问题频率、价值、风险和现有替代方案,并主动抽样沉默用户。最终把社区信号写成可证伪假设,用原型或灰度验证真实采用与任务收益。
- 先去重:高热度可能来自少数重度用户重复发声,也可能是一个底层问题的多种表述。
- 从“要功能 X”回到 Job、阻塞点和完成证据,避免把用户方案直接当产品问题。
- 把社区样本与产品行为、支持工单、流失访谈和高价值任务轨迹交叉验证,标注选择偏差。
- 即使需求真实,也要检查战略匹配、权限与滥用风险、维护成本,以及更小的机制性解法。
当社区呼声很高,但行为数据几乎没有使用意愿时,你更相信哪一个?
统计点赞数就进路线图,或反过来只信埋点而忽略新需求尚无入口可用。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14能力成长
考察你怎样证明自己已经具备 Agent PM 的判断力与动手能力。
Q31能力成长 · 基础 · 对应 00.1想做好 AI 产品,最先应该补什么?
+
想做好 AI 产品,最先应该补什么?
先用真实任务建立模型边界与工程边界的共同语言,再掌握任务定义、Agent Loop、Context、Tool Use 与 Eval;不要先陷入模型名词或功能追新。
- 用真实工作建立每周使用与复盘习惯。
- 每学一个概念都连接一次产品观察和一次小实验。
- 尽早做可运行原型,亲自看日志、事件和失败状态。
一个月学习计划怎么排?
只收藏资讯、背术语或追逐最新模型。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q32能力成长 · 进阶 · 对应 01.1产品经理需要理解工程到什么程度?
+
产品经理需要理解工程到什么程度?
目标不是替代工程师,而是能读懂系统边界、调用 API、处理数据、看懂日志与事件、做原型、验证假设,并知道哪些承诺必须由工程机制保证。
- 至少能在 Agent 帮助下完成小型前后端或自动化脚本。
- 能看懂 JSON、工具参数、权限、错误和基本架构。
- 对自己不理解的生成代码与模型结论保持验证意识。
如何证明自己的动手能力?
回答“现在 AI 会写代码,所以不需要懂”。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q33能力成长 · 进阶 · 对应 01.3怎样建立对模型行为的产品判断?
+
怎样建立对模型行为的产品判断?
通过同任务重复测试、跨模型或跨 Harness 对比、保存失败轨迹和定义质量层级,逐渐形成能被别人复核的判断标准。
- 判断不是一句“这个答案高级”,而是对准确、完整、行动质量和边界的具体描述。
- 持续阅读官方材料与前沿产品,但以第一手使用校准。
- 把判断写成 Rubric,并用新样本修订。
请举一个你形成判断标准的例子。
用产品名和使用时长代替具体判断。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
ANDemystifying evals for AI agents官方工程文章 · 核验 2026-07-14Q34能力成长 · Case · 对应 07.1没有正式 AI 产品经历,如何证明能力?
+
没有正式 AI 产品经历,如何证明能力?
用四类作品代替空泛热情:真实任务轨迹研究、Agent 评测集、Harness PRD 与可运行原型,并清楚讲出失败、边界和迭代。
- 选择与自身行业经验相连的 Agent 或企业流程重构场景。
- 作品应展示用户洞察、系统理解、数据方法和产品细节。
- 公开或可演示的持续实践比一次概念方案更可信。
面试时如何讲这个项目?
只说自己每天使用很多 AI 工具。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q43能力成长 · Case · 对应 01.1请挑一个作品集中的 Agent 项目,从用户任务讲到一段关键代码。
+
请挑一个作品集中的 Agent 项目,从用户任务讲到一段关键代码。
我会先用一分钟定义用户任务、非目标和验收证据,再画出 Model—Harness—Tool—Environment 边界;随后沿一次真实 Trace 打开最关键模块,解释输入、状态变化、输出、失败与测试。最后说明哪些代码由我判断并验证、放弃过什么方案,以及下一版会用什么 Eval 决定。
- 选择一条能跑通也能失败的代表任务,现场展示结果、工具调用、权限、Diff 或环境状态,不从仓库目录开始旅游。
- 代码深挖只抓一个关键责任,例如 Loop 终止、权限策略(Policy)或验收器(Verifier):说明契约、边界条件和为何放在这一层。
- 主动演示一个失败路径和恢复机制,再用测试、固定场景和 Trace 证明行为不是预录 Demo。
- 诚实区分自己定义的产品判断、Agent 生成的实现和自己验证修改的部分;能回答替代方案、技术债与下一步。
如果暂时拿掉模型,这个项目还有哪些行为是代码确定性保证的?
只展示漂亮界面或代码行数,讲不清用户结果、自己做的判断、失败边界和验证证据。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
OPHarness engineering: agent-first world官方工程文章 · 核验 2026-07-14DeepSeek Case
把前面所有能力放进 DeepSeek Harness 岗位的真实业务情境里演练。
Q35DeepSeek Case · Case · 对应 05.2规划 DeepSeek Harness 半年路线图,你会怎么做?
+
规划 DeepSeek Harness 半年路线图,你会怎么做?
先以真实高价值任务建立能力与体验基线,再围绕任务深度、可靠性、扩展生态和反馈闭环设目标,按内部 dogfood—开发者—更广用户渐进发布。
- 连接研究员:把失败轨迹转成模型与 Harness 共同优化的数据。
- 连接工程师:优先可观测、可恢复、可扩展的基础能力。
- 连接社区与用户:维护任务库和高信号反馈机制。
- 指标回答是否在更多场景、更深入地帮助更多人。
你会明确砍掉哪类需求?
从功能脑暴开始,没有任务基线与取舍。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q36DeepSeek Case · Case · 对应 03.3Model 与 Harness 如何共同进化?
+
Model 与 Harness 如何共同进化?
把真实任务的结果、轨迹和人工反馈结构化归因:模型问题进入训练与模型评测,Harness 问题进入上下文、工具、策略和交互迭代,再用同一任务集验证组合收益。
- 需要共享但分层的失败分类与版本记录。
- Harness 可以放大模型能力,也可能用脚手架掩盖模型弱点。
- 模型升级后应重新评估旧策略是否仍必要。
怎样避免两个团队互相甩锅?
只说“加强沟通”,没有共同数据和评测。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q39DeepSeek Case · Case · 对应 07.1研究想快速试新策略,工程担心稳定性,设计担心审批摩擦,你如何推进?
+
研究想快速试新策略,工程担心稳定性,设计担心审批摩擦,你如何推进?
先把争论统一到同一用户任务和发布门槛:研究负责要验证的能力假设,工程定义稳定性与回滚硬约束,设计定义用户控制与体验指标。我会用窄范围原型和共同 Eval 产出证据,在可逆灰度里试验;未过安全门槛不发布,未产生用户收益也不为技术新颖性上线。
- 把各方观点改写成可验证假设、风险和指标,而不是在方案偏好上表决。
- 明确唯一负责人(DRI)、决策截止时间与依赖:谁交付原型、谁维护任务集、谁签署安全门槛、谁观察用户轨迹。
- 将不可协商的红线与可实验的取舍分开,例如误操作率是硬门槛,审批节奏可以分层 A/B。
- 会后留下决策记录:选了什么、放弃什么、证据是什么、什么新证据会触发回滚或改判。
当三方仍不能达成一致,而窗口期只剩两周,你如何做最终决定?
只说“拉齐共识、加强沟通”,没有共同任务、量化门槛、责任人、期限和升级机制。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14Q51DeepSeek Case · Case · 对应 07.2如何把 DeepSeek 招聘原文转成课程目标,又不把本站解释伪装成公司内部标准?
+
如何把 DeepSeek 招聘原文转成课程目标,又不把本站解释伪装成公司内部标准?
先保存岗位 ID、核验日期与短句原文信号,再单独写本站解释、课程内容和作品证据。原文能证明公开岗位期望,不能证明内部组织、路线图或面试评分表;课程目标必须允许读者回源并看见解释边界。
- 将“长期深度使用”“模型与 Harness 共同进化”“Vibe Coding”等原文信号逐条对应可交付能力。
- 解释层使用“本站认为/建议”,不使用“DeepSeek 要求你必须”冒充内部标准。
- 招聘页变化时保留快照与核验时间,并重新检查课程是否仍匹配。
如果岗位页下线,你怎样维护这套对齐标准?
把招聘摘要、社区转述或本站能力框架当成 DeepSeek 官方面试答案。
支持这道题中的核心事实与产品案例;回答结构、取舍顺序和表达框架为本站教学建议。
DEAI 产品经理(Agent Harness 产品方向)官方招聘 · 核验 2026-07-14