哪些事让 AI 判断,哪些必须由系统说了算
模型可以提出判断和动作,但权限、状态、验证、回滚与审计必须由工程系统明确承担。
- 能区分模型的概率判断与工程系统的确定性保证
- 能把关键产品责任分配给模型、外围运行系统、工具、界面或用户
- 能识别哪些规则不能只依赖 Prompt
哪些事情可以交给模型判断,哪些必须由工程系统兜住?
模型擅长处理开放问题:读懂模糊意图、比较材料、提出候选方案和选择下一步工具。但模型的输出只是概率判断,不天然等于事实、授权或完成状态。即使它说“已退款”,真实支付平台也可能没有产生退款记录。
工程系统负责不可妥协的部分:身份认证、数据权限、金额上限、工具参数校验、状态持久化、幂等、审计和结果验证。Prompt 可以告诉模型要谨慎,却不能代替真正的权限系统;界面可以隐藏按钮,却不能代替服务端拒绝越权。
AI 时代产品经理需要把责任分清。不是所有问题都归模型团队,也不是所有安全都靠多弹审批。你的产品方案应明确每个关键决定由模型、外围运行系统、工具、界面还是用户承担,并为它准备可观察的证据。
先记住这句话一个实用分界是:让模型处理开放判断,让确定性系统执行不可妥协的规则。模型可以建议查哪些资料,系统必须决定它究竟能读什么;模型可以提出退款,权限系统必须限制金额和审批;模型可以声称完成,验证器必须检查真实结果。
让模型判断,让系统强制
以企业退款为例。模型可以根据对话、订单和政策判断退款原因,也可以建议金额;工具必须限制它只能访问当前订单,权限策略必须阻止超范围打款,超过阈值时由用户批准,支付回执则负责证明真实结果。
这不是把 AI 关进笼子,而是让每一层做自己擅长的事。模型获得足够空间处理复杂情况,用户也不用为每一次只读查询反复点击确认;真正高风险的动作才停下来说明影响和责任。
四种常被混在一起的边界
行为引导写进 Prompt;资源和动作范围由 Permission 控制;进程能够接触哪些文件、网络和系统能力由 Sandbox 限制;动作之后是否真的成功由 Verifier 检查。四者可以组合,但不能互相冒充。
例如“禁止发送未审批邮件”同时需要行为说明、受限发送工具、明确审批和发送回执。只加一句 Prompt 会被外部不可信内容或模型错误绕过;只加审批又可能让用户形成无脑点击习惯。
产品透明不等于展示隐藏思维链
用户需要看到的是任务目标、计划或里程碑、工具动作、使用依据、影响范围、验证结果和剩余不确定性。它们足以支持监督和验收,也能帮助用户在正确时机纠偏。
产品不需要、也不应该把模型的全部内部推理当成信任来源。真正的可信度来自可检查的行动与证据,以及用户确实能够暂停、拒绝、撤销或接管。
模型擅长理解模糊意图、归纳材料和提出下一步;它不天然拥有事实、权限或业务责任。成熟 AI 产品会把开放判断交给模型,把不可妥协的约束交给权限、沙箱、业务规则、验证器和人工控制。
理解目标、比较证据、提出工具调用或候选结论
组装任务材料、校验工具参数、维护状态和预算
强制权限、业务规则、幂等和外部副作用边界
检查真实环境结果并决定接受、纠偏、降级或停止
有术语没听懂?在这里用人话再看一遍4 个词+
- Prompt / Instructions
- 提供给模型的行为说明与任务规则,能引导但不能当作不可绕过的技术边界。
- Permission
- 决定哪些资源和动作允许、需要询问或拒绝的强制策略。
- Sandbox
- 在操作系统或运行环境层限制进程能够访问的文件、网络和系统能力。
- Verifier
- 通过测试、业务回执、状态查询或规则检查,确认真实环境结果是否符合完成标准。
为什么“请谨慎退款”不能成为唯一安全机制
退款 Agent 可以阅读订单、判断原因并提出建议,但金额限制、账户权限、审批与真实打款状态必须由系统保证。
- 01
模型根据订单与政策提出退款 120 元
- 02
工具 Schema 将金额限制在订单实付范围,权限策略要求超过 100 元人工批准
- 03
打款后系统读取支付平台回执,只有真实状态成功才结束任务
模型负责开放判断;工程系统负责授权、约束和验证;用户只在真正需要承担责任的节点被打断。
本章依据与证据边界3 条结论 · 1 份原始材料+
正文已经把关键来源放在相关概念旁边。这里保留完整核验清单:每条材料能支持什么、不能支持什么;不要求离开本站才能继续学习。
- [1]
OpenAI 公开说明 Codex 的沙箱、审批、网络策略、身份与审计共同工作,低风险动作顺畅而高风险动作停下检查。
官方事实OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14 - [2]
Anthropic 的可信 Agent 研究强调能力、边界与人工控制需要组合,不能依赖单一防线。
官方事实ANTrustworthy agents in practice官方研究 · 核验 2026-07-14 - [3]
本站把模型、外围运行系统、工具、界面、结果检查和用户做成责任矩阵,是用于产品设计的教学推演。
本站推演OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14