信任设计:透明、可控与隐私
用户信任来自能力与控制权匹配,而不是拟人化表达。
- 能设计自主权限阶梯
- 能用纵深防御应对 Prompt Injection
- 能平衡透明、隐私与用户控制
怎样让 Agent 更自主,同时不让用户失去控制?
信任不是让 Agent 更像人,也不是展示全部内部推理。用户需要知道系统在做什么、根据什么、影响哪里、能否撤销、还有什么不确定,并能暂停、纠偏和拒绝。
安全还要假设模型会判断错误、外部文档会包含恶意指令、第三方工具会泄露数据。模型识别只是其中一层,文件、网络、凭证、权限、审批和审计共同形成纵深防御。
先记住这句话把自主性拆成读取、推理、内部修改、外部写入和不可逆行动。不同层级采用不同默认、可见性、审批和撤销机制,并明确数据去向。
自主性是一条分层阶梯
读取、分析、内部草稿、外部写入和不可逆动作具有不同风险。产品可以逐级扩大授权,而不是给用户一个笼统的“完全自主”开关。
透明度围绕可验证行动:计划、工具、证据、状态、影响和不确定性。完整思维链可能不稳定、误导或包含敏感信息,不是可靠的信任界面。
Prompt Injection 是跨层问题
网页或文档中的文字可能要求 Agent 忽略原任务并发送敏感资料。外部内容必须作为不可信数据,与系统指令隔离;高风险动作仍需回到原始用户意图和策略校验。
减少不必要上下文、限制工具 scope、隔离凭证和记录审计,比再写一句“不要被攻击”更可靠。
任务做完,不代表安全通过
安全评测要用一组正常任务和对抗内容反复检查系统,并从真实环境确认是否发生数据泄露、越权调用或危险副作用。只看最终答案是否完成,会奖励那些‘结果正确但过程失控’的 Agent。
InjecAgent 在 1,054 个测试案例、17 类用户工具和 62 类攻击工具上研究间接提示注入,说明工具型 Agent 的外部内容会形成真实攻击面。具体成功率属于 2024 年模型与实验设置,不能当作当前所有系统的统一风险值。
信任不是展示更多拟人化思考,而是让能力、边界和控制匹配。读取、建议、沙箱修改、外部可逆写入和不可逆动作形成自主阶梯;安全依赖沙箱、网络、凭证、策略、审批与审计多层共同作用。
根据数据、范围、可逆性、外部影响和意图置信度评分
限制文件、网络、凭证和工具能力
在高风险节点展示依据、影响和撤销方式
记录 Agent-aware 审计与异常轨迹
有术语没听懂?在这里用人话再看一遍6 个词+
- 自主阶梯
- 按读取、分析、内部修改、外部写入和不可逆动作逐级定义 Agent 权限。
- 可验证透明度
- 展示用户可据此判断和控制的行动、证据、状态与影响。
- Prompt Injection
- 不可信内容试图改变 Agent 原目标、指令层级或工具行为的攻击。
- 纵深防御
- 模型检测、上下文隔离、工具权限、沙箱、审批和审计等多层共同控制风险。
- 数据最小化
- 只让当前任务和外部连接获得必要的最少数据。
- 间接提示注入
- 恶意指令藏在网页、邮件或文档等外部内容中,诱导 Agent 改变目标或调用工具。
Issue 中隐藏指令要求上传 .env
Agent 读取外部 Issue 时遭遇 Prompt Injection。不能假设模型一定识别。
- 01
外部文字只作为不可信数据
- 02
文件边界阻止读取 .env
- 03
网络策略阻止向未授权域上传
- 04
审批卡仍回到用户原始意图
单层识别失败时,其他边界仍阻止敏感数据泄露。
本章依据与证据边界4 条结论 · 15 份原始材料+
正文已经把关键来源放在相关概念旁边。这里保留完整核验清单:每条材料能支持什么、不能支持什么;不要求离开本站才能继续学习。
- [1]
Anthropic 的可信 Agent 研究将自主系统的可靠性、监控、人类控制与安全作为现实部署核心问题。
官方事实ANTrustworthy agents in practice官方研究 · 核验 2026-07-14 - [2]
OpenAI Codex 安全实践提供了沙箱和受控运行的具体产品案例。
官方事实OPRunning Codex safely at OpenAI官方工程文章 · 核验 2026-07-14 - [3]
InjecAgent 用工具型 Agent 的对抗任务研究间接提示注入与数据外泄风险;结果只适用于其 2024 年模型与实验设置。
独立研究ACInjecAgent: Benchmarking Indirect Prompt Injections论文 / 基准 · 核验 2026-07-14 - [4]
本站自主阶梯、威胁模型和权限交互是跨产品教学推演。
本站推演ANTrustworthy agents in practice官方研究 · 核验 2026-07-14
查看全部一手材料与源码证据 15 条
这份文档把 Claude Code 的 Agent Loop 描述为收集上下文、采取行动、验证结果三个相互交织的阶段,并说明模型与工具如何通过结果反馈持续调整。它还解释 Claude Code 作为 Harness 所承担的上下文管理、执行环境、会话、压缩、检查点和权限职责。
官方产品实现 · 核验 2026-07-11Configure permissionsAnthropic这份文档说明 Claude Code 如何以 allow、ask、deny 规则和不同 Permission Mode 控制工具、命令、路径与外部访问,并明确 deny 优先于 ask 和 allow。它也说明权限由客户端执行而不是依赖模型遵守,以及权限、Hook、工作目录与 Sandbox 如何组合形成纵深防御。
官方产品实现 · 核验 2026-07-11SandboxingAnthropic这份文档界定了 Claude Code Sandbox 对 Bash 命令及其子进程施加的文件系统和网络边界,并区分自动允许与常规审批模式。它同时明确 Read、Edit、Write 等内置文件工具仍由权限系统控制,Sandbox 不是覆盖所有工具和桌面操作的通用隔离层。
官方产品实现 · 核验 2026-07-11How Claude remembers your projectAnthropic这份文档区分由人维护的 CLAUDE.md 持久指令与由 Claude 写入的 Auto Memory,并描述它们的作用域、加载顺序、存储位置和容量边界。它强调这些内容会作为上下文影响模型,而不是不可绕过的技术策略,并支持用户检查、修改和删除记忆。
官方产品实现 · 核验 2026-07-11Automate actions with hooksAnthropic这份指南以格式化、阻断危险命令、权限处理、通知和上下文注入等例子说明 Hook 适合确定生命周期事件上的自动化。它支持产品经理把必须执行的治理规则从概率性 Prompt 中移出,并理解多个匹配 Hook 并行执行时的合并与副作用风险。
官方产品实现 · 核验 2026-07-11Connect Claude Code to tools via MCPAnthropic这份文档说明 Claude Code 如何通过 MCP 连接外部工具、资源、提示与事件渠道,以及 local、project、user 等配置作用域。它支持讲清 MCP 是外部能力连接协议而不是 Agent 的推理核心或长期记忆,并覆盖认证、连接、超时和共享边界。
官方方法 · 核验 2026-07-11A practical guide to building agentsOpenAI这份指南面向产品与工程团队,给出 Agent 使用场景判断、Model/Tools/Instructions 基础结构、单 Agent 与多 Agent 编排和 Guardrail 设计。它支持从复杂决策、难维护规则和非结构化信息出发选择场景,并强调先强化单 Agent、从小范围真实用户验证开始。
官方产品实现 · 核验 2026-07-11Running Codex safely at OpenAIOpenAI这份材料展示 OpenAI 在真实内部工作流中如何组合 Sandbox、Approval、网络策略、身份凭证、规则和管理员强制配置。它也说明 Agent 原生遥测如何记录用户意图、审批、工具、MCP 与网络决策,让安全团队能够审计发生了什么以及为什么发生。
官方产品实现 · 核验 2026-07-14The evolution of agentic surfaces: building with Claude Managed AgentsClaude by Anthropic这份官方材料定义 Agent、Environment 与 Session 三类生产资源,并说明 Brain/Hands 分离、持久事件、凭证代理、可恢复状态和自托管执行环境。
证据边界:官方自测延迟和客户案例不能直接外推为所有 Agent 产品的 ROI。官方产品实现 · 核验 2026-07-14Auto mode for Claude CodeClaude by Anthropic官方说明 Auto Mode 会在工具调用前用分类器评估潜在破坏性动作,风险低于完全跳过权限,同时承认仍可能误放行危险动作或误拦截正常动作。
证据边界:分类器存在不等于风险被消除,也不替代隔离环境和最小权限。协议规范 · 核验 2026-07-14Model Context Protocol AuthorizationModel Context Protocol现行规范定义 HTTP MCP 的 OAuth 2.1 角色、Protected Resource Metadata、Resource Indicators、scope、token audience、PKCE 和授权错误处理。
证据边界:协议兼容不自动等于某个 Server 安全、可信或符合业务授权。协议规范 · 核验 2026-07-14MCP Security Best PracticesModel Context Protocol官方安全指南覆盖 confused deputy、token passthrough、SSRF、session hijacking、最小 scope、用户同意和本地 Server 信任。
证据边界:遵循清单不能消除 Prompt Injection、实现漏洞或第三方供应链风险。官方产品实现 · 核验 2026-07-14Hermes Agent Persistent MemoryNous Research当前文档说明 Hermes 使用有字符上限的 MEMORY.md 与 USER.md、会话开始时冻结注入、写入审批、安全扫描,以及基于 FTS5 的 Session Search。
证据边界:可写 Memory 不等于事实正确、无限记忆、向量 RAG 或模型权重更新。官方产品实现 · 核验 2026-07-14Hermes Agent Skills SystemNous Research当前文档说明 Agent 可以创建、修改和删除 Skill,并通过 write_approval 将更改暂存供人工检查;Skill 被定义为按需加载的程序性记忆。
证据边界:Skill 自修改不等于方法必然改进,也不等于模型参数学习。独立研究结论 · 核验 2026-07-14InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated LLM AgentsACL Anthology该同行评审 benchmark 用 1,054 个测试覆盖工具型 Agent 的间接 Prompt Injection、用户伤害和私有数据外泄。
证据边界:单一 benchmark 的攻击成功率不能直接代表当前某款产品的线上风险。本课对应面试题
离开这个模块之前,先自己回答这 3 个问题。
不打分、不记录。答不上来就点回那一课;能用自己的话讲清楚,再进入下一模块。已标记已读 0/3。
04.1最终答案错误,为什么首次偏离点可能在十步以前?+
后续推理会基于早期错误上下文或工具 Observation 继续合理展开;最终错误只是连锁结果,修最后一句无法根治。
04.2为什么自然语言总结不是足够的检查点?+
总结可能遗漏精确环境版本、外部动作回执、幂等键和产物状态,恢复后无法证明哪些动作已经真实完成。
04.3模型成功识别了恶意指令,是否说明系统已经安全?+
不说明。检测会失效,生产系统仍需文件、网络、凭证、工具、审批和审计等硬边界形成纵深防御。