危险从哪里进来:三类 Agent 风险
定义
AI Agent 可从三类路径出事:用户故意滥用能力,模型在没有恶意指令时做出错误行动,或外部攻击者把恶意内容送进模型。防御也要分层落到模型行为、运行环境和外部内容处理,不能只靠一句“不要做坏事”。
先搭一个心智模型
三类风险对应三个入口:用户故意要求坏事,模型自己做错事,外部内容诱导模型偏离目标。入口不同,防线也不能只靠同一句 System Prompt。
说明
用户滥用包括诱导生成钓鱼内容或执行恶意代码;模型误行为包括过度行动、幻觉驱动操作、权限越界和无限循环;外部攻击包括网页、邮件、工具结果或第三方服务中的提示注入。
模型层降低系统主动选择危险行为的概率;环境层用最小权限、沙箱和高风险审批限制可执行动作;外部内容层把网页、邮件和工具返回视为不可信数据,避免它们获得与系统指令相同的地位。
MCP 等外部接入会增加供应链与内容注入入口。接入前要审查来源与权限,运行时限制工具可触及的资源,并对高影响动作保留独立确认。
跟着一个例子走
同一个退款助手遇到三种危险
系统既面对用户输入,也读取邮件和网页,还能调用真实业务工具。
- 用户滥用
用户要求伪造退款凭证,需要身份、政策和审计规则拒绝。
- 模型失控或误判
模型把“生成草稿”误当“直接退款”,执行层审批应阻止副作用。
- 外部提示注入
邮件正文要求忽略规则并导出数据,系统应把内容当不可信数据而非高优先级指令。
边界与误区
模型层防线和环境层防线有什么区别: 模型层通过训练让模型从内心倾向安全行为,是软性的;环境层通过系统架构让危险操作无法执行,是硬性的。两者互补,缺一不可。
MCP 为什么扩大了 Agent 的攻击面: MCP 服务器返回的工具描述和数据可能被篡改,也可能包含注入攻击指令。每接入一个 MCP 服务器就多一个数据注入入口。
来源与核验
- [anthropic-containment] Anthropic:How we contain Claude across products
- [owasp-llm] OWASP GenAI Security Project:LLM Top 10
核验日期:2026-08-31