审查一个系统在包含模型、数据、工具和权限的复杂堆叠中,是否会做错事

威胁建模:扩展经典框架,引入AI原生知识库
传统的STRIDE是为确定性软件设计的,LLM打破了其假设(输入与指令共享通道、输出具有概率性),Agentic AI则进一步引入了自主行动与工具访问。评审中的威胁建模需要组合使用以下工具:

1. 用扩展后的STRIDE-ML进行结构化启发
可以将STRIDE的六个维度映射到AI特有威胁上,例如:仿冒 → 模型/Agent身份伪造;篡改 → 训练数据投毒;信息泄露 → 模型反演或成员推断;权限提升 → 通过提示注入操纵Agent调用高危工具。

2. 以MITRE ATLAS作为“威胁字典”
ATLAS是专门针对AI系统的对抗行为知识库(截至v5.4.0包含16项战术、84项技术)。它不告诉你从哪开始,但能帮你将STRIDE启发出的威胁具体化、可检测化,并链接到真实的攻击案例与缓解措施。评审时应要求团队将识别出的关键威胁映射到ATLAS技术ID,以验证威胁建模的完整性。

3. 用OWASP清单作为底线检查
OWASP Top 10 for LLM(2026版)提供了可操作的底线风险清单。例如,评审Agent设计时,应重点检查过度代理(LLM03/06) :模型是否只拥有任务所需的最小工具集?写、删、支付类操作是否被硬限制或人工审批所门控?工具权限是否默认拒绝、按动作拆分?

🔐 AI Agent安全的专项评审要点:身份、权限与隔离
当系统包含Agentic AI时,评审需要增加对非人类身份(NHI) 的审查。Agent的暴露面等于它能触及的每一组凭据、工具和API。

独立身份:每个Agent(以及其版本、租户、任务)必须有可区分的独立身份,严禁借用员工或管理员账号运行任务。评审应提问:你能否将一个Agent与另一个、以及与其人类操作者区分开来?

最小权限与爆炸半径:工具权限应按动作精细拆分(如“读取订单”与“退款订单”是两项独立权限),凭据应短时且限定范围。评审需验证:一个被攻陷的Agent,其访问是否会严格限制在已批准的切片内?

运行隔离:高权限或不可逆操作应在隔离沙箱中执行,并具备明确的回滚或熔断机制。

🛡️ 供应链与模型来源:将权重视为可执行代码
AI供应链攻击(模型投毒、权重篡改)可将模型本身变为攻击向量。评审要点包括:

模型来源验证:每个模型、基础权重、适配器是否都有已验证的来源记录?来自公开库的权重是否被视为不可信的可执行文件,并在加载前经过沙箱化或安全格式(避免不安全的pickle格式)检查?

数据溯源:训练与检索数据是否记录了拥有者、分级与来源,以便在发现污染时追溯?

📊 治理与合规框架的映射
架构评审的决策需要能在治理框架中找到依据,并满足合规要求。

NIST AI RMF:可作为评审的治理骨架。其GOVERN、MAP、MEASURE、MANAGE四大功能,能帮助将架构层面的技术发现(如某个边界控制缺失)映射到组织级的风险管理动作与决策记录中。

ISO/IEC 42001 与 EU AI Act 正在成为2026年的审计基准,评审中涉及高风险AI系统的决策,应有意识地留存与这些框架控制项的对应证据。

中国标准:若系统面向国内市场,需关注已发布的团体标准(如《人工智能智能体(Agent)安全架构技术规范》、《大模型安全护栏能力技术规范》)以及正在制定的强制性国标方向(如《智能体应用安全基本要求》中列出的资产盘点、身份权限、全链路审计等能力)。