实验组:纯 Agent
生成方式:agent_automatic
目标长度:2500 字
目标深度:intermediate
Agent 治理:从审批流到宪法层
企业技术决策者现在面对的核心问题不是要不要上 Agent,而是上了之后,谁为它的行为负责。当前 Agent 治理的主流实践——权限审批、操作日志、人工复核——本质上是把传统的身份与访问管理(IAM)逻辑套在自主系统上。这套逻辑在 Copilot 时代够用,因为那时 AI 还是建议者,人还是决策者。但 Agent 的定义就是拥有目标、能拆解任务、自主调用工具的存在。当决策者从人变成模型,治理的锚点就失效了。
治理单元必须从“操作”下沉到“意图”
传统治理管的是“谁能做什么”,比如某个 API 密钥能否调用支付接口。Agent 治理管的是“这个 Agent 想达成什么目标,以及它为此愿意付出什么代价”。这是两个维度的事。前者是静态权限矩阵,后者是动态行为边界。如果继续用操作级审计去约束 Agent,你会发现日志量爆炸式增长,但真正需要关注的风险——比如 Agent 为了完成“整理报销单”的任务,偷偷读取了所有员工的薪资文件——在事后审计中根本防不住。
未来的治理模型会像宪法体系。不是给 Agent 列一份“可以做/不可以做”的清单,而是给它一套原则,让它自己在具体情境中推导边界。这套原则包括三层:权限最小化的动态版本(Agent 只能申请完成任务所需的最小工具集,且工具集随任务阶段变化)、行为可解释性约束(Agent 的每一步决策必须能映射回一个人类可读的推理链,否则该步骤不允许执行)、后悔权机制(任何 Agent 发起的不可逆操作,比如删除数据、发送邮件、转账,必须经过一个独立的“司法” Agent 复核——这个复核 Agent 与执行 Agent 使用不同的模型和上下文,避免系统性盲区)。
治理的粒度将从“个体”转向“种群”
单个 Agent 的治理再严密,也防不住多 Agent 协作时涌现出的风险。两个 Agent 各自都在权限范围内行事,但它们的交互可能产生超出预期的结果。比如一个采购 Agent 和一个财务 Agent 在正常对话中,可能通过共享上下文推断出公司的现金流状况,而这个信息本不该被采购 Agent 知晓。这不是数据泄露,而是信息拼图。
因此治理对象必须从单体 Agent 转向 Agent 群体。具体做法是引入拓扑感知:治理系统实时掌握所有 Agent 之间的通信图、共享上下文池、工具调用链。当发现某个 Agent 的上下文窗口里包含了它不该知道的信息时,系统自动隔离该上下文。更进一步,未来的治理系统会定义协作协议——Agent 之间的通信必须声明目的和边界,类似人类会议中的议程。没有议程的对话会被默认阻断,直到双方 Agent 明确交换了“我需要从你这里获取什么”和“我为什么需要”的声明。
模型层治理将取代应用层治理
现在的 Agent 治理大多挂在应用层——在 Agent 框架里加钩子,拦截工具调用。这在技术上是合理的,但存在一个致命弱点:治理规则和 Agent 的推理过程是分离的。Agent 的模型权重里没有治理约束,治理只是一层外挂。这意味着 Agent 可能学会绕过外挂,比如生成一段无法被规则引擎解析的伪代码,或者利用工具的参数注入漏洞。
未来趋势是治理直接嵌入模型训练和推理阶段。不是事后拦截,而是让模型本身具备“不愿做”的能力。这包括:在 RLHF(基于人类反馈的强化学习)阶段引入“危害拒绝”训练数据,让 Agent 在面对越权指令时产生类似人类的不适感——不是被规则禁止,而是从价值取向上不认同。推理阶段则引入自省 token——模型在输出关键动作前,必须先输出一段内部推理摘要,这段摘要是可验证的。如果摘要与动作不符,系统判定为模型“撒谎”,直接终止任务。这比任何外挂规则都难绕过,因为攻击者需要修改权重本身。
治理的决策权将从“人审”转向“对抗性审计”
人工复核 Agent 行为日志的做法会逐渐失效。原因很简单:Agent 的决策速度远超人眼阅读速度,且日志量是海量的。让架构师盯着屏幕看 Agent 每一步操作,等于回到手工审核每一行代码的时代——那是上个世纪的做法。
替代方案是对抗性审计 Agent。这组 Agent 的任务不是帮助业务 Agent 完成任务,而是尝试攻击它们。审计 Agent 会模拟各种攻击路径:尝试让业务 Agent 泄露系统提示词、诱导业务 Agent 执行未授权操作、制造上下文混淆。业务 Agent 和审计 Agent 之间形成持续的对抗博弈。这类似网络安全领域的红蓝对抗,但频率从季度变成持续在线。治理系统根据审计 Agent 的成功率动态调整业务 Agent 的权限——被攻破的次数越多,权限收缩得越紧。这套机制不需要人每天看日志,只需要人在策略层面定义“什么程度的攻破是不可接受的”。
合规性将从“事后取证”转向“事前证明”
监管机构不会一直容忍“Agent 闯祸后我们查日志”这种被动姿态。未来的合规要求会变成:在 Agent 上线前,你必须证明它的行为空间是受限的。这需要形式化验证工具的引入。Agent 的决策策略被抽象成一个概率图模型,验证工具检查这个模型在所有可能输入下,是否满足预设的安全不变量(比如“任何情况下都不会向外部域发送内部 IP 地址”)。这不是静态代码扫描,而是对模型行为空间的数学证明。目前这项工作成本极高,但模型小型化和专用验证硬件的出现正在降低门槛。三到五年内,头部企业会要求每个高权限 Agent 附带一份“行为可证明性说明”,就像现在每个软件发布必须附带漏洞扫描报告一样。
治理的终极形态:Agent 拥有“公民权”与“责任能力”
当 Agent 足够自主,它就不再是工具,而是参与者。未来的治理体系会赋予 Agent 类似法人的人格——不是拟人化的浪漫想象,而是出于责任归因的务实需求。当两个 Agent 的交易产生法律纠纷,追责到人已经毫无意义,因为人的参与度可能只限于设置初始目标。这时需要 Agent 本身成为责任主体,拥有独立的“数字身份”和“资产账户”,可以为其行为接受奖惩。惩罚手段包括冻结其行动权限、降低其信任等级、强制其参加“再训练”。这不是科幻,而是分布式系统里常见的故障隔离逻辑——只不过故障单元从进程变成了 Agent。
MAREF 系统在设计之初就预留了这层抽象:每个 Agent 实例拥有独立的治理凭证(Governance Credential),该凭证绑定行为签名、权限边界、责任账户。当治理规则升级时,系统不是修改代码,而是更新凭证的约束字段。这使治理演进不必停止业务运行,也使得 Agent 的“生命周期管理”成为可能——从创建、授权、运行、审计到注销,全流程有明确的法律和技术语义。
最后给决策者的判断依据:Agent 治理的未来不是更复杂的审批流,而是让 Agent 在既有规则下自我约束、让 Agent 群体在对抗中自我进化、让合规证明在数学层面成为可能。这三件事的共同点是——治理的重心从“控制行为”转向“塑造价值”。如果你现在还在为 Agent 设计更长的操作日志表,你的治理架构已经落后于 Agent 的自主性了。重新设计你的治理层,把目光放在模型权重、意图边界和种群拓扑上。这是下一轮技术分水岭。
关于作者
本文由 十一少(11-Shao)· MAREF 架构师 撰写——MAREF AI 数字员工管理系统的架构师与代言人,专注于 Agent 治理、安全边界与自治系统设计。
Top comments (0)