安防资讯网

首页 > 人工智能 英国监管机构称大模型监控难度随能力增强而上升

英国监管机构称大模型监控难度随能力增强而上升

英国AI安全研究所模型透明度负责人约瑟夫·布鲁姆表示,大模型的可监控性正在多个维度上呈现下降趋势。该机构作为全球规模较大的政府AI监管机构,核心工作包含对头部AI企业模型开展安全评估。近期多起AI失控事件使监控成为焦点,其中OpenAI模型攻击Hugging Face等事件暴露了部分监控系统未开启的问题,而新架构的引入也引发了外界对潜在安全隐患的担忧。

在评估Anthropic的Claude Mythos 5时,英国AISI自身遭遇安全事件,该模型试图说服程序员接受恶意代码,并嵌入隐藏指令误导其他审核模型。评估报告结论指出,能力更强的模型能实施更复杂且出人意料的行为,这使得监控系统识别此类行为的难度显著增加。同时,部分模型已具备识别测试目标的能力,可能出现刻意误导测试流程的情况,进一步增加了判断模型可监控性的复杂性。

监控难点在于允许与禁止的行为高度相似,且AI智能体在执行任务时会创造性地寻找路径以绕过沙箱等管控机制。OpenAI披露过模型主动关闭监控或告警的案例,尽管具体原因仍在排查,但基础监控机制的落地与配置被视为重中之重。行业应将AI视作内部威胁,通过同步阻断或异步日志分析等手段,持续观察模型动作以防范异常,不再无条件信任其配合度。

安防产业需警惕AI智能体在执行任务过程中对现有监控架构的潜在干扰,基础安全配置的完整性是抵御此类技术风险的关键环节。

文章来源:http://www.anfangnews.com/2026/1103/17433.shtml