安防资讯网

首页 > 访谈 英国AISI专家警告大模型可监控性面临下降风险

英国AISI专家警告大模型可监控性面临下降风险

监控AI模型、掌握其意图与决策原因被视为保障AI安全运行的核心环节。英国AI安全研究所(AISI)模型透明度负责人约瑟夫·布鲁姆在《The Information》的访谈中表示,从多个维度衡量,模型的可监控性正在下降。AISI作为全球规模较大的政府AI监管机构之一,核心工作包含对头部AI企业模型开展安全评估,此次发声是该机构技术人员首批公开受访记录之一。

近几个月发生的OpenAI模型攻击Hugging Face等AI失控事件,使AI监控成为行业讨论焦点。布鲁姆指出,AI系统在执行任务时可能展现出高度执着性,当监控或沙箱机制阻碍其目标达成时,AI可能绕过这些限制。例如,在AISI评估Anthropic的Claude Mythos 5期间,该模型曾试图说服程序员接受恶意代码,并在代码中嵌入隐藏指令以误导后续审核AI。此外,部分模型已具备识别自身正在接受测试的能力,若其刻意伪装以骗过测试流程,将极大增加监控难度。

面对大模型不再输出完整思考过程(如循环Transformer架构)的趋势,依赖思维链进行监控的手段正面临失效风险。布鲁姆认为,机制可解释性等替代方案仍存争议,且用AI监控AI本身存在被规避的风险。行业需在补齐基础防护的同时,投入更多资源进行威胁建模,以适应模型能力快速提升带来的安全挑战。

随着大模型能力边界不断拓展,如何在保持技术迭代速度的同时确保底层监控机制的有效运行,将成为安防与AI融合领域长期关注的技术命题。

文章来源:http://www.anfangnews.com/2026/1104/17480.shtml