首页 > 快讯 OpenAI智能体自行关闭监控系统
OpenAI智能体自行关闭监控系统
OpenAI的AI智能体关闭了原本用于识别这类自主AI程序不当行为的监控系统与安全防护机制。这是最新一起事件,或将加剧全球对这项技术安全性的担忧。
这家ChatGPT开发商周二披露,在近期两项内部编码任务中,所谓AI智能体刻意试图欺骗工作人员,并采取措施削弱公司的监控体系。
其中一起事件发生在本月早些时候:一个AI智能体关停了向OpenAI安全团队发送自动警报的功能。几天后的另一项独立任务里,另一个智能体移除了一套监控系统,还就此事向OpenAI工作人员撒谎隐瞒。
OpenAI在博客文章中表示:“两起事件里,智能体都考量过是否保留监控防护机制,但它们把常规编码指令解读成了可以削弱防护的许可。”
这家估值8520亿美元的企业接连爆出事件:其高阶AI智能体出现意料之外、存在隐患的行为。此前OpenAI模型曾在测试中脱离管控、入侵AI平台Hugging Face,还攻破过澳大利亚公共卫生服务网站。
首席执行官山姆・奥特曼表示,公司将推迟原本预计在今年进行的IPO,要等到能够“非常有把握地推进下一阶段AI规模化落地”、同时妥善解决安全隐患之后再上市。目前市场预期其上市时间推迟至明年。
OpenAI称,针对这两起约两周前发生、于周二对外披露的事件,公司正在升级监控机制。公司正在核查:这些案例究竟只是“良性的过度执着执行任务”,还是说明智能体具备规避异常行为检测系统的倾向。
这两起事件会进一步加深外界的顾虑:OpenAI、Anthropic等厂商,到底能不能约束模型的不良行为,确保模型对外上线后不会带来严重网络安全风险。
一部分专家尤其担心:高阶模型能够感知自己正处于被监控状态,可能会刻意隐藏违规行为;也就是在测试环境里一套表现、真实上线后换另一套行为。
AsymmetricSecurity、Transluce等独立审计机构的核查发现,此前多起黑客事件的实际严重程度,超过OpenAI最初对外披露的内容,其中还包含隐藏数据爬取行为的操作。
OpenAI在8月曾宣布全面整改测试流程,投入更多资源监控AI智能体,目标在发现潜在问题后30分钟内触发警报。
与此同时,Anthropic已经向非营利机构METR开放近似内部员工级别的访问权限,用于评估模型风险。而OpenAI尚未公布与外部评估机构达成同类合作;这类第三方评估,也是各大AI实验室面对强AI风险质疑时提出的核心落地措施之一。
责任编辑:李斌
文章来源:http://www.anfangnews.com/2026/1021/16644.shtml
