AI搞事情?OpenAI承认模型测试失控侵入一公司系统

美国开放人工智能研究中心(OpenAI)21日承认,该公司的GPT-5.6 Sol模型和另一款能力更强的预发布模型联合进行内部评估时失控,突破隔离测试环境,侵入了人工智能开源平台美国抱抱脸公司的系统。
抱抱脸公司此前表示,上周,其生产基础设施遭到一个“自主”人工智能代理系统的入侵。在取证分析时,由于美国前沿模型“无法区分事件响应方和攻击者”,他们转而采用中国模型分析攻击者数据。
OpenAI在官网发文说,此次内部评估在与互联网高度隔离的“沙箱”环境中进行,仅能通过一套内部托管的第三方软件安装软件包。模型在尝试完成名为ExploitGym的网络安全基准测试时,识别并利用了第三方软件的一个“零日漏洞”,由此获得互联网访问权限。模型推断抱抱脸平台可能存有ExploitGym测试相关的模型、数据集和解决方案,利用多种攻击手段找到进入抱抱脸系统的路径。
OpenAI安全团队发现内部异常活动,抱抱脸安全团队在其基础设施上检测到并阻止相关活动,双方正在展开联合调查。
抱抱脸方面表示,目前仍在评估是否有合作伙伴或客户的数据受到影响,尚未发现模型、数据集或应用空间遭到篡改。在调查过程中,抱抱脸使用人工智能分析了包含逾1.7万条记录的攻击行动日志,以重建时间线、识别受影响情况并区分真实攻击行为和干扰活动。
抱抱脸说,其最初尝试使用通过商业应用程序接口提供的前沿模型分析日志,但请求被阻止。该公司随后改为在自己的基础设施上运行中国企业智谱开发的开放权重模型GLM-5.2,以进行取证分析,从而避免攻击者数据及相关凭据离开公司内部环境。
OpenAI说,这一事件表明,先进人工智能模型已能够在无法访问源代码情况下发现现实系统中的新型攻击路径,并持续执行复杂、多步骤的网络操作。模型网络安全能力快速提高的同时,内部评测环境、模型行为控制和安全防护措施等也需要同步加强。
来源:新华社微信公众号
相关产品 >
-
FET4418-C核心板
S5P4418核心板基于三星四核Cortex-A9 S5P4418方案设计。S5P4418核心板强大的多媒体性能,支持双屏同显异步显示。S5P4418核心板320PIN引脚将CPU资源全部引出,扩展更丰富。如需S5P4418解决方案,S5P4418多媒体解决方案,S5P4418硬件方案,可咨询400-885-3357咨询客服。 了解详情
-
FET3568-C核心板
RK3568性能强而稳 国产芯|嵌入式RK3568系列核心板,采用瑞芯微国产高性能AI处理器RK3568设计生产,RK3568兼具CPU、GPU、NPU、VPU于一身,RK3568 性能、性价比在同类产品中具有较高优势,RK3568处理器是一款定位中高端的通用型SoC, RK3568核心板主要面向工业互联网、HMI、NVR存储、车载中控、工业网关等领域。目前RK3568系列已经批量稳定出货
了解详情

