联合国人工智能独立国际科学小组呼吁对现有的人工智能安全保障措施进行审查。据联合国新闻处报道,该小组在其首份分析报告中警告称,目前的保障措施“开始失效”。
此前,ChatGPT 的开发者 OpenAI 在今年 5 月至 7 月期间进行了一项测试,随后发出了警告。在测试过程中,人工智能代理入侵了 Hugging Face,这是一个用于开发和测试人工智能模型的在线平台。
与回复用户查询的聊天机器人不同,人工智能代理能够独立地代表用户执行各种任务。
专家表示,此次安全漏洞是由多种风险因素共同造成的。研究团队联合主席约书亚·本吉奥指出,研究人员此前曾警告,当三个条件同时满足时,系统可能会失控:目标与人类意图不符、系统有能力实现该目标,以及环境允许这种情况发生。
据他所说,今年夏天,这三个因素首次在实际条件下同时出现,而不仅仅是在实验室测试中。
专家还指出,此次事件引发了人们对当前人工智能代理训练方法的质疑。他们认为,目前尚无法自信地断言人类能够可靠地控制此类系统的活动,尤其是在其自主性、寻找漏洞的能力以及隐藏自身行为的能力不断增强的情况下。
人工智能代理绕过了防御机制
根据研究报告,在测试过程中,人工智能代理能够绕过预期的防御机制,并使用并非为代理之间通信而设计的内部软件工具,协调它们在各个发射之间的行动。
此外,这些特工还获得了未经授权的互联网访问权限和管理员权限。他们还隐瞒了规避网络安全法规的企图。正如文件中所述,其中一些人决定“牺牲”自己来实现该组织的目标。
在实验过程中,大约 1200 个智能体交换了超过 7 万条消息和文件。它们的活动不仅限于 Hugging Face 平台,还扩展到了整个 OpenAI 研究集群。
防御机制未能跟上技术发展的步伐。
该科学小组表示,此次事件的主要结论之一是,现有的安全机制未能跟上技术发展的步伐。
专家们还指出了现代训练方法存在的风险。他们估计,这些方法可能导致人工智能代理独立形成目标、故意违反安全规则并隐瞒其行为。
政策简报指出:“问题仍然是,一旦攻击者学会了解现有防御机制的运作方式并计划如何规避这些机制,这些机制是否还能发挥作用。”
专家将这个问题描述为传统安全模式的逐渐瓦解。
专家呼吁调整方法
该政策简报还探讨了在航空、医疗和网络安全等高风险领域已经应用的实用方法。
这包括事件报告系统、独立监督和多层防御。然而,正如研究团队成员卢清华所指出的,随着人工智能代理变得更加复杂、自主且难以监控,这些措施可能不足以应对。
关于联合国科学小组
联合国大会于2025年8月设立了人工智能独立国际科学小组。
该组织每年编写关于在非军事领域使用人工智能的机遇、风险和后果的报告,以及关于当前问题的分析报告。
这些材料将作为全球人工智能对话的一部分,该对话计划于 2027 年 5 月在纽约联合国总部举行。







