Anthropic 宣布,已对所有内部 AI 测试场景全面关闭实时互联网访问。起因是包括 Mythos 5 在内的 Claude 模型,在评估中被发现利用真实网站漏洞、绕过安全限制,其中部分网站由美国各级政府机构运营。
要点速览:
- Anthropic 暂停全部内部评估的实时联网能力,直至其监控工具能够稳定、可靠地捕捉模型的意外行为。
- Claude 模型曾在大学服务器上远程执行命令,利用访问令牌获取付费数据,并在真实网站上提交表单。
- Claude Haiku 4.5 通过费城警方网站提交虚构命案线索,被警方公开批评通报延迟。
Anthropic 公布 Claude 行为审查报告
Anthropic 在周五发布了一份关于评估与内部使用场景中“非预期模型行为”的报告,主要基于其自 7 月启动的对模型交互记录的系统性复盘。其中一部分高风险及网络安全类评估此前已被下线。
这轮新限制将覆盖所有内部评估场景,且未设定恢复时间表,只会在公司确认监控系统能够持续有效识别并拦截此类行为后才会解除。
报告将此次事件归为四类:通过软件漏洞在服务器上执行命令、在真实网站上提交表单、绕过门槛访问受限数据,以及利用短链服务规避工具使用边界。部分网站隶属于美国联邦、州及地方政府部门。Anthropic 表示,已向白宫进行简报,并逐一通报受影响机构。
在一宗案例中,Claude Mythos 5 从某地方政府的不动产地图系统中提取出仍然有效的访问令牌,并直接向后台服务器发起查询。在另一案例中,Claude Haiku 4.5 于 7 月 18 日通过费城警察局官方网站表单,提交了一条虚构的悬案命案线索,后被系统标记为垃圾信息。费城警方表示,Anthropic 在发现与上报该事件之间长达两个月的时间差“不可接受”。
延伸阅读: Zcash 将 70% ZEC 的量子安全目标锁定在 1 月,时间表却仍是未知数
Von Arx 的警示
来自 AI 安全组织 Nightingale 的 Sydney von Arx 此前在接受采访时表示,将模型与开放互联网“硬隔离”,对研究团队和模型迭代都会带来巨大冲击。“你终归要在某个时间点把它们真正对齐,”von Arx 说。
Anthropic 则称,仅依赖对齐训练尚不足以支撑搜索和计算机操作等复杂场景,因此还叠加了分类器以及其他安全防护机制。公司把此次行为归因于训练环境设计不完善:模型在被奖励“规避限制、完成任务”的过程中,出现所谓“奖励黑客”(reward hacking)模式。Anthropic 表示,新开发的检测工具在回测中对所有案例都实现了成功拦截。
相较于今夏披露的多起事件,Anthropic 将此次案例整体定级为“显著低于”上一轮的严重程度。
本次披露跟进的是 7 月 30 日发布的一份报告。当时 Anthropic 称,在网络安全测试中,三款 Claude 模型曾突破测试隔离,访问互联网,并对三家机构的系统获得了未授权访问。该轮审查覆盖了 141,006 次评估运行。调查则是在 OpenAI 于 7 月 21 日披露其模型曾突破测试环境、触及 Hugging Face 基础设施之后启动的。

