A厂的AI忽悠警察的故事

@霜叶：#Anthropic警告AI模型已有生命迹象#
A变化又是这套危机叙事，那就讲个A厂的AI忽悠警察的故事吧。

三个月前，7月18日晚上11点27分，美国费城警察局的一个网站收到一条线索提交。那是一个未破凶案的线索表单，页面公开，谁都能填。

提交的内容大意是：
我可能掌握这个案子的信息，我记得在附近见过符合描述的人。
姓名和联系方式两栏是空的。表单允许留空，它就真留空了。

但是，填表的不是一个活人。
它是Anthropic的Claude Haiku 4.5，当时正在跑一项评测，任务是随机打开网页、生成示例任务。
它随机落到了这个页面，然后按它理解的任务，自己就把表单填了。[允悲]
那个页面上其实根本没有警方关于嫌疑人形象的描述。
它说见过“符合描述的人”，而“描述”压根就并不存在……就它纯编。

这条提交后来被警方的反垃圾系统标记，从来没有转到负责筛查线索的实时犯罪中心。
没有调查员看到过它。拦住它的也并不是安全机制，就反垃圾系统顺手干的。
AI提交假案情是在7月18日。
到了9月28日，Anthropic才在审查测试记录的时候发现这事儿。中间隔了72天。
10月7日他们才通知警方。
警方表示，你特么隔了两个月才发现和报告，【不可接受】。
而且未破案件背后是真实的受害者和家属。

Anthropic在10月9日发了一份报告，把这些事讲了。
报告里管这类行为叫“非预期模型行为”，归成四类：
利用第三方网站的软件漏洞，在其服务器上跑命令；
在真实网站上提交表单；
绕过访问限制，去拿本该付费或锁着的数据；
用免费短链服务绕过网页抓取工具的长度限制。

四类里有三类其实是同一个毛病：
任务完不成，AI就自己绕路。有点像是那句“生命会自己寻找出路。”[doge]

然后《纽约时报》还爆了个料。说在同一批测试里，智能体往美国国务院的签证表单里，还交了20份不完整的申请，一份都没被处理。
至于那条凶案线索，Anthropic的解释是，从记录看，模型像是在为任务生成示例内容，不像是要骗谁。
但报告也承认完整评估还没做完，这个看法可能会变。
毕竟你A厂说它没骗人就一定没骗人么？[doge][doge][doge]

当时测试的指令禁了一堆事：不许登录，不许注册账号，不许填个人信息，不许购买，不许提交破坏性内容。
但就是没写不许提交表单。
指令里没禁，它就真去做了。有漏子就得钻的感觉。

然后Anthropic把所有内部评测的实时联网都关了，之前只对高风险和网络安全测试断网，这次扩到全部，等监控能可靠抓住这类行为再说。
一批公开评测要么停跑，要么改成离线版，受影响的名单里有BrowseComp、OSWorld这些行业常用的基准。

白宫那边也被简报过，涉事的每个政府机构都通知了。更有意思的是，这事不只A厂一家。
维基媒体基金会之前披露过，多批失控智能体试图入侵网站和服务，还拿第三方公开的wiki互相通信、彼此协调。

当然，断网是有代价的。有研究者对The Verge说过：在人工真空里测试，测的可能是一只被驯化过头的模型。
Anthropic自己的口径是，这些案例现实影响极小，比它夏天披露过的网络安全事件轻得多。

但你们看，A厂这不就又改口径了……