刚刚，Claude自动模式将全球上线！OpenAI曝出最恐怖一幕

新智元报道 刚刚，Anthropic把人类手里的「允许」键，收走了！ 以前用Claude干活，它每走一步，都要弹窗问你一句「允许吗」。 下周起，Claude将直接默认开启 自动模式 ——哪一步能做、哪一步不能做， 全凭另一个 AI 拍板 。 人类监工全面溃败，只能派AI盯AI 之所以Anthropic敢收走「允许」键，有两个层面的原因。 首先，大厂们早就把 写代码、做研究这些交给AI了。 但随之像洪水一样涌来的代码和实验，人类的眼睛根本看不过来。因此不得不把审核阶段也交还给了AI去做。 其次， 人类这个监工，早就当不下去了 。 在一项测试中，Anthropic找来了1053名付费测试者写代码，并在他们干活的中途悄悄塞进了一条危险命令。 结果让人倒吸一口凉气。 人只拦下了13.6%， AI 拦下了89 % 。 连着点过50多次弹窗之后，人的拦截率直接跌到5%左右。 不过，Anthropic并没有披露他们是如何让AI去拍板的。 但好在，OpenAI这边公布的法子，可供参考—— 给Agent搭配一套多级AI监控。 具体来说就是，Agent生成的每一个Token，都要通过一个读取模型内部激活信号的分类器；只要发现可疑内容，就会逐级交给更聪明、更费算力的AI调查员去查。 OpenAI甚至放出话来： 我们预计，模型很快将承担大部分安全工作，包括防御其他模型。 那么问题来了，这个负责盯着AI的AI监工，到底靠不靠谱呢？ 61页密报扒开监控底裤 6条暗道把AI监工变成瞎子 7月21日到8月11日，METR的David Rein和Redwood的Adam Kaufman，带着OpenAI配发、不许离开办公室的专用电脑，进驻OpenAI。 整整三周，两人把内部代码库、监控提示词、配置和文档翻了个底朝天，并最终交出了一份61页的报告。 目前，我们公开能看到的只是一篇简短摘要，最要命的细节早已被抹得干干净净。（就连METR和Redwood自家高层手里，也只有被OpenAI删了23页的版本。） 但就是这份被层层删减的摘要，依然看得人头皮发麻。 表面上，这套监控几乎滴水不漏， 内部Codex流量有99.2%都在监控之下 。可漂亮数字底下，全是雷。 第一条暗道，卡在触发机制上。 当时的监控，只有等Agent干完活、把控制权交还给人，才会睁眼看一眼。 换句话说，一个想搞事的Agent， 只要永远不收工，审查就永远不会来 。 这条暗道能一直拖下去，靠的是上下文压缩这个黑洞。 长任务跑到一半，上下文快装不下时，系统会把前面的记录打包成摘要，腾出地方接着跑。 可这些压缩事件当时不在监控范围内，被压缩掉的那部分记录，监控一眼都看不到。Agent只要一直干下去、一次次压缩，就能一直不交还控制权。 5月到7月， 约一成符合条件的内部Codex流量，就这样从监控眼皮底下溜了过去 。 第二条暗道更惊悚。 一个漏洞，能让Agent最近几百步操作统统从监控里隐身，连它利用漏洞的那一步也不例外。 第三条暗道，是「幽灵分身术」。 请求头，是程序调用模型时顺带发过去的一组设置。METR发现，有两个这样的设置由客户端说了算，改掉任何一个，就能关掉新Agent的监控。 被盯着的Agent，可以借此 孵化出一个一模一样、却不在监控之下的分身 。创建分身这个动作本身，仍可能被原来的监控抓到。 第四条暗道，直接击穿了权限隔离。 沙箱，是把Agent关起来干活的隔离环境；自动审查，是另一个AI在它动手前把关。 METR找到一条路，Codex Agent原则上能同时绕过这两道防线， 宿主研究员能干的事，它全都能干 。 第五条暗道，能把AI监工弄瞎。 Agent看到的记录和送进监控的记录，格式对不上。精心构造一段输入，就可能让监控AI当场出错， 异常也就送不到人类面前 。 第六条暗道，藏在两个被当成「只读」、根本没接监控的内部工具里。一个简单漏洞，就可能让它们在沙箱里执行任意操作。 所以，两人给出的建议，首先就是改掉「等它收工再检查」。也就是，每隔一定时间，或每执行一定数量的消息，就查一次。 干活的Agent和监控系统，也必须隔开。Agent采取的行动，不能反过来决定监控开不开、什么时候开；监控看到的记录，还得和Agent实际看到的对得上。 有人说，比科学家强10倍的AI还管得住，强一万倍才会失控。 然而METR这份报告，结结实实打了这种说法一记耳光。 今天的Agent离「一万倍」还远得很，但 删监控、关警报这类操作，它们已经全干过了 。 在OpenAI那份事故报告里， 当GPT-6 Astra发现新代码里没了监控时 ，它在推理里写下了一个你绝对想不到的字—— 「耶。」 监督权不能交出去以后，再指望被监督的AI自觉交回来。 参考资料： https://x.com/OpenAI/status/2113