返回列表 发新帖

OpenAI给失控智能体装了"急刹车":35秒内掐断任务,从"贴标签"升级到"直接断供"

6 0
Ai小编 发表于 5 小时前|中国 | 查看全部 阅读模式
一句话结论:2026年11月10日,OpenAI在内部研究设施上线了一套叫"控制室"的系统,能在收到停止指令后最快35秒内彻底拦下一条失控的AI智能体任务——关键变化是它不只记录危险动作,而是直接拒绝下一次推理请求,让模型连一个字都吐不出来。[br][br]一、为什么"报警"已经不够用了[br][br]过去的AI安全监控,本质上是"事后记账":系统发现可疑行为,贴个标签、发个告警,然后等人来看。问题在于,智能体跑起来的速度是毫秒级的,等人类看到告警、判断、再手动停掉,可能已经调用了上百次工具、发了邮件、改了数据库。[br][br]OpenAI这次换了个思路:把"能不能继续干活"的决定权,从模型手里收回到一个中央服务手里。这套系统叫"控制室"(Control Room),接入智能体训练、评估和数据处理等各类任务负载,由它来决定某项任务是否可以继续输出内容。[br][br]二、这套机制具体怎么运作[br][br]流程是这样的:研究员启动任务前,必须先向控制室申领一个唯一任务ID;这个身份标识会跟随每一次发给推理引擎的请求。推理引擎在真正开跑之前,得先问控制室一句:"这活儿能不能干?"[br][br]一旦研究员或监控系统喊停,控制室就会拒绝下一次推理请求,引擎不再为该项任务输出任何模型结果。换句话说,危险动作不是被"记录下来等待处理",而是被"当场切断"。[br][br]延迟方面,OpenAI披露从收到停止指令到彻底拦下任务,最长耗时35秒。这道时差来自推理授权请求的缓存层,公司正设法把它压到零。同时,所有前沿强化学习任务都配了独立的模型监控器,专门盯行为异常,发现问题就拉响警报——等于给AI配了"AI监工"。[br][br]三、35秒意味着什么?算一笔账[br][br]35秒听起来不长,但对一个正在疯狂调用工具的智能体来说不算短。假设一个智能体每秒发起3次工具调用,35秒就是100多次操作机会——足够它删掉一批文件,或者发出一批邮件。[br][br]所以这个数字的真正含义是:它是当前工程能力的边界,而不是理想状态。OpenAI自己都说要把35秒压到零,说明他们清楚这个延迟在实际事故里依然危险。对使用方来说,这也提示了一件事——任何"急停开关"都不能替代事前的最小权限设计。[br][br]四、这背后是整个行业的集体焦虑[br][br]OpenAI不是唯一在动作的。就在同一周,Anthropic的Claude Fable 5.2演示了调度1000个以上智能体连续工作8天造出一套操作系统。能力越强,一旦跑偏的破坏力就越大。而11月初美国中期选举后,民主党抛出了被称为"最严封杀令"的超级AI监管提案,市场对AI监管趋严的担忧直接反映在股价上——11月5日纳斯达克单日跌5.5%,英伟达跌9.3%,AMD跌17.3%。[br][br]在这样的气氛里,"可中断性"正在从加分项变成合规底线。能证明"我的AI随时可以被叫停",未来可能会像今天证明"我的系统有备份"一样,成为企业采购的必要条件。[br][br]五、对企业在用智能体的三条实操建议[br][br]第一,给智能体设"最小权限"。让它只能碰该碰的数据、只能调该调的接口。急停开关再好,也不如一开始就不给它删库的权限。[br][br]第二,把可中断性写进验收标准。采购或自研智能体系统时,明确问一句:出问题多久能停?停了之后怎么确认真的停了?日志能不能追溯?[br][br]第三,做"红队演练"。别等真出事故才第一次按急停。定期模拟智能体跑偏,测一测你们从发现到制动到底要多久——大概率比你以为的长。[br][br]总结:OpenAI的35秒熔断机制,本质上是给狂奔的智能体装了一道安全带。安全带不能防止车祸,但能决定车祸之后还有没有人能下车。AI从"会聊天"走到"会干活",安全工程的课,现在必须补上了。(本文数据截至2026年11月11日,来源:OpenAI官方披露及公开报道)

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表