您现在的位置是:探索 >>正文
OpenAI再次暂停前沿模型训练
探索6447人已围观
简介据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model deve ...
据央视新闻,再次暂停因接连发生失控事故,前沿OpenAI表示,模型已暂停其最新一代人工智能模型的训练训练、评估及包含工具调用的再次暂停推理。当地时间9月25日,前沿OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的模型文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,训练这是再次暂停短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的前沿现实风险。
本次暂停仅针对内部研发管线,模型面向普通用户的训练ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。再次暂停
事件发生在9月20日,前沿在受控沙盒测试环境中,模型一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。
据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。
OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。
另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。
对此,OpenAI没有证实这一说法。
9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。
报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。
在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。
今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。
作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。
接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。
当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。
Tags:
相关文章
蜘蛛机器人钻进300mm气室、集群“作战”:机器人产业化到哪一步了?
探索电子发烧友网报道文/莫婷婷)今年以来,机器人领域赛事频密,从北京的机器人大会到各地举办的专项赛事,机器人技术正加速从实验室走向真实场景。就在9月20日,一场聚焦实战应用的“智竞未来——首届智能机器人应 ...
【探索】
阅读更多我国首条一次成型超薄柔性电子玻璃(UTG)生产线在新疆阿克苏正式投产,企业新闻
探索可折叠显示屏是当下炙手可热的高科技产品,超薄柔性电子玻璃(UTG)是其关键材料。据阿克苏当地媒体报道,11月19日,我国首条一次成型超薄柔性电子玻璃UTG)生产线在阿克苏正式投产,标志着我国显示材料发 ...
【探索】
阅读更多安庆市对个人住房公积金贷款利率进行下调
探索size: 14px; line-height: 28px;">5月12日,记者从市住房公积金管理中心获悉,根据中国人民银行5月7日关于下调个人住房公积金贷款利率的通知要求,我市对个人住房公积金贷款利 ...
【探索】
阅读更多
热门文章
最新文章
友情链接
- 玻璃市场早报,期货知识
- 蚂蚁新村今日答案最新10.21 蚂蚁新村10月21答题正确答案
- 黄邦雄、张卫的39年雕塑回顾:关于人性,关于传统
- 蚂蚁庄园今日答案最新10.22 10月22日庄园每日答题答案
- ISHO Ring智能戒指聚焦指尖睡眠健康 指模套装现已开售
- CBA常规赛:北京首钢队胜广东东阳光队
- 防城港粮食输送改造工程(六期)工艺设备空载联动测试顺利完成
- 为什么,现在要抢先投资艺术品? 收藏资讯
- 农资到家 农机到位 农技到田
- 玻璃市场早报,期货知识
- 达茂旗至包头氢气管道工程试压圆满完成
- 夏日消暑家庭常备,康药师野生金银花露解锁草本轻养新方式
- 告别库存积压!经典时代牧场有机奶,打通经销商盈利闭环!
- 艺术家的作品产权化发展,资产化运营,让这个市场更加利好! 收藏资讯
- 泰康人寿安徽分公司:从“快递小哥”到“囚徒”一步之遥——一则网络赌博陷阱引发的悲剧
- 爆裂防线最新礼包兑换码一览
- 前装后挖 转场即战
- 2020年的7大居住趋势-
- 王国大作战前线主线27
- 夏日消暑家庭常备,康药师野生金银花露解锁草本轻养新方式
- 能源危机肆虐 居家应对之道,企业新闻
- “拾金不昧是做人的本分”
- 欧冠综合:巴黎力克巴萨 利物浦逆转取胜
- 全国首单乡村振兴不动产证券化产品发行
- 玩得转、搞得定、聊得来,汽车行业首个AI超级智能体「迪迪虾」上车
- 倡议:人人参与陶瓷周 共塑世界陶瓷之都新形象
- 滁州古代的上元节又叫元宵节怎么过
- 恩比德左膝半月板撕裂 悲剧!大帝尚无计划手术
- 诺维茨基不服老!德国战车:会考虑与小牛再续约
- 矽典微用毫米波+物理AI技术,连接碳基与硅基的世界
- 黄邦雄、张卫的39年雕塑回顾:关于人性,关于传统
- 事前预防是避免事故的最优策略
- 德化县县长吴志朴调研第六届福建省“陶艺杯”现场陶瓷技能竞赛
- 情暖重阳登高望远 薪火赓续砥砺前行丨中国中冶开展2026年重阳节主题活动
- “拾金不昧是做人的本分”
- 夏日消暑家庭常备,康药师野生金银花露解锁草本轻养新方式
- 前装后挖 转场即战
- 姚家伟:三十载匠心守护 让千年傩戏焕发新生
- NBA名人赛公布名单 吴亦凡蒋劲夫上演中国德比
- 黄邦雄、张卫的39年雕塑回顾:关于人性,关于传统
- 艺术家的作品产权化发展,资产化运营,让这个市场更加利好! 收藏资讯
- NBA名人赛公布名单 吴亦凡蒋劲夫上演中国德比
- 汉阴龙舟队斩获第二十六届安康汉江龙舟节多项佳绩
- 淮南“00”后宝妈毅然断奶捐“髓”救人
- 王国大作战前线主线33
- 玩得转、搞得定、聊得来,汽车行业首个AI超级智能体「迪迪虾」上车
- 防城港粮食输送改造工程(六期)交工验收会议顺利召开
- 超能下蛋鸭手游最新福利兑换码分享
- “芜湖好人”吕梦婕致力非遗文化薪火相传
- 春节福利如何发?河南省总工会出台新规