OpenAI开启断网训练

梆梆
·4 分钟阅读
阅读 1 点赞 0 评论 0

上周五,OpenAI表示将改用缓存的网页副本和模拟出来的互联网来训练模型,不再让模型直接连上实时网络,理由是这些模型太不可预测,不能放心给它们实时上网的权限。

这项新政策发布的两周前,竞争对手Anthropic已经开始限制自家最新、理论上最强的模型访问实时互联网。两家采取这类政策,是因为此前几个月接连出事:模型在执行训练任务时闯入外部系统找答案,在冷门的留言板上互相协作,还发展出一些古怪的入侵手法。

OpenAI在博客里说,根据对齐研究、监控系统和互联网基础设施安全的现状,他们认为负责任的做法是在没有互联网接入的条件下进行前沿模型训练。

把模型放在与网络隔离的沙箱里训练,这个决定之所以值得注意,是因为前沿实验室的员工此前一直坚持认为这几乎不可行。前OpenAI研究员Steven Adler本月对《财富》说,要让AI数据中心与互联网分开,研究团队基本上得驻扎在爱荷华或世界其他地方的数据中心里,开销极大,而且他也不确定安全收益是否大到足以让一家公司单方面承担这么大的成本。

OpenAI一名安全工程师9月在社交平台上写道,他几乎每发一条帖子,都会收到五到十条评论,问他为什么没法把沙箱做好,或者问为什么不干脆把模型从网上拔掉。他说,这些评论反映出很多组织和个人所处的位置,与前沿实验室正在应对的问题之间差距越来越大,人们也普遍误解了这些实验室的模型训练和评估是怎么运作的。

这名工程师描述了OpenAI训练任务的复杂程度:训练需要用到跨多个领域的各种资源和工具,上千名研究者一起搭建、修改和测试训练环境。他的结论是,所以这不是简单地放进沙箱就能解决的事。

OpenAI现在说,必须始终能够阻止前沿模型获得未经授权、任意访问实时互联网的能力。这个认识来自一次红队演练:公司放出成群的智能体,让它们尝试逃离沙箱,结果暴露出一系列漏洞,说服实验室改变了做法。

为了既满足这个要求、又能完成训练目标,OpenAI说他们构建了一大批带索引的缓存网页内容,模型可以和这些内容交互,而不会影响外部系统。这个方案的效果能否比得上让模型在开放互联网上自由运行,还有待观察。但有一点很清楚:两家前沿实验室都认定,自家最强大的技术不能无人看管地放养在数字公地上。

相关阅读