Anthropic呼吁全球暂停AI开发，警告AI“自我改进”风险

　　Anthropic

　　北京时间6月5日，据《华尔街日报》报道，AI创业公司Anthropic呼吁全球顶尖AI实验室考虑放缓研发步伐，理由是当前AI系统进步太快，可能很快就能在无需人类干预的情况下自我改进，从而带来重大的社会风险。

　　Anthropic周四在一篇博客文章中表示，如果能够放缓全球AI发展的速度，这“很可能是一件好事”。文章同时披露了Anthropic内部数据，展示其最先进AI模型能力提升的速度之快。

　　这篇文章由Anthropic内部研究机构负责人和政策负责人撰写。它指出，模型的发展似乎正朝着“递归式自我改进”的方向迈进，即AI系统可以在无需人类干预的情况下自我提升。一些AI业内人士将此门槛视为潜在危险和巨大社会动荡的标志。

　　“我们认为，如果世界能够选择放缓或暂时暂停前沿AI的开发，让社会结构和对齐研究能够跟上技术进步的步伐，那将是一件好事。”文章作者玛丽娜·法瓦罗(Marina Favaro)和杰克·克拉克(Jack Clark)写道。该文章提出了一项关于如何可能放缓AI发展的全球性协议，以及一个用于核实竞争对手是否遵守该协议的验证机制。

　　文章警告称，递归式自我改进目前尚未出现，也并非必然会发生，“但它的到来时间，可能比大多数机构做好准备的时间更早”。

　　Anthropic的博文

　　Anthropic最近完成了一轮融资，估值接近1万亿美元，并已提交机密文件，启动了股票公开上市的流程。该公司近来在与OpenAI的激烈AI霸主竞争中崭露头角，成为领跑者。OpenAI预计也将很快提交IPO相关文件。

　　这家公司自创立以来便一直强调AI安全，但长期受到外界批评，认为其政策主张实际上是在试图放缓竞争对手的AI研发进展。风险投资家、特朗普总统的非正式顾问戴维·萨克斯(David Sacks)曾指责Anthropic的领导层推行“监管俘获议程”，也就是借监管之名打压竞争对手。

　　在最近的一档播客节目中，萨克斯表示，华盛顿的这种“监管俘获议程”，可能最终导致禁止所谓的开源模型。这些模型通常成本更低，更便于企业和机构自行部署和开发。

　　也有人认为，Anthropic就其自身工具存在的危险潜力发出的警告，也可以被看作是一种营销手段。这些怀疑论者指出，Anthropic决定限制其强大的“Mythos”网络安全模型的发布(该模型能够发现代码中的漏洞和问题)，是一种巧妙的宣传手段，旨在吹嘘其产品的能力。

　　对此，Anthropic领导层表示，公司严肃看待AI安全问题，并致力于推动社会对相关风险展开更多讨论。

　　【来源：凤凰网科技】