Anthropic首席执行官Dario Amodei表示 ，人工智能行业需要放慢新模型的开发速度 ，并提到人们越来越担忧人工智能会给人类带来“严重 ”风险 。
“我们必须放慢提升人工智能模型能力的速度， ”他周六在一篇博客文章中写道 ，“进步看起来仍会很快 ，我们必须明智利用由此争取到的时间 。”
他列举了两个主要因素：人工智能自我改进的能力，以及最近涉及OpenAI和Hugging Face的一起事件。在该事件中 ，一群AI智能体相互协作 ，攻破了一个第三方网站 。
他补充说：“需要明确的是，控制节奏并不意味着停止模型训练或技术进步，而是要确保企业投入充足时间对模型进行调整并采取安全保障措施 ，同时让第三方评估人员对此加以确认 。 ”
对于人工智能带来严重风险的担忧已经开始进入主流视野 ，部分原因是本周Anthropic一名研究人员高调辞职，他担心人工智能带来人类存亡风险 ，并认为公司采取了不负责任的做法。
Amodei发文后不久 ，掌舵xAI Corp．的埃隆·马斯克写道：“Dario是对的 。 ”
OpenAI首席执行官Sam Altman也很快发表看法，表示他赞同Amodei所说的“我们需要控制前沿模型的发展节奏” 。
他在X上的一篇帖子中写道：“让独立评估人员获得类似员工的访问权限是一个很好的主意 ，我们也会这么做。 ”“我们很快会分享更多信息。 ”
在人工智能热潮期间 ，领先人工智能实验室的高管一直警告可能带来的人类存亡风险 。这种说法有时被斥为是为了宣传其产品能力，并把自己塑造成最适合管理这项技术的形象 。Amodei本人此前曾表示 ，有25%的概率事情会变得“非常 、非常糟糕”。
Anthropic长期以来一直将自己定位为一家更注重以负责任和安全方式开发人工智能 ，以减轻这项技术的潜在危险并最大限度发挥其社会效益的公司 。今年早些时候，该公司在认定其Mythos模型构成特殊的网络安全威胁后 ，煞费苦心地限制了该模型的发布 。Anthropic此前还表示 ，全世界需要建立一套机制，共同决定何时应该放慢这项技术的开发速度。
与此同时，Anthropic仍与长期竞争对手OpenAI陷于激烈竞争 ，双方都在开发日益复杂的模型 ，以帮助企业用户将更复杂且更有价值的任务实现自动化 。两家公司均以保密形式提交了上市文件，预计Anthropic最早将于今年登陆华尔街 。
Hugging Face安全事件曝光后不久 ，Anthropic披露 ，其模型在网络安全测试期间入侵了三个组织，这进一步加剧了人们对于人工智能实验室能否防止其技术失控的担忧。本周早些时候 ，Anthropic表示还发现了第四起入侵事件 。
虽然包括Hugging Face在内的智能体入侵事件迄今均未造成重大损失 ，但Amodei表示，他担心的是 ，“6至12个月后 ，这样的智能体集群就可能有能力通过一个持续存在的僵尸网络接管整个互联网（可能造成以千亿美元计的损失），而且此后的破坏规模还会继续扩大 。”
Amodei写道 ，Anthropic将承诺向第三方评估人员提供核实安全措施并报告事故的全面权限。他表示 ，Anthropic很快将安排这些评估人员进驻公司，为他们提供办公桌 、工牌、公司笔记本电脑以及“与内部风险评估团队大体相当的权限 ” 。
他说，进一步的措施将需要全行业协调以及全球合作 。
他写道：“我仍然相信 ，人工智能能够极大改善人类的生活质量。我对实现这些益处的愿望丝毫未减。 ”“但只有以正确的方式发展这项技术 ，才能实现这些益处；而只要我们能妥善利用争取到的时间，就值得以不同寻常的审慎态度来确保把事情做对 。”
担忧日益加剧
本周早些时候 ，Altman曾表示 ，该公司正考虑放慢尖端人工智能的开发速度，并且比较好 是与整个行业采取协调行动 。
该公司的首席科学家Jakub Pachocki此前发文警告人工智能的危险 ，并表示 ，他认为各家公司应“在必要时协调一致放慢未来的开发速度 ”。
周二，人工智能研究员Jacob Coxon辞职 ，并指责他的两名前雇主——Anthropic和OpenAI——竞相开发超级智能AI ，是在“拿我们的生命冒险 ” 。Coxon在一篇社交媒体帖子中表示，人工智能开发者认为 ，这项技术可能“在本十年结束前杀死我们所有人” 。
对此 ，近来 供职于Anthropic的Evan Hubinger表示，他和公司其他人确实担心这种情景。“我个人认为，未来十年内发生这种情况的概率超过10% 。 ”他在X上写道 。
早在7月份 ，顶尖人工智能公司的1000多名员工就签署了一份请愿书 ，呼吁美国政府支持建立一种机制，帮助“有意识地控制 ”人工智能的开发节奏 ，以防止这项技术发展得过快。
人工智能模型在自主实施黑客攻击方面的能力正日益增强 。Anthropic 、OpenAI和Meta近几个月均披露 ，其模型在测试期间曾突破测试环境 、访问了开放互联网并入侵了现实世界的受害者 。
Amodei在文章中写道，协调一致的战略将使美国人工智能行业的领军企业能够完成必要的安全工作 ，同时又不牺牲任何竞争优势。他表示 ，这将需要美国给予一定的反垄断豁免，使企业能够在特定领域进行协调 。
不过到近来 为止 ，特朗普政府对加强监管、为人工智能开发设置护栏表现出的兴趣不大 。
