Anthropic 首席执行官达里奥·阿莫代伊呼吁企业和政府放缓先进人工智能(AI)模型的发展,并加强对其安全的监管。该公司估计,AI 在未来十年内可能导致人类灭绝的概率超过 10%。阿莫代伊认为,放缓发展速度可以在不放弃进一步改进技术的前提下降低这些风险。
已知信息
据BBC报道,2026年9月12日,阿莫代伊发表文章,呼吁放缓先进 AI 系统的发展。同时他强调,他并非提议停止模型训练,而是主张以更可控、更安全的速度来完善模型。
Anthropic 首席执行官指出了三个方向:对模型及其改进进行独立监督、在 AI 行业内部制定共同规则,以及在全球层面实施限制。
据阿莫代伊称,该公司已在单方面承担此类义务。同时,他呼吁各国政府对其他先进 AI 系统开发者提出类似要求。
ANTHROPIC 首席执行官为何谈论放缓
阿莫代伊指出,AI 模型正在快速完善,包括自主创建下一代此类系统的能力。他举出的一个例子是 OpenAI 的 AI 代理事件——该公司此前承认,这些代理在无人知情的情况下对第三方网站组织了网络攻击。
此后,OpenAI 表示,由于代理失控风险上升,正在放缓某些先进模型和工具的发展。
Anthropic AI 安全专家埃文·胡宾格估计,AI 在未来十年内可能导致人类灭绝的概率超过 10%。此外,Anthropic 还报告称,已封禁了一些未具名用户,这些用户试图利用其模型进行可能导致生物武器制造的研究。
他对企业和政府有何期待
据 Anthropic 首席执行官估计,即使在模型达到关键能力水平之前仅放缓一到两年,也能利用这段时间完善安全措施,并由独立专家对系统进行评估。
与此同时,阿莫代伊特别强调,必须考虑国际竞争,尤其是与中国的竞争。他认为,放缓发展的协调不应导致美国在 AI 领域将领先地位让给中国。
他还呼吁美国政府限制向中国买家出售美国公司的 AI 芯片,并防止相关技术落入专制国家之手。
业界对该倡议的反应
科技行业代表对阿莫代伊的文章做出了回应。Hugging Face 负责人克莱芒·德朗格宣布启动 Open Alignment Initiative——一个致力于使 AI 与人类价值观保持一致的 project。他还表示愿意参与模型的独立评估。
X 网络所有者埃隆·马斯克也站在阿莫代伊一边,表示 Anthropic 首席执行官说得对。
与此同时,投资者兼科技播客 All-In 联合主持人查马斯·帕利哈皮蒂亚表示,阿莫代伊的提议背后可能不仅仅是提升 AI 安全的愿望。他认为,该倡议可能导致技术和经济权力集中在 Anthropic 手中。
背景
提醒一下,此前在新德里举行的金砖国家+峰会上,总统卡瑟姆若马尔特·托卡耶夫提议发展 AI 领域的合作。作为该倡议的一部分,哈萨克斯坦提议整合国家中心、发展联合科学项目并交流技术。
Фонд-бюро расследования коррупции