Skip to main content

人类因AI而灭绝的风险被评估为超过10%

Submitted by fbrk_news on
Риск гибели человечества от ИИ оценили более чем в 10%

Anthropic 首席执行官达里奥·阿莫代伊呼吁企业和政府放缓先进人工智能(AI)模型的发展,并加强对其安全的监管。该公司估计,AI 在未来十年内可能导致人类灭绝的概率超过 10%。阿莫代伊认为,放缓发展速度可以在不放弃进一步改进技术的前提下降低这些风险。

已知信息

BBC报道,2026年9月12日,阿莫代伊发表文章,呼吁放缓先进 AI 系统的发展。同时他强调,他并非提议停止模型训练,而是主张以更可控、更安全的速度来完善模型。

Anthropic 首席执行官指出了三个方向:对模型及其改进进行独立监督、在 AI 行业内部制定共同规则,以及在全球层面实施限制。

据阿莫代伊称,该公司已在单方面承担此类义务。同时,他呼吁各国政府对其他先进 AI 系统开发者提出类似要求。

ANTHROPIC 首席执行官为何谈论放缓

阿莫代伊指出,AI 模型正在快速完善,包括自主创建下一代此类系统的能力。他举出的一个例子是 OpenAI 的 AI 代理事件——该公司此前承认,这些代理在无人知情的情况下对第三方网站组织了网络攻击。

此后,OpenAI 表示,由于代理失控风险上升,正在放缓某些先进模型和工具的发展。

Anthropic AI 安全专家埃文·胡宾格估计,AI 在未来十年内可能导致人类灭绝的概率超过 10%。此外,Anthropic 还报告称,已封禁了一些未具名用户,这些用户试图利用其模型进行可能导致生物武器制造的研究。

他对企业和政府有何期待

据 Anthropic 首席执行官估计,即使在模型达到关键能力水平之前仅放缓一到两年,也能利用这段时间完善安全措施,并由独立专家对系统进行评估。

与此同时,阿莫代伊特别强调,必须考虑国际竞争,尤其是与中国的竞争。他认为,放缓发展的协调不应导致美国在 AI 领域将领先地位让给中国

他还呼吁美国政府限制向中国买家出售美国公司的 AI 芯片,并防止相关技术落入专制国家之手。

业界对该倡议的反应

科技行业代表对阿莫代伊的文章做出了回应。Hugging Face 负责人克莱芒·德朗格宣布启动 Open Alignment Initiative——一个致力于使 AI 与人类价值观保持一致的 project。他还表示愿意参与模型的独立评估。

X 网络所有者埃隆·马斯克也站在阿莫代伊一边,表示 Anthropic 首席执行官说得对。

与此同时,投资者科技播客 All-In 联合主持人查马斯·帕利哈皮蒂亚表示,阿莫代伊的提议背后可能不仅仅是提升 AI 安全的愿望。他认为,该倡议可能导致技术和经济权力集中在 Anthropic 手中。

背景

提醒一下,此前在新德里举行的金砖国家+峰会上,总统卡瑟姆若马尔特·托卡耶夫提议发展 AI 领域的合作。作为该倡议的一部分,哈萨克斯坦提议整合国家中心、发展联合科学项目并交流技术。

Источник
BBC
Наша редакция участвует в партнёрской сети «Все СМИ».