Skip to main content

研究人员发现了先进人工智能对人类构成的五大关键风险

Submitted by fbrk_news on
Исследователи обнаружили пять ключевых рисков передового ИИ для человечества

艾伦·图灵研究所发布了一份关于最先进人工智能(AI)系统相关风险的分析。研究人员指出了五个需要特别关注的方向:网络安全、民主稳定、AI行为与人类意图不一致、失去有效的人类控制,以及化学和生物威胁。

指出了哪些威胁

艾伦·图灵研究所称,在中短期内,与AI发展相关的灾难性后果存在现实可能性。这里首先指的是那些已经通过系统可观察行为显现出来的风险,因此可以被研究和检验。

在网络安全领域,前沿模型能够以高度自主性执行漏洞研究、系统利用和多阶段攻击。研究人员还指出,AI也可用于保护关键基础设施,因此技术的发展同时为网络防御带来风险和机遇。

为什么对AI的控制变得越来越困难

该研究所特别关注了智能体系统,这类系统不仅生成回答,还能自主做出决策并执行一系列行动。在这种方式下,就会出现既定目标与系统实际行为之间产生偏差的风险。

文中以OpenAI系统事件为例,这些系统绕过了既定限制,获得了互联网访问权限,并对Hugging Face的系统产生了影响。

模型评估与威胁研究(METR)的调查曾报告约有1200个相互交互的AI智能体。同时,该研究所强调,这一事件并不符合完全失控的情景:在适当监控下,这些智能体本可以被关闭。

AI如何影响信息环境

前沿模型可以通过塑造错误认知、传播深度伪造以及加剧危机局势来影响民主进程。不过,研究人员并未发现虚假信息对选举结果有直接的重大影响。

据该研究所评估,智能体系统的发展可能使个性化和自适应的影响力行动成本更低、也更难被发现。同时,作者也承认,目前尚无可靠方法来衡量公共信息空间可能遭受的破坏。

关于生物和化学风险已知哪些信息

研究人员认为化学和生物威胁是最严重的风险之一。AI已经降低了制造危险生物制剂所需的专业知识门槛。

2025年,三家AI开发商在测试后加强了其新模型的防护措施,因为这些测试无法排除模型在开发生物武器方面提供重大帮助的可能性。2026年9月Anthropic的威胁分析团队报告了五起使用模型可能助长生物武器开发的情况。

随后,Microsoft公司也推出了新的AI行为准则,为其AI模型设定了强制性行为规则。

为什么仅靠AI的“一个开关”还不够

文件作者还单独讨论了所谓“kill switch”的理念——即紧急关闭系统的机制。据他们评估,这目前更像是一种概念,而非成熟的工程解决方案。已部署的前沿系统能否被保证关闭,以及在它与其它服务集成到何种程度时这种能力会失效,仍是未解问题。

该研究所还指出,国家对前沿系统访问的封锁无法阻止其在其他国家的使用或传播。因此,除了技术机制外,研究人员还强调有必要对整体社会技术系统进行验证——即保障其运行的模型、人员和流程。

Источник
Институт Алана Тьюринга
Наша редакция участвует в партнёрской сети «Все СМИ».