自1909年e·m·福斯特(E. M. Forster)的《机器停止》(the Machine Stops)出版以来，失控的人工智能一直是科幻小说的主要内容，并在2023年引起了广泛而严肃的关注。国家标准与技术研究院于2023年1月发布了人工智能风险管理框架。随后，拜登政府于10月30日发布了《安全、可靠、值得信赖的人工智能》行政命令，第二天，28个国家和欧盟签署了《布莱切利人工智能安全宣言》。

作为一名专业的风险管理人员，我发现这些文件都是缺失的。我在小说中看到了更多对风险原则的欣赏。1939年，作家艾萨克·阿西莫夫(Isaac Asimov)厌倦了阅读智能机器攻击它们的创造者的故事。他坚持认为，聪明到可以制造智能机器人的人不会愚蠢到忽略道德控制——在所有智能机器的基本电路中，道德控制都是根深蒂固的。阿西莫夫的第一条规则是:“机器人不得伤害人类，也不得坐视人类受到伤害。”无论人工智能的目的是什么，都禁止违反这一法律。

或者想想1968年电影《2001太空漫游》中亚瑟·c·克拉克著名的HAL 9000计算机。HAL的故障不是由于计算机错误，而是因为它正确地计算出人类宇航员正在减少任务成功的机会——这是它的编程目标。Clarke的解决方案是确保人工智能能够超越人工智能系统的知识和控制范围。这就是弗兰克·鲍曼如何胜过HAL，使用物理门联锁和禁用HAL的人工智能电路。

尽管这两种方法都有人反对，但它们通过了第一个风险管理测试。他们想象一个糟糕的未来状态，并确定人们希望你现在做什么。相比之下，2023年的官方文件想象了糟糕的未来道路，并下定决心不走这些道路。问题是未来道路的数量是无限的，其中大部分是我们无法想象的。有相对较少的看似糟糕的未来状态。在金融领域，糟糕的未来状态是你有无法偿还的现金债务。有很多方法可以到达那里，我们总是承诺不走那些路。承诺是美好的，但风险管理教会我们关注我们今天可以做的事情，以使未来的状态能够生存。

可以终结人类生存的事情不缺:小行星撞击、环境崩溃、流行病、全球热核战争。这些都是盲目的危险。它们不寻求伤害人类，所以有一些人类存活的可能性。

两种危险本质上是不同的——来自恶毒的智能外星人的攻击，以及来自我们自己创造的智能的攻击。一个聪明的敌人躲起来，直到它获得了进攻的力量和位置，计划突破任何防御，继续战斗，直到获得完全的胜利，这是一种不同的担心，而不是盲目的灾难。

计算机控制的危险是众所周知的。软件错误可能导致不适当的操作，有时会导致致命的后果。虽然这是一个严重的问题，但这是一种盲目的风险。人工智能带来了一种完全不同的危险，它更像是一个恶毒的人类，而不是一台故障的机器。有了人工智能和机器学习，人类给计算机设定目标，而不是指令。有时这些是明确编程的，有时计算机被告知从训练集中推断它们。人工智能算法是计算机——而不是人类——用来实现目标的工具。不加考虑地指定目标所带来的危险不是盲目的或随机的。

这不同于哑巴计算机程序，在哑巴计算机程序中，一个人拼出程序对所有输入的期望响应。有时程序员犯的错误在测试中没有被发现。最严重的错误通常是与其他程序的意外交互，而不是单个程序错误。当软件错误或计算机故障确实发生时，它们会导致随机结果。大多数情况下，后果仅限于设计计算机要控制的系统。

这是愚蠢程序和智能程序之间的另一个关键风险区别。控制核电站的传统计算机可能会导致核电站的熔毁，但它不能发射核导弹，不能摧毁股市，也不能打开你空空的微波炉把你的房子烧了。但恶意智能可能是一种突发现象，它源于许多人工智能实现的交互，几乎控制着一切。

例如，人类的智能可能来自于为视觉、肌肉控制、身体功能调节和其他任务而进化出来的单个算法。所有这些任务都对人类有益。但出于这种涌现出来的意识，大群人类选择合作完成复杂的、专门的任务，以制造能够消灭地球上所有生命的核武器。这并不是人类智慧中出现的唯一可怕的、毁灭生命的想法——还有种族灭绝、酷刑、君权神授、圣战和奴隶制。事实上，今天单个人工智能程序缺乏摧毁人类所必需的复杂性和力量，而且大多数都有善意的目标，但没有理由认为新兴的人工智能会比人类更好。

我对2024年的希望是，我们将对人工智能进行严格的反向压力测试。我们邀请不同群体的人——不仅仅是官员和专家——让他们假设某种特定的糟糕状态。也许到了2050年，天网杀死了所有其他的人类(我经常放灾难片给小组做反向压力测试的准备，它有助于调节情绪，使人们更有创造力——这是好莱坞对风险管理的巨大贡献)。你们是最后的幸存者，躲起来直到终结者找到并消灭你们。讨论一下你希望人们在2024年做什么，不是为了阻止这种状态的发生，而是为了给你2050年的生存手段。

亚伦·布朗是彭博观点专栏作家。观点不代表本出版物的立场。

DAILY-EVENING

DAILY-EVENING