在快速发展的时代管理人工智能风险

AI风险管理，再度被AI大佬提上了日程。

就在刚刚，一封由Bengio、Hinton、姚期智（AndrewYao）、张亚勤等知名专家签署的联名信引起了许多人的关注。这篇题为「在快速发展的时代管理人工智能风险」的文章，也即将发表在arXiv上。有网友称，已经太晚了。联名信全文在AI的快速发展中，本文作者对即将到来的强大AI系统的大规模风险达成了共识。

他们呼吁在开发这些系统之前，采取紧急治理措施，并在AI研发中向安全和道德实践进行重大转变。2019年，GPT-2能力很有限，还无法可靠地数到10。仅仅4年后，深度学习系统就可以编写软件，按需生成逼真的场景，对知识性话题提供建议，并结合语言和图像处理来控制机器人。

随着AI开发者扩大这些系统的规模，一些未预见的能力和行为，会在没有明确编程的情况下自发地出现。AI的发展太过迅速，已经远远超出人们的预期。而AI进步的速度，可能会再次让我们感到惊讶。当前的深度学习系统仍然缺乏重要的能力，我们不知道需要多长时间才能开发它们。然而，科技公司们正在竞相开发AGI系，以匹配或超越人类在大多数认知工作方面的能力。

他们正在迅速部署更多资源，并开发新技术来提高AI的能力。AI本身的进步也可以加速开发进，如用AI助手自动化编程和数据采集，以进一步改进AI系统。我们没有理由认为，AI的进步会在达到人类智力时停止。事实上，AI已经在蛋白质折叠或策略游戏等细分领域超越了人类。与人类相比，AI系统可以更快地行动，学习更多知识，并以更高的带宽进行通信。此外，它们可以通过使用大量的计算资源进行扩展，并且可以以数以百万计的速度复制。AI的进步速度足以令人震惊！

科技公司拥有充足的现金储备，可以很快将最新的训练的模型规模扩大100-1000倍。再加上AI研发的持续增长和自动化，我们必须认真对待AGI系统在本十年或未来十年内，在许多关键领域超越人类能力的可能性。

这将会发生什么？如果管理得当、分配公平，先进的AI系统可以帮助人类治愈疾病、提高生活水平并保护我们的生态系统。AI提供的机会是巨大的。但是伴随着先进的AI能力而来的是大规模的风险，目前我们无法很好地应对这些风险。

人类正在投入大量资源来使AI系统更加强大，但在安全性和减轻伤害方面的投入则要少得多。要让AI成为一种社会福音，我们必须重新定位。仅仅推动AI能力的发展是不够的。我们已经落后于重新定位AI的进度。我们必须提前预测AI可能造成的危害和新风险，并尽早做好防范最大风险的准备，不要等到风险出现才应对。

当前和新出现的风险通常有相似的机制、模式和解决方案。投资治理框架和AI安全将在多个方面取得成果。我们需要研究突破，来解决当今在创建具有安全和道德目标的AI方面的一些技术挑战。

我们迫切需要国家机构和国际治理来执行标准，以防止鲁莽行为和滥用。为了跟上快速进展，避免僵化的法律，国家机构需要强大的技术专长和迅速行动的权威。为了应对国际竞争动态，他们需要促成国际协议和伙伴关系的能力。为了保护低风险使用和学术研究，他们应该避免为小型和可预测的AI模型设置过度的官僚障碍。

最紧迫的审查应该是前沿的AI系统：少数最强大的AI系统——在价值数十亿美元的超级计算机上训练——将具有最危险和最不可预测的能力。为了实现有效监管，政府迫切需要对AI发展的全面洞察。监管者应该要求模型注册、举报人保护、事件报告以及对模型开发和超级计算机使用的监控。监管机构还需要在部署前访问先进的AI系统，以评估它们的危险力，例自我复制、闯入计算机系统或使大流行病原体广泛可获取等等。对于有危险力的AI系统，我们需要各种治理机制的组合与风险规模相匹配。监管机构应制定，取决于模型能力的国家和国际安全标准。他们还应让前沿AI开发商和所有者对其模型造成的可以合理预见和预防的伤害承担法律责任。这些措施可以防止伤害，并创造急需的安全投资动力。

未来能力非凡的AI系统需要进一步的措施，例如可以规避人类控制的模型。在足够保护措施就绪之前，政府必须准备好对其开发颁发许可，暂停开发以应对令人担忧的能力，强制执行访问控制，并要求对州级黑客采取强有力的信息安全措施。为了在法规出台之前架起桥梁，主要AI公司应该迅速制定「如果-那么承诺」：如果在其AI系统中发现特定的红线能力，他们将采取具体的安全措施。这些承诺不仅要详细还要独立审查。AI可能是塑造本世纪的技术。虽然AI能力正在迅速发展，但安全和治理方面的进展却落后了。为了引导AI走向积极的结果，远离灾难，我们需要重新定位。如果我们有足够的智慧，一条负责任的路就在那里。