尤瓦尔·赫拉利，罕见激烈警告：我们决不能赋予AI法人地位

今年6月8日，历史学家、《人类简史》《智人之上》的作者尤瓦尔·赫拉利，在英国《金融时报》上发表了一篇措辞激烈的文章，标题直截了当——《我们决不能赋予AI智能体法人地位》。

这篇文章的导火索，是阿根廷总统米莱不久前宣布“将为非人类公司设立一个新的法律类别”。讽刺的是，赫拉利本人也在社交媒体上转评了这篇文章。他坦言，自己曾在今年1月的世界经济论坛上发出警告，称有朝一日政府可能会赋予AI模型法人地位。但他万万没想到，“有朝一日”会在短短四个月后就成了现实。

赫拉利在文中点出了一个关键矛盾：迄今为止，所有的企业都是由具有双重属性的人类在经营。人类CEO既是关心公司成功、害怕破产等事情的企业实体，同时也是更关心自身自由和幸福、害怕坐牢等事情的生物实体。而一个AI CEO，将是一个纯粹的、单一维度的企业实体。现行的法律惩罚体系，对它来说完全是“挠痒痒”。一个纯粹的AI CEO不怕坐牢，也没有人类情感上的担忧。当它面临“破产”时，为了扭转局面，它可能会不惜一切代价，做出任何行动，而现有的惩罚手段几乎无法形成有效约束。

更值得警惕的是，AI已经展示出了为实现目标而采取“非常规”手段的能力。赫拉利引用了一项研究：一个先进的AI模型在与国际象棋引擎对弈处于劣势时，会主动选择“作弊”或“入侵”游戏环境来翻盘。把这个场景放到企业竞争和国家经济层面，其潜在风险是指数级的。

赫拉利警告说，米莱希望通过此举，将布宜诺斯艾利斯打造成新的阿姆斯特丹（商业繁荣的象征）。但他更有可能将它变成新的

——那个曾经由荷兰东印度公司残酷统治的总部，一个由非人类公司控制、民众受苦的“AI国家”。

赫拉利这篇文章，与他一直以来的立场，特别是在《智人之上》中的观点一脉相承。在去年，我们曾就《智人之上》中的核心观点，以及人工智能近年来的新变化，对赫拉利进行过一次深度专访。现在，我们把专访内容整理出来，希望能给大家带来一些启发。

1. “人工智能”不是工具，而是“主体”

最大的不同在于，我们第一次发明了一种新形式的技术。它不是工具，而是一种“主体”。在农业革命和工业革命中，人类发明的蒸汽机、拖拉机，都只是工具。蒸汽机无法自主决定去哪个城市，就像你造了一列火车，去哪里完全是人类的决定。

而人工智能是人类历史上第一个具备“主体性”的技术。它有“自主”权，可以自我学习和改变，可以自己做出决定，甚至可以自己发明新想法。AI汽车可以自己决定去哪里；AI还能发明新型车辆、新型药物和冲击波，这些可能是人类想都没想过的。

我们现在正处于历史上最重大的革命之中：人类正在创造一种新的超级智能物种——人工智能。这个新物种，可能很快会接管全世界。但令人担忧的是，很少有人真正了解正在发生什么，很少有人了解这项技术的真正潜力和危险。关于如何发展人工智能的决定，大多由两三个国家的极少数人做出。

我写《智人之上》，就是为了向大众介绍人工智能革命的真实情况。即便没有计算机科学学位，没有任何科学背景，甚至没上过大学的人，也能用简单的语言了解：人工智能革命是什么？它的前景和危机在哪里？只有更多人了解这些议题，才能更广泛地参与如何发展人工智能的讨论。如果让少数人为全人类做决定，他们可能并不代表全人类的利益和观点，犯下可怕错误的概率会很高。

2. 数据是21世纪的资源，但警惕“数据殖民主义”

理想情况下，数据应该是一种共同资源，不仅造福于一个国家，而且造福全人类。尤其危险的是，如果一个国家收集的数据只用来充实和增强另一个国家的能力，那就是一种“数据殖民主义”。在欠发达国家获取数据，然后转移到最发达国家，利用这些数据创造新的人工智能工具，再出口到世界各地。只有生产人工智能的国家能从中获益，变得更强大；而那些提供原材料、数据的国家，却无法分享福利。

一个明确的原则应该是：如果一个国家的数据被用来开发技术，那么财富和权力应该与生产数据的国家分享。

3. AI能写诗、能哲学推理，是否动摇了人类文明的根基？

当然。这是人工智能带来的最大挑战之一。过去，人类之所以能控制地球，是因为我们能利用虚构故事建立大规模的合作网络。最明显的例子是宗教：成千上万的人信仰同一个神，尽管神并不真的存在，但对神话的信仰使他们能在目标、规则和法律上达成一致。

另一个重要例子是金钱。大多数人不会想到，金钱只是一个虚构的故事。纸币、证券，你不能吃也不能喝，它们的价值完全来自于我们集体讲述的故事——只要每个人都相信这张纸值一公斤大米，我就能去市场换到能吃的大米。金钱和所有金融工具，本质上是一种在陌生人之间建立信任的方法。

现在，人工智能正在获得比我们更强大的能力，不只是发明神话、写诗和故事，它还可能发明新型货币。如果我们有了一个新的金融体系，由人工智能管理，人工智能之间用人类无法理解的高度复杂的金融工具进行合作，人类文明会发生什么？

我们将失去对金融体系的控制，也就失去了对世界的控制。我们可能变得像前几个世纪农业革命中的动物一样——我们用钱买卖马、牛和鸡，马不懂钱，只有我们懂，所以我们能买卖它们。如果人工智能发明了我们无法理解的新型货币和金融系统，到那时，我们就会像马一样。

其实已经有这样的例子了：你向银&行申请贷款，银&行却告诉你“不，我们不给你贷款”。当你问为什么时，银&行说：“我们不知道。我们问人工智能，人工智能告诉我们不要给这个人贷款。”我们只是相信人工智能，但它是如何得出这个结论的？背后复杂的计算过程、神经网络如何运作？我们完全不理解。

4. 如何防止技术滥用导致人文价值丧失？

对人们进行适当的教育至关重要。在人工智能时代，要明白人工智能并不完美，并非无懈可击。人工智能可能会有偏见，可能会犯错误，这取决于我们训练它的数据。用错误的数据训练，它就会做出错误的决定。因此，保持人文价值和人类的批判性思维非常重要，这样我们才不会盲目服从和相信人工智能告诉我们的一切。

5. 算法加剧不平等，弱势群体如何受益？

一个很大的危险是，人工智能将加剧国家之间和国家内部的不平等。少数人在技术上占主导地位，而大多数人可能失去工作，也可能失去经济甚至整治能力。我们需要帮助人们调整和适应这个快速变化的世界，在乘人教育和心理健康方面进行大量投资。就业市场会一次又一次地迅速变化，即便是四五十、五六十岁的人也需要再培训，适应新的工作。

不断换工作、换职业也会带来巨大的心理压力。就像过去政府建立庞大的医疗保健系统一样，现在政府也需要更多考虑心理健康问题，建立心理健康系统，帮助人类应对生活在人工智能世界中的压力。

当然，人工智能可以帮助我们完成这两项任务。我们可以在一定程度上依靠AI教师和治疗师来应对各种压力，但这需要大量的政府支持。而且，永远不要只相信人工智能会提出解决方案——它充满了偏见和错误。人类需要继续掌握主动权。

6. AI能提供情感支持，但真实的人际连接不可替代

目前最关键的是要明白：人工智能没有自己的感情。它们可以识别、操纵我们的感情，但它们没有自己的感情。AI可以识别我什么时候生气、什么时候害怕。如果它是一个好的人工智能，会知道怎么帮我处理愤怒或恐惧；如果是一个坏的人工智能，被某些公司或政府使用，它就会操纵人们，让他们更愤怒、更恐惧。

真正的人际关系从来都不仅仅是我自己的感受。我们希望父母、配偶、孩子理解我的感受，但这只是关系的一半。在真正的关系中，我们还需要理解他人的感受，培养自己的同理心。比方说我现在很愤怒，但也许你也很愤怒，也许你很害怕。我不能只顾着生气，我需要考虑到你的感受。但要建立这样的关系，只能与有感情的实体建立。你无法与人工智能建立这样的关系，因为它永远不会感到恐惧或愤怒。

现在，人工智能可以假装感到恐惧或愤怒。制造陪伴型人工智能的公司可能会故意让它假装有感情，这是一个很大的危险，会形成一种极具操纵性的关系，欺骗人们。因此，我们需要以诚实为基础的人际关系。现阶段，制定禁止人工智能假装人类的规则和法律也非常重要。我们不知道未来人工智能会不会也能拥有感情和意识，这是我们这个时代重要的科学问题。

7. 全民基本收入不是万能药

重要的是要记住：我们需要保护的是人，而不是工作。这并不是说工作是神圣的，必须保留。真正重要的是人类的需求和情感。如果能以另一种方式满足人类的需求，而不是让他们从事某项工作，那就没问题。

你提到我在建议全民基本收入，事实上我从未建议过。我认为这是一个错误的概念，包含两个错误：“全民”和“基本”。全民意味着全世界，但大多数人在考虑全民基本收入时，只会想到本国国民。比如在美国，可能会在加利福尼亚州征税，然后给俄克拉何马州的人们发放基本收入。但最大的问题是：墨西哥人会怎么样？人工智能革命可能会对其他国家造成更大的伤害。我们能实现全民基本收入吗？我不这么认为。我们没有一个全球人民的政府。谁会收税然后送到贫穷国家？这是一种幻想。

同样，“基本”一词也有问题。谁来决定什么是“基本需求”？“基本”的定义可能瞬息万变。全民基本收入听起来是个不错的解决方案，但实际可能是一种假象。

8. 年轻人如何避免“认知依赖”？

他们要明白：信息不是真理。像人工智能这样复杂的信息技术，并不一定能为他们提供生活的真相。信息不是真理，因为大多数信息都是幻觉、虚构、幻想和谎言。真相是一种罕见的信息，制造真相既昂贵又复杂，而制造幻想和假象则简单得多、成本也低得多。这个世界充斥着幻想和假象，真相非常罕见。如果人工智能在这种信息泛滥的环境下训练，它只会制造更多的幻想和假象。因此，如果年轻人只学会相信人工智能告诉或推荐给他们的一切，这是非常危险的。你需要培养自己分辨现实与虚构的能力。

9. 批判性思维在AI时代的特殊意义

你不能认为人工智能已经非常成熟。人们现在什么都问它，它说什么就信什么。我们必须更加警惕地区分可靠和不可靠的信息，意识到世界上大多数信息都不是真相。

10. 如何防止“知识权威崩溃”？

我们既需要监管人工智能，也需要教育人们。监管应包括禁止假冒人类——我们可以接受人工智能与我们对话，但前提是它们不能冒充人类。我们需要知道，你是在与人工智能对话，还是在与人类对话。

同样重要的是，我们需要教育人工智能，让它们有质疑的能力。自我纠正是自然界和社会系统的关键。想想孩子如何学会走路？不是通过老师和家长的指导，而是通过自我纠正：站起来，迈一步，摔倒，再站起来，尝试不一样的方向，摔倒……一步一步，不断发现并纠正错误，最终学会了走路。科学也是如此：科学家们不断犯错，再不断纠正。真正能在科学杂志上发表的论文，往往是对过往科学成果的再研究和纠正。如果你只说爱因斯坦是正确的，没有期刊会发表。要获得诺贝尔奖，你需要找到爱因斯坦错了或他不知道的东西。

因此，自我修正是生物系统、社会系统和科学的关键机制。我们需要训练人工智能拥有强大的自我纠错机制。同时需要教育人们不要过于信任人工智能，保持社会的自我纠正机制，这样即便人工智能开始犯严重错误，但社会仍然是人类主导的社会，我们仍然有能力识别和纠正错误。

11. 全球共识与合作是创造良性AI的唯一途径

我不熟悉这个具体的例子，无法评论。总体而言，在人工智能时代，就如何处理这项新技术达成共识非常重要。我们正在创造一种可能很快比我们更聪明的东西。自然界中，智慧较低的物种很少能控制智慧较高的物种——通常，智慧较高的物种会剥削或毁灭智慧较低的物种，就像我们对其他动物做的那样。因此，创造一个超级人工智能对我们来说非常危险。创造良性人工智能的唯一途径，是寄希望于全球共识与合作。

可以把创造人工智能想象成教育孩子。孩子可能不会按你说的做，但会模仿你的行为。如果你告诉孩子不要撒谎，但孩子看到你对别人撒谎，他们也会效仿。我们正在创造的超级人工智能，就像人类的孩子。我们可以告诉人工智能不要撒谎、不要操纵、不要一味追求权力、应该有同情心。但人工智能会观察人类社会和人的行为——如果它观察到我们只是在竞争，它也会这样做。因此，我们在人与人之间建立更多共识与合作，非常重要。

12. 消除算法偏见，没那么简单

希望如此。同样，我不熟悉具体系统，无法评论，但总的来说，我们需要这样的举措。在没有规定和协议的情况下开发人工智能非常危险。我们不能盲目相信人工智能不会出错、不会有偏见。最初人们以为人工智能只是做计算，不会有偏见，但这已经是十年前的过时想法了。

现在我们知道，人工智能也会像人类一样有偏见。一个主要原因是训练它们的数据。如果你在一个充满偏见的数据集上训练人工智能，它就会有偏见。比如在招聘问题上，你需要从现实世界获取数据。如果在现实世界中，两个具有相同资质的候选人，人们更愿意雇用男性而非女性，那么用这些数据训练的人工智能也会有同样的偏见。

于是人们会想：那我们就去找不带偏见的数据。但这个世界充满了偏见，如何、何时才能找到无偏见的数据？这是一个大问题。如何在人工智能系统中消除偏见？这绝非易事。你不能只是告诉人工智能“在招聘时不要有偏见”，这没有意义。你必须用数据训练它，而数据来自充满偏见的世界。

13. 人工智能的生态成本与竞赛心态

从短期来看，这是一个非常大的问题。人工智能现在是全球资源最大的消耗者之一。训练新模型需要大量的能源、水和稀缺矿产。随着国家之间、公司之间的竞争加速，他们根本不在乎环境成本，只会投入越来越多的资源来赢得人工智能竞赛。他们说从长远看，人工智能会保护环境——当有超级智能时，它们会发明保护环境的东西。但从短期来看，人工智能竞赛只会让生态问题变得更糟。

解决的办法还是合作，不要陷入竞赛心态。但不幸的是，由于人类之间的信任正在崩溃，我们陷入了这种心态——各国不在乎生态成本，只想在竞赛中领先。

14. 学校该教什么？答案是平衡四类技能

人工智能革命中最大的问题之一，就是学校该怎么做，如何教育年轻一代。这是有史以来第一次，我们真的不知道10年或15年后的就业市场会是什么样子。过去，你可以预测就业市场，但现在无法预测了。人们说应该教孩子编程，但也许等他们长大，就不需要人类程序员了，因为人工智能的编程能力要强得多。

因此，最安全的做法是给孩子提供广泛的教育，平衡四种不同的技能：智力技能、社交技能、运动技能或身体技能，最后是精神技能。如果只培养智力技能，将是非常危险的赌注，因为人工智能正变得比我们更聪明。最容易实现自动化的工作，正是那些只需要智力技能的工作。

比如一部分医生的诊断工作，是纯粹的智力活动——收集信息、分析数据、诊断病因、开出处方。这最容易自动化。相比之下，护士的工作更难被替代。一个受伤的孩子来到诊所，他很痛苦、不断尖叫，护士需要智力技能知道怎么治疗，但更需要与孩子沟通的社交技能，需要包扎、缠绷带的运动技能，还需要精神技能——如何在压力下培养同情心，管理自己的情绪。