人类从哪里来？从几百万年相互交战的黑猩猩群体的进化中来。那个过程塑造了我们：对自己的部落忠诚，对外部的部落可以极其残忍，崇拜强有力的领导者，在群体内部高度合作。这些特质是激烈竞争的产物，不是设计的结果。

现在正在发生的事情是，我们也在用同一套逻辑研发AI。科技巨大之间的竞争，中美之间的竞争，资本市场的压力，全都在推动一件事：让AI变得更聪明。没有人在问它应该关心什么，它应该对谁负责，它的价值观应该是什么。我们在竭尽全力让它变聪明，却几乎没有人在认真思考要让它变成什么样的存在。

如果我们任由经济竞争的看不见的手来设计这些新的生命实体，我们得到的很可能就是一些对我们并不友善的东西。就像人类对自己的部落友善、对其他部落残忍一样，这些实体也可能只关心制造它们的那家公司，而不关心人类整体。

“我们在法律上被要求为股东最大化利润，而不是在法律上被要求不消灭人类。”