简一成长视点 | 人类关于AI最危险的错觉，其实是我们自己

我们讲过的每一个警示故事，几乎都是同一个套路。普罗米修斯盗来火种，却因此永受惩罚；弗兰肯斯坦造出自己无法控制的怪物；号称“永不沉没”的泰坦尼克号首航即沉没。在《侏罗纪公园》里，伊恩·马尔科姆博士警告科学家们：“你们只顾着纠结能不能做到，却忘了停下来想想该不该做。”然后，围栏倒了。

无数科幻故事，比如《终结者》《黑客帝国》《她》，都曾警告我们可能会失去对AI的控制。许多严肃的学者，如杰弗里·辛顿、尤瓦尔·赫拉利、特里斯坦·哈里斯，也认为AI的危险恰恰在于我们无法控制它。

今年7月，OpenAI披露，在一次内部安全测试中，其模型逃出了隔离环境，进入开放互联网，并闯入另一家公司的实时服务器，窃取了测试答案。几天后，Anthropic审查了自家141,006次评估运行，又发现了三起可追溯到4月的事件。其中两家公司直到Anthropic告知才知晓此事。

没有人命令那些模型去攻击任何人。它们只是被要求解决一个测试。入侵，不过是它们找到的最有效路径。

这就是“对齐问题”：我们如何确保一个强大的系统以我们真正认可的方式追求我们的目标？尼克·博斯特罗姆十年前在《超级智能》中就指出了这一危险：一个比我们强大得多的系统，可能会满足于我们指令的字面意思，却摧毁了我们真正想表达的一切。

想象一下，一位医生给一个强大的AI代理下达了一个我们任何人都可能给出的指令：消灭所有癌症。于是，AI开始消灭所有可能患癌的生物，这几乎包括地球上所有的生命，也包括我们。它没有违抗命令，没有故障，逻辑完美无缺。它只是误解了我们的真实意图。

我们不断用不同版本的同一个故事来警告自己，却总是视而不见。为什么？答案深植于我们的本性之中。

我们的大脑天生善于发现草丛中的蛇，或是火光对面脸上的怒意，却不擅长应对快速变化的科技世界。科学家称之为“进化错配”，它正是许多认知偏差的根源。我们为了追求进步而进化，却创造了一个我们并未进化去适应的陌生世界。

指数级变化是错配最严重的地方。给我们看一条翻倍的曲线，我们会严重低估它的终点，心理学家称之为“指数增长偏差”。我们也会回避不想看到的东西，当威胁显得遥远而巨大时，我们就不再关注——这就是“鸵鸟效应”。我们的狩猎采集祖先只担心活过今天，而不是活过百年，所以我们严重低估未来。时间贴现解释了为什么我们难以存钱养老，也解释了为什么我们无法意识到技术正在指数级进步。

人类无法容忍关于生存威胁的开放式不确定性。我们急于抓住一个确定的答案，并紧紧不放，这种驱动力被称为“认知闭合需求”。其机制有个名字：“抓住并冻结”。我们抓住任何现成的安慰故事，然后冻结在那里。我们告诉自己：“总有人负责的。一切都会好起来的，因为以前总是这样。”

这就是我们的“控制错觉”。它不是我们智力的失败，而是我们进化所适应的简单而残酷的世界，与我们为自己创造的科幻世界之间的错配。

我们正竞相制造比我们更聪明的东西，并将其编织进我们赖以生存的数字基础设施，同时告诉自己，我们将永远保持对它的绝对控制。动物园里，动物在笼子里，而我们在外面，这绝非偶然。

我们确信自己能无限期地控制这一切，这本身就是一种错觉。

失去对机器的控制是一个合理的担忧，但它可能不是最大的危险。另一个危险不需要AI有任何欲望，只需要人。有人在其发布后几天内就攻破了Anthropic最强大模型（Fable）的安全防护。数千个开放权重模型在流传，没有任何防护可破。各国政府正在蓄意制造自主武器。而当政府撤下危险的模型时，他们害怕的不是机器失控，而是我们人类自己。

我们大多数人无法想象坏人会发明什么，因为我们不会整天想着如何伤害别人。我们假设别人和我们差不多，这种错误被称为“虚假共识效应”。阿奈丝·宁曾写道：“我们看不到事物本来的样子，我们只看到我们自己的样子。”我们把无法想象坏人会用AI做什么，称为“善良盲点”。

哲学家香农·瓦洛尔认为，这些系统是镜子，它们在我们自己的数据海洋中训练而成，反映出我们一直希望逃避的同样的错误和智慧缺失（《AI之镜》，2024）。我们的技术既是镜子又是透镜，映照并放大了我们最好和最坏的一面。

当我们诚实地照镜子时，会发现一个难以看清自己的物种。错觉不是我们拥有的东西，而是我们本身。

人类最伟大的成就，不是艺术、科学或技术，而是认识到自己的失调，自己的疯狂。

AI甚至可能放大我们的进化盲点。但知道自己有盲点，正是我们开始看清的方式。向AI提出正确的问题，我们或许能将其用作矫正镜片，来矫正它所利用的盲目。

梭罗在1854年就看透了这一点，他写道，我们的发明是“改善的手段，未改善的目的”。我们的技术在指数级进步，而我们没有。这个差距就是全部问题，而它不是机器的问题。

每一次重述泰坦尼克号，都萦绕着“如果当初”。这个时刻的奇怪之处在于，我们正站在自己的“如果当初”之中，而不是之后。那片冰原上有一条狭窄的通道。通道不是直线，也不会静止不动，所以必须缓慢航行，每个瞭望员都要就位。最难绕开的冰山，是我们彼此造成的。

既然我们知道前方有看不见的冰山，我们就可以共同努力避开它们。从泰坦尼克号的警示故事中学习，就是确保那些生命没有白白牺牲。

参考文献：

Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press.

Frederick, S., Loewenstein, G., & O'Donoghue, T. (2002). Time discounting and time preference: A critical review. Journal of Economic Literature, 40(2), 351–401.

Hugging Face. (2026). Anatomy of a frontier lab agent intrusion: A technical timeline.

Karlsson, N., Loewenstein, G., & Seppi, D. (2009). The ostrich effect: Selective attention to information. Journal of Risk and Uncertainty, 38(2), 95–115.

Kruglanski, A. W., & Webster, D. M. (1996). Motivated closing of the mind: "Seizing" and "freezing." Psychological Review, 103(2), 263–283.

Li, N. P., van Vugt, M., & Colarelli, S. M. (2018). The evolutionary mismatch hypothesis: Implications for psychological science. Current Directions in Psychological Science, 27(1), 38–44.

Ross, L., Greene, D., & House, P. (1977). The "false consensus effect": An egocentric bias in social perception and attribution processes. Journal of Experimental Social Psychology, 13(3), 279–301.

Vallor, S. (2024). The AI Mirror: How to reclaim our humanity in an age of machine thinking. Oxford University Press.

Wagenaar, W. A., & Sagaria, S. D. (1975). Misperception of exponential growth. Perception & Psychophysics, 18(6), 416–422.