通用人工智慧（AGI）即將到來的末日論者如何「烏龍球」坑了全人類

通用人工智慧（AGI）即將到來的末日論者如何「烏龍球」坑了全人類

走到今天這一步的道路（大多）是由善意鋪就的——但其中摻雜了太多對炒作的不加批判。

去年夏天，我寫了一篇長文草稿，現在很後悔當時沒發出來。那篇文章的暫定標題類似「末日論者的烏龍球」（doomers’ own goal），核心觀點是：末日論者，尤其是那些大聲疾呼 AGI 近在眼前的那些人，本意是想減緩 AI 的加速發展（至少在我們能確保 AI 安全之前），結果反而只會加速它的進程。

那篇未發表的文章圍繞著馬克斯·泰格馬克（Max Tegmark）一條荒謬的推文展開。他或許不能代表所有末日論者，但絕對是我從許多人口中聽到的典型論調：

我的觀點曾是少數派，但現在已不再是了：我一直認為這些預測大錯特錯。

但這些預測也產生了影響，而且並非正面影響。

§

今天，總能提供深刻見解的凱西·莫克（Casey Mock，撰寫《tomorrow's mess》）發表了一篇關於「末日論宣傳三年後的後果」的新文章。這讓我感到非常懊惱，提醒我真的應該早點發聲。

正如莫克所言：

末日論群體的預測幾乎毫無例外全是錯的——不是小錯，而是根本性的錯誤，因為他們想像的發展軌跡一直未能實現。當你的分析模式更接近於色情的《哈利波特》同人小說（這確實是尤德科夫斯基發表某些預測的媒介），而不是實際的研究和政策時，結果就是如此：他們將政治和文化環境視為穩定且可預測的，並將會犯錯的人類行為者視為會對精心構建的論點做出理智反應的棋子。但世界是混亂的。同人小說往往會忽略掉混亂的部分……

他們無法模擬現實世界中像彼得·海格塞斯（Pete Hegseth）這樣混亂的人物，即便他們的言論激起了海格塞斯的胃口。這種理性主義的世界觀在某種程度上假設，相關行為者正在針對易於理解、可預測的變量，以及對什麼最符合自身利益的清晰理解進行優化。它無法解釋的是惡意、衝動、脫離證據的意識形態動機、隨機的不可抗力，以及個人心血來潮和瑣碎的競爭。因此，當末日論群體多年來一直在警告無法控制的 AI 系統會做出創造者意料之外的事情時，他們顯然沒有考慮過，當目前管理美國政府的人類獲得了被告知是「歷史轉折點」的技術時，會發生什麼。

結果顯而易見：當阿莫代（Amodei）拒絕將他的 AI 用於大規模監視和缺乏人類介入的自主無人機（目前尚缺乏所需的可靠性）等邪惡用途時，海格塞斯叫他滾蛋，並讓更順從的薩姆·奧特曼（Sam Altman）簽署了一份軟弱且充滿漏洞的合同。

歷史可能會將此視為一個轉折點。

§

為什麼海格塞斯如此咄咄逼人？部分原因或許在於那些炒作，而末日論者（名義上獨立於大型科技公司，但在華盛頓擁有巨大影響力）往往加劇了這種炒作。通過宣稱大型語言模型（LLM）將改變世界，且迫在眉睫，末日論者助長了 LLM 公司的成長（本質上是免費宣傳），並讓白宮認為 LLM 對國家的生存至關重要。

這一切把我們帶向了何方？

它讓那些口頭支持 AI 安全、卻承諾（尚未兌現）能創造 AGI 的可疑公司變得極其富有。

它讓各國政府對這些據稱類似 AGI 的東西垂涎三尺，以至於採取強硬手段奪取。

它導致各國政府開始在戰爭背景下使用當前明顯不可靠的技術。

而這（恰恰因為其不可靠性）可能導致戰爭的意外升級。

並因此可能導致成千上萬甚至數百萬人無謂的死亡。

與此同時，「與中國競爭」的敘事被過度渲染（無論如何，兩國都會有自己的 LLM），而 LLM 帶來的迫切問題——從網絡犯罪到虛假信息，再到未經同意的深度偽造色情片——往往被低估，因為不切實際的戲劇性場面吸走了所有注意力。當真正的 AGI 到來時，我們最終可能會陷入「狼來了」的困境。

§

在我起草這篇文章時，看到了一條精彩的推文：

如果那些聲音最大的末日論者（其中許多人富有且/或有影響力）沒有過度推銷生成式 AI，我們或許不會陷入目前的境地。

或者我們本可以有更多時間做準備。

末日論運動最大的後果，是讓製造生成式 AI 的公司獲得了遠超其應得的權力，而這主要建立在他們尚未履行的可疑承諾之上。許多更冷靜的預測都被末日論的噪音淹沒了。

難怪正如莫克所言，政府最終開始相信並試圖奪取這項技術。

現在，我們可能都要承擔後果。我完全支持末日論者想要為未來做準備的想法，但這必須從對現狀的現實評估開始。

分享

蓋瑞·馬庫斯（Gary Marcus）並非「末日論者」，但他確實認為社會應該在 AI 安全方面投入更多努力。即使我們還有 10 到 20 年的時間，那也不算多。

在 2025 年夏季的文章中，有一段長篇論述如下：「在我看來，這兩三年的時間表根本經不起推敲。

• LLM 作為我們目前最接近通用人工智慧的形式，在各種基本指令上頻繁失敗，例如報時、數字母、比較小數、遵守西洋棋規則等等。

• LLM 仍然在現實問題上掙扎。o3 的幻覺比其前身更多。

• 正如蘋果的論文和 Rao Kambhampati 的工作所顯示的，LLM 在推理和規劃方面依然舉步維艱。

• 因果推理（朱迪亞·珀爾經常強調的一點）仍然是一個巨大的弱點，這可以從渡河問題（男人、女人和船渡河）等問題中看出。

• LLM 在面對陌生環境時也依然掙扎，上述研究以及社交媒體上無數的例子都證明了這一點。這有其原理上的原因，可以追溯到我 1998 年對多層感知器的分析。

• LLM 仍然缺乏穩定的世界模型。（這就是為什麼它們無法可靠地遵守西洋棋的合法走法，這也是我下一篇長文的主題。）它們甚至在判斷一個人有多少肢體方面仍無法被完全信任（見下文）。

• 對於這些擔憂，我們仍然沒有原理上的解決方案。目前只是不斷投入更多數據並寄希望於奇蹟。我一直提出的定性擔憂沒有一個得到解決。指望所有這些問題在 24 到 36 個月內得到解決，簡直令人難以置信。

• 儘管 LLM 在許多方面令人印象深刻，但它們仍然缺乏評估自身信念可能性的嚴肅能力。無論對錯，它們總是道歉，且很少能以持久的方式正確更新信念。

• 現實地說，科學家可以使用 AI，但這並不代表 AI 就是科學家。最新的趨勢是表現得好像只要 AI 能像週六喝醉或被手機分心的普通人一樣推理，就實現了 AGI；但只有當 AI 能超越人類科學家和技術專家時，關於 AGI 風險的討論才有意義。除了像代碼自動補全這樣的體力活，我沒看到任何證據表明這一點在其他地方成立。

• 我很難找到任何一個領域，LLM 可以在沒有人類干預的情況下真正自主運作。（相比之下，計算機、路徑規劃器、西洋棋電腦雖然智能範圍窄得多，但在其應用領域內要可靠且自主得多。）

• 在許多領域，如西洋棋、物流、撲克、導航等，LLM 根本不是現有特定領域 AI 解決方案的對手。它們在不需要精確度的開放式問題，以及像學徒級編碼這樣可以進行大量可驗證數據增強的領域表現出色，但在許多其他領域卻舉步維艱。花 55 美元買一台 Atari 2600，在西洋棋上就能打敗價值十億美元的 LLM。

• AI 的「最後一哩路」總是很難。Waymo 十年前就能在門洛公園（Menlo Park）到處開，但至今仍未面臨水牛城的寒冬。用大量數據模擬人類行為很容易，但要讓事情真正正確運作卻很難。

看看真正自動駕駛的進展是多麼艱難（真正的自主類人機器人也是如此，無論出價多少目前都不存在），人們居然認為上述所有問題都能在未來三年內完全解決並投入生產，這在我看來簡直是笑話。」

莫克關於末日論者對人類心理學多麼天真的看法，與我在《泰晤士報文學增刊》（TLS）上為「末日論首領」艾利澤·尤德科夫斯基（Eliezer Yudkowsky）新書撰寫的評論非常契合。