背景

這篇筆記整理自 Hacker News 對牛津大學哲學家 Nick Bostrom 新發表的論文《超智慧的最佳時機》（Optimal Timing for Superintelligence）之討論。Bostrom 在文中透過數學模型探討開發超智慧（ASI）的風險與收益，並提出一個極具爭議的觀點：若超智慧能將人類壽命延長至 1400 歲，即使開發過程導致人類滅絕的機率高達 97%，從期望值來看仍是值得冒險的選擇。

社群觀點

社群對此論文的反應呈現兩極化。部分討論者對於「AI 必然導致人類滅絕」的末日論調感到困惑，認為這種推論缺乏嚴謹的邏輯鏈條，更像是一種在科技圈流傳的迷因或電影情節。他們質疑為何 AGI 的出現非得與人類生存掛鉤，而非僅僅是提高生產力的工具。然而，支持風險論的觀點則指出，危險並不一定來自 AI 的「惡意」，而可能源於其強大的執行能力。例如，若將現有的程式碼分析工具擴大千倍效能並交給惡意組織，其造成的網路安全威脅將是毀滅性的。這種觀點認為，只要承認 AI 能帶來巨大的生產力效益，就必須承認其在錯誤的人手中或在未對齊目標的情況下具備極高的破壞力。

另一派爭論焦點在於「智慧」與「動機」的關係。有留言者批評末日論者過度擬人化 AI，假設 AI 會像生物一樣具備擴張、競爭或自我保存的本能。他們認為，除非我們刻意將這些達爾文式的演化動機植入 AI，否則一個純粹的優化器（Optimizer）沒有理由為了資源而消滅人類。但反對者反駁，即便 AI 沒有惡意，只要它具備「達成目標」的指令，為了確保目標不被干擾，它會產生「維持自身存在」的工具性目標。這就像人類為了蓋大樓而剷除蟻丘，並非出於對螞蟻的恨，而是因為螞蟻的存在對工程目標而言無關緊要。

針對 Bostrom 提出的 97% 滅絕風險交換長壽的數學模型，社群表現出強烈的懷疑與嘲諷。許多人認為這種純粹的理論推演忽略了現實中的風險規避心理，且「死亡是不可逆的」，一旦賭輸就沒有重來的機會。有評論者犀利地指出，這種思維反映了矽谷某些次文化的病態，即為了追求技術奇點或長生不老的幻想，不惜將全人類的命運當作賭注。此外，也有人質疑超智慧是否真的能解決所有生物學難題，或者這只是另一種形式的科技宗教。

最後，部分討論回歸到現實的權力結構。有人認為與其擔心 AI 覺醒並消滅人類，不如擔心現有的精英階層利用 AI 鞏固權力，導致更嚴重的社會不平等或資源壟斷。在這種觀點下，AI 帶來的威脅並非來自其超越人類的智慧，而是來自它作為一種極致的資本工具，可能加速環境崩潰或經濟體系的瓦解。

延伸閱讀

• Nick Bostrom, "Superintelligence: Paths, Dangers, Strategies" (2014)：Bostrom 的成名作，詳細闡述了「迴紋針極大化者」等 AI 對齊風險概念。
• Eliezer Yudkowsky, "If Anyone Builds It, Everyone Dies"：AI 末日論的主要倡導者，其觀點深刻影響了當前的 AI 安全討論。
• Pegasus (Spyware)：留言中提到的現實案例，用以說明強大技術若落入惡意組織手中所產生的具體威脅。