AI 永遠不會擁有意識

布萊克·勒莫因（Blake Lemoine）事件如今被視為 AI 炒作的一個高峰。它將「AI 意識」的概念推向大眾視野，佔據了一兩個新聞週期，但也引發了一場在計算機科學家與意識研究者之間持續至今且愈演愈烈的對話。雖然科技界在公開場合繼續輕視這個想法（以及可憐的勒莫因），但在私下裡，他們已開始更加嚴肅地對待這種可能性。一個有意識的 AI 可能缺乏明確的商業邏輯（你該如何將其變現？），並會產生棘手的道德困境（我們該如何對待一個能夠感受痛苦的機器？）。然而，一些 AI 工程師開始認為，通用人工智慧（AGI）的終極目標——一個不僅超聰明，而且具備人類水平的理解力、創造力和常識的機器——可能需要某種形式的意識才能實現。在科技界，原本圍繞著「有意識 AI」的非正式禁忌（因為公眾會覺得這很毛骨悚然）突然開始瓦解。

轉折點出現在 2023 年夏天，當時一組由 19 位頂尖計算機科學家和哲學家組成的團隊發表了一份長達 88 頁的報告，題為《人工智慧中的意識》（Consciousness in Artificial Intelligence），非正式名稱為「巴特林報告」（Butlin report）。幾天之內，AI 和意識科學界的每個人似乎都讀過了這份報告。報告草案的摘要中有一句引人注目的話：「我們的分析表明，目前的 AI 系統都不是有意識的，但也表明，構建有意識的 AI 系統並沒有明顯的障礙。」

作者承認，召集該小組並撰寫報告的部分靈感來自於「布萊克·勒莫因案例」。一位共同作者告訴《科學》（Science）雜誌：「如果 AI 能給人留下有意識的印象，那麼科學家和哲學家就有緊迫的責任介入並發表意見。」

但最引起眾人關注的是預印本摘要中的那句陳述：「構建有意識的 AI 系統並沒有明顯的障礙。」當我第一次讀到這些字眼時，我感覺某個重要的門檻被跨越了，而且這不僅僅是技術上的門檻。不，這關乎我們作為一個物種的身份認同。

如果人類在不久的將來某天發現，一個完全有意識的機器來到了這個世界，這意味著什麼？我猜測這將是一個「哥白尼時刻」，會突然動搖我們的中心感和特殊感。幾千年來，我們人類一直透過與「低等」動物的對立來定義自己。這涉及否認動物擁有那些被認為是人類獨有的特質，如情感（這是笛卡兒最嚴重的錯誤之一）、語言、理性和意識。在過去的幾年裡，隨著科學家證明許多物種都具有智慧和意識、擁有情感、並會使用語言和工具，這些區別大多已經瓦解，在此過程中挑戰了數世紀以來的人類例外論。這種仍在進行中的轉變，引發了關於我們身份以及我們對其他物種道德義務的棘手問題。

對於 AI，我們崇高自我認知的威脅來自完全不同的方向。現在，我們人類必須相對於 AI 而非其他動物來定義自己。當電腦演算法在純粹的腦力上超越我們——在西洋棋、圍棋等遊戲以及數學等各種形式的「高等」思維中輕鬆擊敗我們時——我們至少可以感到安慰的是，我們（以及許多其他動物物種）仍然獨自擁有意識的恩賜與負擔，即感受和擁有主觀體驗的能力。從這個意義上說，AI 可能充當一個共同的對手，拉近人類與其他動物的距離：我們對抗它，生命對抗機器。這種新的團結將構成一個溫馨的故事，對於那些被邀請加入「意識團隊」的動物來說可能是個好消息。但如果 AI 開始挑戰人類（或者我應該說動物）對意識的壟斷，會發生什麼？到那時我們又是誰？

我發現這是一個令人深感不安的前景，儘管我不完全確定原因。我正逐漸習慣與其他動物（在我看來甚至可能包括植物）共享意識的想法，並且我很樂意將它們納入不斷擴大的道德考量範圍。但是機器？

我對這個想法的不適可能源於我的背景和教育。我一直在人文學科的溫床中浸淫，尤其是文學、歷史和藝術，這些領域始終將人類意識視為值得捍衛的卓越之物。我們所珍視的文明產物幾乎都源於人類意識：藝術與科學、高雅與通俗文化、建築、哲學、宗教、政府、法律、倫理與道德，更不用說「價值」本身的概念。我想，有意識的電腦有可能為這些榮耀的寶庫增添一些全新的、目前尚無法想像的東西。我們可以這樣希望。到目前為止，AI 寫的詩並不比打油詩好多少；意識的缺失或許解釋了為什麼它甚至缺乏一絲原創性或新鮮的見解。但如果（當？）有意識的 AI 開始創作出真正優秀的詩歌時，我們會有什麼感覺？

作為一名人文主義者，我難以接受動物對意識的壟斷可能會瓦解的可能性。但我現在遇到了其他類型的人（其中一些自稱為超人類主義者），他們對這個未來更加樂觀。一些 AI 研究人員支持構建有意識機器的努力，因為作為擁有自己情感的實體，有意識的機器比僅僅具有智慧的電腦更有可能發展出同理心。一位神經科學家和一位 AI 研究人員都試圖說服我，構建有意識的 AI 是一項道德使命。為什麼？因為另一種選擇是極其聰明但無情的 AI，它在追求目標時將冷酷無情，因為它缺乏所有源於我們的意識和共同脆弱性的道德約束。只有有意識的 AI 才容易產生同理心，從而放過我們。我沒有誇張；這就是他們的論點。

我不禁想知道這些人是否讀過《科學怪人》（Frankenstein）！弗蘭肯斯坦博士不僅給了他的創造物生命，還給了它意識，而這正是問題所在。瑪麗·雪萊的小說記錄了「一個感性且理性動物的創造」，正是這兩種特質的結合決定了怪物的命運。促使怪物尋求報復並變得嗜殺的，不是他的理性，而是他的情感創傷。

「到處我都看到幸福，唯獨我被永久排除在外，」怪物在被人類社會驅逐後向弗蘭肯斯坦博士抱怨道。「我曾是仁慈而善良的；痛苦使我變成了惡魔。」怪物的推理能力無疑幫助他實現了惡魔般的計劃，但提供動機的是他的意識——他的情感。我們憑什麼假設有意識的機器會比有意識的人類更有德行？

值得注意的是，關於人工意識的巴特林報告代表了該領域某種共識觀點；我採訪的大多數計算機科學家都贊同其結論。然而，我花在閱讀這份報告（以及採訪其中一位共同作者）的時間越多，我就越開始懷疑其關於人工意識指日可待的結論。值得稱讚的是，作者們在闡述其假設和方法時非常嚴謹，而這兩者都讓我懷疑，他們是否將大膽的結論建立在可疑的基礎之上。

就在第一頁，這些計算機科學家和哲學家提出了他們的指導性假設：「我們採用計算功能主義（computational functionalism）作為工作假設，即執行正確種類的計算是意識的必要且充分條件。」計算功能主義的出發點是：意識本質上是一種運行在硬體（可以是腦或電腦）上的軟體——該理論對硬體完全不設限。但計算功能主義是真的嗎？作者們還沒準備好死守這個主張，只是說它是「主流的——儘管存在爭議」。即便如此，出於「務實的原因」，他們仍將在假設其正確的前提下進行。

這種坦率令人欽佩，但這種方法需要巨大的信念飛躍，我不確定我們是否應該跨出這一步。

就該報告的目的而言，系統的「物質基質」（material substrate）——即它是大腦還是電腦——「對意識來說並不重要……它可以存在於多種基質中，而不僅僅是生物大腦。」任何能夠運行必要演算法的基質都可以。「我們暫且假設我們所知的電腦原則上能夠實現足以產生意識的演算法，」作者聲明，「但我們並不聲稱這是確定的。」這種對不確定性的承認還遠遠不夠。報告中未受質疑的是「大腦即電腦」的隱喻——即運行意識軟體的硬體。在這裡，我們看到一個隱喻偽裝成事實。事實上，整篇論文及其結論都取決於這個隱喻的有效性。

隱喻可以是強大的思考工具，但前提是我們不能忘記它們只是隱喻——將一件事物比作另一件事物的不完全或部分類比。兩者之間的差異與相似之處同樣重要，但在圍繞 AI 的狂熱中，這些差異似乎被忽視了。正如控制論專家阿圖羅·羅森布魯斯（Arturo Rosenblueth）和諾伯特·維納（Norbert Wiener）多年前指出的，「隱喻的代價是永恆的警覺。」除了這份報告的作者外，整個 AI 領域似乎都在這點上放鬆了警惕。

考慮一下硬體和軟體之間的明確區別。電腦中硬體與軟體分離的美妙之處在於，許多不同的程式可以在同一台機器上運行；軟體及其編碼的知識在硬體「死亡」後依然存在。這種分離也符合我們直覺中的二元論——即追隨笛卡兒，我們可以在精神物質和物理物質之間劃出一條明晰的界線。但硬體和軟體之間的區別在大腦中根本不存在；在那裡，軟體就是硬體，反之亦然。記憶是大腦神經元之間物理連接的模式，既不是硬體也不是軟體，而是兩者皆是。

事實上，發生在你身上的每一件事——你經歷、學習或記住的每一件事——都會改變你大腦的物理結構，永久地重新佈線其連接。（從這個意義上說，大腦中沒有二元論；精神物質永遠無法與物理物質完全分離。）當所討論的基質（大腦）不斷被在其上運行的任何信息（或「意識演算法」）物理性地重構時，認為相同的意識演算法可以在各種不同的基質上運行的想法就毫無意義了。你的大腦與我的大腦在物質上是不同的，正是因為它被不同的生活經驗——也就是說，被意識本身——字面上地塑造了。大腦是不可互換的，無論是與電腦還是與其他大腦。

幾乎在你推敲的任何地方，大腦即電腦的隱喻都會崩潰。計算機科學家將大腦中的神經元視為芯片上的電晶體，由電流脈衝開啟或關閉。這個類比有一定的道理，但事實更為複雜，因為電流並不是影響神經元放電的唯一因素。大腦也浸泡在化學物質中，包括神經調節物質和荷爾蒙，它們強烈地影響神經元的行為，不僅影響它們是否放電，還影響放電的強度。這就是為什麼精神藥物可以深刻地改變意識（而對電腦沒有明顯影響）。神經元的活動還受到以波狀模式橫跨大腦的振盪影響；這些振盪的不同頻率與不同的心理操作相關聯，如意識及其缺失、集中注意力和做夢（以及睡眠的其他階段）。

將神經元比作電晶體是嚴重低估了它們的複雜性。與芯片上的電晶體相比，大腦中的神經元是高度互聯的，每個神經元直接與多達 10,000 個其他神經元通信，其網絡之複雜，使我們距離繪製出哪怕是最粗略的連接圖也還有幾十年的路要走。在計算機科學中，關於「深度人工神經網絡」的出現有很多說法——這是一種據稱模仿大腦的機器學習架構，它將令人難以置信數量的處理器分層，使網絡能夠處理海量數據並從中學習。這確實令人印象深刻，但最近的一項研究表明，單個皮層神經元就能完成整個深度人工神經網絡所能做的一切。

是的，電腦在很多方面確實與大腦相似，計算機科學通過模擬大腦的各個方面和操作取得了巨大進步。但認為大腦和電腦在任何方面都可以互換的想法——這是計算功能主義的前提——無疑是牽強的。然而，這正是巴特林報告以及該領域大部分研究立足的前提。不難理解為什麼。如果大腦是電腦，那麼足夠強大的電腦應該能夠完成大腦所做的一切，包括變得有意識。這個前提幾乎保證了結論。換句話說，正是作者自己移除了構建有意識 AI 的最大「障礙」——即大腦在關鍵方面與電腦不同的障礙。

報告的第二個方面讓我懷疑該如何嚴肅看待其結論，那就是它提出的判斷 AI 是否真正具有意識的標準。這是一個嚴峻的挑戰。作者引用了勒莫因事件（無論公平與否），指出 AI 可以輕易欺騙人類，讓人類相信它們是有意識的，而事實並非如此。（更準確的說法可能是，由於我們對擬人化和魔術的弱點，我們欺騙了自己。）當 AI 已經在幾乎所有關於意識的言論和著作上進行過訓練時，「可報告性」（哲學術語，指直接詢問 AI 本身）是行不通的。解決這一困境的一種方法是從 AI 訓練的數據集中刪除所有關於意識（以及情感和情緒）的參考資料，然後看看它是否仍能令人信服地談論自己具有意識。

相反，作者建議我們尋找 AI 意識的「指標」，這些指標要符合目前各種意識理論的預測。例如，如果一個 AI 的設計包含一個匯集各種信息流的工作空間，但前提是這些信息流必須經過競爭才能進入，那麼這看起來就很像「全局工作空間理論」（global workspace theory），因此可能被視為有意識。報告審查了半打意識理論，確定了 AI 必須表現出的「指標」才能滿足每一種理論，並藉此被視為具有潛在意識。

這裡的問題（其中之一）在於：它建議用來衡量 AI 的意識理論中，沒有一個被證明到能讓所有人滿意的程度。那麼這算什麼證明標準呢？更重要的是，許多這些理論都可以在 AI 的設計中進行模擬，這並不奇怪，因為它們都基於「意識是計算問題」的想法。我們就這樣陷入了循環。

當我消化完巴特林報告時，我所擔心的哥白尼時刻似乎比報告大膽結論所引導我相信的要遙遠得多。在審查了報告涵蓋的半打意識理論後，很明顯所有這些理論都預設了意識可以被簡化為某種演算法。

我也被所討論理論中缺失的部分所震驚。它們都沒有提到「體現性」（embodiment）——即意識可能依賴於同時擁有身體和大腦的想法——或者任何與生物學相關的東西。這些理論也沒有提到意識主體。究竟是誰或什麼接收了在全局工作空間中廣播的信息？或者是「整合信息理論」（IIT）中被整合的信息？還有情感在使體驗變得有意識的過程中所扮演的角色呢？

最後一點作者並非沒有注意到，他們指出目前大多數理論都缺乏「情感」（affect），並建議該領域應更多關注有意識機器是否會擁有「真實」情感的問題，因為如果事實證明它們確實有，我們將面臨一場道德和倫理危機。「任何能夠有意識地感受痛苦的實體都值得道德考量，」報告指出。（但痛苦難道不總是有意識的嗎？）報告繼續寫道：「這意味著如果我們未能識別出有意識 AI 系統的意識，我們可能會冒著造成或允許重大道德傷害的風險。」我們對能感受痛苦的機器負有什麼責任？我們真的想給這個世界帶來更多的痛苦嗎？

除了這種對情感的高度投機性討論（將其視為製造有意識機器的麻煩副產品）之外，在 AI 界，關於意識的對話一如預期地極其抽象——冷酷、無形，且完全無視生物學。當我向一位尋求構建有意識 AI 的研究人員提出「痛苦電腦」的難題時，他揮手屏退了這個問題，解釋說這可以通過對演算法的一個簡單修正來抵消：「我們沒有理由不能直接調高『快樂』的撥盤。」

改編自麥可·波倫（Michael Pollan）的《世界顯現：意識之旅》（A World Appears: A Journey into Consciousness）。版權所有 ©2026 Michael Pollan。經與企鵝出版社（Penguin Press）安排出版，該出版社為企鵝出版集團（Penguin Publishing Group）旗下品牌，隸屬於企鵝蘭登書屋（Penguin Random House LLC）。