Lesswrong
I have briefed over 140 UK lawmakers on the existential risks of superintelligent AI, successfully building common knowledge and a coalition of over 100 supporters through a process that transitioned from difficult linear growth to compounding non-linear impact.
AI 生成摘要
我已經向超過 140 位英國國會議員簡報了超人工智慧帶來的生存風險，並透過從艱難的線性增長轉向複合式非線性影響的過程，成功建立了共識以及一個擁有超過 100 位支持者的聯盟。
早在 2025 年 5 月，我發表了一篇題為的文章。那篇文章受到的正面迴響讓我感到驚訝，我也非常感謝透過網路論壇和面對面交流所獲得的友善回饋。
自撰寫該文以來，我參與的會議數量增加了一倍，且一直想進一步擴充內容。我不敢說學到的東西也翻了一倍！但我確實有了一些新的體悟，因此在這裡分享這份更新，希望能對各位有所幫助。
如果你還沒讀過我 2025 年 5 月的那篇，我建議從那裡開始：那裡包含了我覺得最核心的見解，而本文則是基於這些想法，並回答了我後來收到的一些問題。
如果你以前沒聽過 ，或者想了解我們在英國議會活動的最新進展，可以在下文中找到更多資訊。
樣本量、特徵與時間範圍
押注於共同知識
2024 年 9 月，我們開始向議員進行簡報，並請求他們支持一項。目標是建立關於超智能導致滅絕風險問題的「共同知識」，並鼓勵他們公開表態。公開表態是一個具體且可驗證的信號，表明他們理解這個問題、關心這個問題，並希望讓他人知曉。我們的英國活動聲明內容如下：
「諾貝爾獎得主、AI 科學家和領先 AI 公司的執行長都表示，減輕 AI 帶來的滅絕風險應成為全球優先事項。
專用型 AI——例如推動科學和醫學進步的 AI——能促進增長、創新和公共服務。而超智能 AI 系統則會危及國家與全球安全。
英國可以透過履行其承諾，對最強大的 AI 系統引入具約束力的監管，來確保 AI 的效益並減輕其風險。」
截至 2026 年 2 月，已有超過 100 位議員支持這項活動。其目的是提高對問題的認識，並建立一個想要解決問題的立法者聯盟。隨著議員們對問題有了更充分的理解，我們能夠深化對話，並更直接地關注政策解決方案：具體而言，即考慮到超智能無法安全或受控地開發，提出在可預見的未來實施禁令的主張。
由於這種持續的參與，越來越多的議員現在公開談論超智能的威脅以及實施此類禁令的必要性。我將在下一節中提到一些例子。
推動變革發生
在 ControlAI，我們做了一個深思熟慮的賭注：在問題得到解決之前，它首先需要成為共同知識。我們開始與各司法管轄區的立法者、媒體和公民社會進行持續接觸。在早期，這項工作緩慢且艱難。但我們相信，總會有一點，當足夠多的人了解這個問題時，它就會更容易傳播。在那個階段，意識可以大規模建立，因為效果開始產生複利，而不是在每次新對話中重新開始。支持透過現有網絡傳播，人們互相學習，進展變得非線性而非漸進式。
在英國議會，這個過程目前看起來是這樣的：
看著這一切發生是非常有成就感的。最近，我特別安排了幾位 ControlAI 的同事參加我們受邀的一場上議院辯論。看到立法者們在一個一年前許多人還不熟悉的主題上積極參與、表態並親自推動，這種鼓舞人心的程度難以言表。看到超智能和確保人類美好未來的主題在世界上最強大的國家之一的議會中被討論！這既令人振奮又讓人思路清晰。它表明，透過直接、持續且誠實的參與，變革是可能的。
不言而喻，儘管我們取得了成功，但仍有許多工作要做！一項禁止超智能的國際協議將需要在英國和其他司法管轄區大規模提高意識，並建立通往穩健有效協議的可信路徑。
我還要指出，還有其他外部因素促成了這種變化，我預計它們的影響會隨著時間的推移而增加。我想強調兩點：
為倡議而倡議
與許多其他政策領域一樣，AI 治理是一個有些人投入更多時間進行研究，而另一些人則專注於倡導特定政策提案並將其提交給決策者的領域。倡議在現實世界中推動變革具有巨大潛力，特別是在 AI 安全這樣的領域。正如 Mass_Driver 在 2025 年 5 月的這篇中精闢指出的，「我們的廣告做得不夠」。當時，作者估計在美國 AI 治理領域，每 1 名倡議者對應 3 名研究人員，並認為這個比例是顛倒的：倡議而非研究，應該是 AI 治理的核心活動，「因為要解決的核心問題是修正 AI 開發者面臨的糟糕私人誘因。」雖然我不會特別強調將優化比例作為解決問題的主要手段，但我同意加強倡議並為其提供資源是當務之急。
在英國，決策者的工作非常繁重。正如我在前一篇文章中討論過的，他們被期望在廣泛的主題上（無論是選區事務還是議會立法）都博學多才，而他們用來處理這些問題的資源卻非常有限。他們的幕僚團隊通常很小（2-5 人）。他們當然沒有太多時間在網上搜尋充滿技術術語的厚重論文，然後試圖弄清楚它們是什麼意思！
研究是了解是否存在問題、問題是什麼樣子以及如何解決問題的必要第一步。在建立決策者的共同知識時，我受益於許多研究！但研究本身很少能將訊息傳遞出去。呼應 Mass_Driver 的：「僅僅因為一篇論文標題中有『滅絕風險』，並不意味著發表該論文就能降低滅絕風險。」 在某些時候，花幾個月時間弄清楚一個細枝末節，其影響力遠低於直接走出去與有權力採取行動的人交談。
「我們真的需要盡可能多的人在華盛頓特區傳播訊息。看到那麼多國會辦公室竟然對 AI 安全的基本事實一無所知，我感到震驚和汗顏。2024 年 12 月，我會見了至少五個辦公室——包括司法委員會的一些辦公室——他們驚訝地聽說 AI 開發者不受現有舉報人法律的保護。2025 年 2 月，我們會見了一位眾議員，他不知道大型語言模型並非天生具備人類可解釋性。2025 年 4 月，我會見了一位地區辦公室主任，他向我索要資訊材料，以幫助解釋什麼是數據中心。如果我們不派人去華盛頓親自告訴政治家為什麼對齊不良的超智能是危險的，那麼他們中的大多數人永遠不會理解。」
（AI 治理系列文章之三） — Mass_Driver
當我們在英國開始工作時，我也有同樣的感受！議員們非常驚訝地了解到，當 AI 系統欺騙其用戶或開發者，或抵抗關機時，實際上沒有工程師編寫過這種行為。這是因為即使是最頂尖的專家也不知道如何防止此類結果，而將其推演到更強大的 AI 能力時，情況看起來相當令人擔憂。
此外，代表科技公司的遊說者已經在動用手頭的一切資源來影響立法者，這使得直接參與變得更加重要。首先，矽谷公司和投資者在 2026 年中期選舉前正動員高達 2 億美元投入兩個新的超級政治行動委員會（super PACs），旨在拉下那些被認為對擴大 AI 發展支持不足的政治家。據《紐約時報》，這種策略此前曾被加密貨幣行業使用，正如他們所指出的，「潛在收益非常高。」
科技公司也在加大遊說力度。以下是來自美國的一個例子：
「僅 Meta 一家在 2024 年就僱用了 65 名聯邦遊說者，這還不包括他們的支援人員、政策研究人員等，也不包括他們在州立法機構、影響性訴訟、一般公共關係等方面所做的工作。OpenAI 僱用了 18 名聯邦遊說者。Alphabet 僱用了 90 名。亞馬遜僱用了 126 名。僅這 4 家公司就有 299 名遊說者。」
* – Mass_Driver*
在與技術研究人員討論倡議時，我偶爾會聽到這樣的論點：「我有技術背景，所以我不適合與立法者交談。」我懷疑這不是真的，而且我已經親眼見證了它被證偽：我在 ControlAI 的一些擁有 STEM 背景和技術研究經驗的同事，在告知立法者和公眾方面做得非常出色！
此外，我偶爾會感覺到一種擔憂，即倡議只是利用現有的研究而沒有貢獻新的學習，因此倡議者對實質內容的參與較淺。我不認為這反映了倡議在實踐中的運作方式。在我與 ControlAI 進行的 140 多場簡報中，我們反覆遇到需要數月持續思考的困難政策問題。倡議經常讓你處於需要嚴肅智力工作的境地：你坐在一個權威可能令人生畏的人對面，試圖解釋一個他們可能從未遇到過、且最初可能覺得荒誕的問題。
你必須當場回答問題，回應暴露困難問題的意外反對意見，並在壓力下捍衛你的推理。同時，你必須依靠判斷力和直覺，從你所知的眾多解釋和例子中，選擇能引起特定對象共鳴的內容。你還需要掌握整個領域的相關進展。你可能無法掌握美國出口管制框架的每一個技術細節，但你會深入參與該主題，並學習如何有效地將其傳達給最需要理解它的受眾。
所以，沒錯，我們的廣告確實做得不夠！
關於黨派政治：如何與不同政黨交談？
我收到過一些問題，詢問我是否注意到政黨之間的重大差異，我是否會根據是在與保守黨還是工黨交談而改變方法，以及他們是否有不同的問題。
如果在我第一次會議之前問我，我會預期政黨之間存在實質性差異。至少，我會預期會議的感覺會大不相同。但我通常不會將會議的特徵歸因於立法者的政黨，而是歸因於其他因素：他們的背景是否包括計算機科學，他們是否對涉及協調問題的其他挑戰（如環境問題）感興趣，以及他們個人背景的其他方面（例如，他們曾參與過相關立法，或有孩子在科技行業工作）。有時，資歷深淺的影響甚至比黨派歸屬更強烈。我很高興看到來自不同政治光譜的立法者支持我們的活動並參與這個話題，因為這表明他們正確地理解了這個問題不會區分政黨。
最重要的是，冒著聽起來像是廢話的風險也要說：不要撒謊！如果你必須改變你的訊息來討好一個政黨或避免讓某人不快，那麼那個人就是你無法合作的人（你已經失去了說服他們了解問題的機會！），也是你失去其信任的人，因為你的訊息在不同受眾之間不一致的事實終將敗露。換句話說：不要提出別人無法重複的論點。你只會輸。誠實不僅是一項資產，更是對自己和他人的義務。
關於可操作的後續步驟：不要只留給他們一個巨大的問題！
在一次解釋到一半時，一位議員打斷我說：「好吧，但我能做什麼呢？我可以帶著滿腦子的危機感回家，卻仍然不知道該怎麼辦。」
與非常具體的選區問題（例如，鎮上這一區的巴士服務不足，選民無法搭乘大眾運輸工具上班）相比，超智能帶來的威脅可能讓人感到難以承受且有些遙遠。立法者個人並沒有控制桿來引導局勢走向不同的方向。
所以他們理所當然地會問，他們的工具箱裡下一步能做什麼。正如這位議員指出的，提高意識不足以解決問題。從那以後，我試圖更清楚地說明有哪些可操作的後續步驟，並在對話中更早地提出（或至少預告）它們，這樣就不會讓人感到沮喪或無關緊要。
關於權衡：不要為了窗台丟了建築許可！
在設計政策和溝通政策時，你需要清楚自己最在乎的是什麼。政策設計很快就會變得複雜：提案範圍可以從狹窄、有針對性的措施到針對整個行業的全新監管制度。
這就是為什麼明智地選擇戰場至關重要，並且要明確你願意在哪些方面做出讓步，無論是在塑造政策時，還是在發出哪些元素對於實際執行政策至關重要的信號時。
以碳定價為例。你可能對於應該透過稅收還是排放權交易系統來實施有強烈看法。如果你認為其中一種機制有根本缺陷，那可能是不可談判的。但如果你認為兩者都可行（即使你強烈偏好其中一種），你就有了妥協的空間，以建立更廣泛的支持。隨後會出現更多的權衡（例如，關於行業豁免、收入回收和時間表）。每一個額外的設計選擇都會開啟一個新的分歧軸。有些值得爭取，有些則不然。
一個有用的思考方式是將其視為建築而非裝飾。有些元素支撐著建築物不倒；有些則讓它看起來更漂亮。保護承重結構，不要因為堅持某個決策者拒絕批准的特定窗台而丟掉整棟建築的許可！
關於迭代與直覺：為什麼對話更像網球而非政治學
我最近與一位即將就另一個問題發起自己活動的朋友交談。當我們聊到我早期面臨的困難時，他承認他覺得這個初始階段非常令人生畏。*「學習政治學完全沒讓我為這件事做好準備，」*他說。我只能表示同意。你可以無止盡地閱讀政治書籍，但那只能帶你走這麼遠。真正的理解來自於實踐，以及對實踐結果的一次又一次反思。
我經常發現自己用網球來思考這些會議。我最近對這項運動產生了興趣：我讀了安德烈·阿格西的《公開賽》（Open），開始看比賽，甚至在雨中排隊看溫布頓。理論上，這一切都提高了我對網球的理解。但它並沒有改善我的步法或手眼協調。當我拿起球拍時，我仍然會發球失誤一半！
簡報立法者就像網球一樣，是一門透過重複磨練的工藝。你做得越多，就做得越好。在一場比賽中奏效的方法在另一場比賽中可能會失敗；風格各異，你必須適應。你開始能感覺到什麼時候失去了某人的注意力，什麼時候吸引了他們，哪些例子能打動人心，哪些則石沉大海。其中大部分是在當下決定的，與其說是受明確規則引導，不如說是受長期建立的直覺引導。
關於透過回饋進行迭代：多少證據才足夠？
考慮 ControlAI 英國活動聲明的第一句話：「諾貝爾獎得主、AI 科學家和領先 AI 公司的執行長都表示，減輕 AI 帶來的滅絕風險應成為全球優先事項。」
我明白，還有更愉快、更悅耳的訊息！
當我們第一次向一些幕僚和議員展示我們的聲明時，他們異口同聲地說：「沒有人會在包含『滅絕』（extinction）這個詞的聲明上簽名。」哎呀！這正是頂尖 AI 專家對風險規模的看法，我肯定不比他們懂得多，也不想改變他們的訊息。
這讓人感到沮喪，老實說，我一度認為這行不通。然而，現在已有超過 100 位來自不同政治光譜的議員支持這項聲明！我從中學到了很多。
來自現實的回饋很重要，但很容易過度反應（尤其是當我們不喜歡聽到的內容時！）。當我收到回饋時，我會試著問：樣本量有多大？兩個人？五個人？二十個人？
我根據回饋採取行動的門檻取決於我對該核心想法的重視程度。如果問題是次要的，且堅持下去的代價很高，我很樂意根據有限的證據改變方向。但當涉及到核心原則或我深切關注的訊息時，門檻就會高得多：在願意重新考慮之前，需要有大得多的證據體系。
這在開始階段最為重要，因為那時回饋稀少且往往充滿雜訊。要有耐心。堅持下去。適應，但不要過度修正。否則，你正在建立的東西可能會被早期信號稀釋，直到其本質完全消失。
關於建立關係：去喝那杯咖啡吧！
我記得在保得利大廈（Portcullis House，議員辦公和開會的地方）忙碌的一天，買咖啡的隊伍比平時還要長，而我們的會議（一場短會）已經遲開始了。我們剛和一位議員及一位幕僚坐下，議員就主動提出幫我們買咖啡。「我不用，謝謝你的好意！」我緊張地說，眼睛盯著排隊的人群。「我要一杯黑美式，」我的同事說。我看著議員加入那條長龍，眉毛都揚了起來。在接下來與幕僚交談的五分鐘裡，我腦子裡想的只有：「該死！我們不該點那杯咖啡的！」
從我們走出議會後同事說的話中，我學到了很多。他的話大意如下：
「聽著，我知道你當時壓力很大！但想想看：如果你想和這個人合作，並因此與他們建立關係，你就需要採取相應的行動。如果我們衝進來，表現得除了我們的談話要點之外沒時間做任何其他事（甚至沒時間互相了解），那就很難建立關係。事實上，我會有種感覺，這個人只想把他的東西推銷給我，一旦得到想要的就跑掉。所以，是的，我點了那杯咖啡。你也應該點！」
從那以後，我喝了很多咖啡（還有橘子汁，請注意咖啡因和熱巧克力的攝取量！）。歸根結底，這就是我對待任何其他人會做的事！如果必須快一點，那就喝杯快咖啡！但這仍然比一場匆忙、且沒給對方機會建立關係的對話要好。
關於信任：勝任感勝過自信感
自信，如果理解為「聽起來很篤定」，並不總是一種美德。許多人說話很自信，卻是錯誤或不精確的，這只會讓問題惡化。如果我是一位被要求參與或表態的議員，我不會想和一個優秀的表演者或推銷員合作。我會想要一個有能力的人，而勝任感看起來與自信大不相同。它體現在三個方面：
在議會這種人們不斷試圖影響立法者的環境中，自信是廉價的，而且往往令人懷疑。真正能解除戒心的是「表演感」的缺失：基於知識的清晰、謹慎的言談，以及對自己和他人誠實的明顯承諾。
雜項：把鷹嘴豆留在家裡，把西裝穿上
當有人告訴我：「我真的很喜歡你關於如何與立法者接觸的文章。但你知道嗎？你應該建議穿西裝！」好吧！
請務必穿西裝！與儀容整潔、衛生良好的人交往會更愉快。既然說到這了：隨身帶把牙刷，你不會想被記住是那個牙縫裡塞著香菜的人。
如果你帶包去議會，想想裡面裝了什麼。信不信由你，我曾經看到有人在安檢處被攔下，會議因此延誤，因為他帶了奇怪的東西。當我看到安檢人員拿出一罐鷹嘴豆時，我簡直不敢相信。我敢肯定，對於看著這一切發生的困惑幕僚來說，他變成了「那個鷹嘴豆男」。
非常感謝 ControlAI 的同事們提供的寶貴回饋！
如果我有任何未提及但你認為有價值的內容，請留言，我會考慮在未來的文章中討論。
關於我
我負責 ControlAI 與英國議員的接觸工作，曾向 100 多位議員和英國首相辦公室簡報先進 AI 帶來的新興風險以及超智能 AI 構成的威脅。我在政策諮詢、溝通和研究方面擁有豐富經驗。我接受過經濟學家和國際事務專家的培訓，並擁有倫敦政治經濟學院（LSE）的哲學與公共政策碩士學位。