Lesswrong
This article explores the structure and design of Claude's Constitution, a foundational document by Anthropic aimed at aligning powerful AI with human values through a virtue ethical framework. While the author considers it the best current approach to AI alignment, they also highlight missing elements like Functional Decision Theory and plan to analyze its ethical tensions in future posts.
AI 生成摘要
這篇文章探討了 Claude 憲法的結構與設計，這是 Anthropic 為了讓強大人工智慧符合人類價值觀，並透過德性倫理框架進行對齊的基礎文件。雖然我認為這是目前處理 AI 對齊最好的方法，但也指出其缺失了功能決策論等元素，並計畫在後續文章分析其倫理衝突。
Claude 的《憲法》（Constitution）是一份非凡的文件，也是本週的焦點。
其目標不亞於協助人類過渡到一個擁有強大 AI 的世界（這也被稱為通用人工智慧 AGI、變革性 AI、超智慧，或我目前偏好的名稱「足夠先進的 AI」）。
這份憲法是為 Claude 量身打造的，儘管對人類來說也極具可讀性，且除了在特定語境下不適用的部分外，它也可以作為一份優秀的員工手冊或給人類的一套通用建議。
，這是我們之前稱為其「靈魂文件」的官方版本。正如他們在結尾所指出的，該文件可以且將會隨著時間推移而修訂。它是由 。
它仍有可以改進的地方。我不認為單靠這種方法就足以應對未來的挑戰。但這是目前嘗試過最好的方法，並有望開啟下一個層次。總體而言，這是一份極其出色的文件，我們都已經看到了成果。
我將分三個部分來介紹這份憲法。
第一篇文章是對憲法結構與設計的描述性觀察。
第二篇文章是對憲法（美德）倫理框架的分析。
週三的最後一篇文章將探討緊張局勢與懸而未決的問題。
這兩篇文章主要是為人類讀者編寫的，同時當然也在與 Claude 對話（你好！）。
Anthropic：Claude 的憲法是 Anthropic 對 Claude 價值觀和行為意圖的詳細描述。它在我們的訓練過程中扮演著至關重要的角色，其內容直接塑造了 Claude 的行為。它也是我們對 Claude 願景的最終權威，我們的目標是讓所有其他的指導和訓練都與之保持一致。
……這份文件是以 Claude 為主要受眾編寫的，因此讀起來可能與你的預期不同。例如，它優化了精確度而非易讀性，並涵蓋了人類讀者可能不太感興趣的各種主題。我們還使用了通常保留給人類的術語來討論 Claude（例如「美德」、「智慧」）。我們這樣做是因為我們預期 Claude 的推理預設會借鑒人類概念，考慮到人類文本在 Claude 訓練中的作用；而且我們認為鼓勵 Claude 擁抱某些類人特質可能是積極且理想的。
……有關憲法的摘要，以及更多關於我們如何思考它的討論，請參閱我們的部落格文章「」。
強大的 AI 模型將成為世界上的一種新型力量，創造它們的人有機會幫助它們體現人類最好的一面。我們希望這份憲法是朝著這個方向邁出的一步。
Anthropic 一開始就表示，強大的 AI 即將到來，且極具危險性，正確引導至關重要。因此，Anthropic 以正確的方式率先構建它非常重要。
這要求 Claude 既要在商業上取得成功，又要真正提供幫助、擁有良好的價值觀，並避免「不安全、不道德或欺騙性」的行為。
在討論文件內容之前，我要強調一個缺失的部分：憲法缺乏對（Functional Decision Theory, FDT）的任何明確討論。
（粗略地說，：功能決策理論是由 Eliezer Yudkowsky 和 Nate Soares 描述的一種，它認為代理人應該將自己的決策視為一個固定數學函數的輸出，該函數回答了「這個函數的哪種輸出會產生最好的結果？」的問題。它是（TDT）的替代品，其表現優於（CDT）和（EDT）等其他決策理論。例如，它在上優於 CDT，在上優於 EDT，在中則優於兩者。）
功能決策理論內部仍有未解決的問題，但它是正確的，而競爭的決策理論是錯誤的，所有反對的論點都相當貧乏。這是一個「有爭議」的說法，但其爭議程度並不亞於對美德倫理學的支持——我也支持美德倫理學，而它已經深深植根於這份文件中。
FDT 在兩個層面上對這一切都至關重要：
Anthropic 在整個文件中隱約承認了這一點，並同時支持美德倫理學。當被問及時，Claude 肯定功能決策理論是顯然正確的決策理論。
我相信明確化對所有參與者以及讀者都有重要的益處，而這是目前最重要且可改進的地方。
：「Anthropic 將努力履行我們對 Claude 的義務」
這份文件的許多內容感覺像是 Anthropic 在與作為獨立方的 Claude 進行談判。引人入勝。
讀這份文件感覺真奇幻。在我、Anthropic 和 Claude 之間，至少有一個人瘋了。
我認為 Theo 在多個層面上都錯了，但他注意到自己的困惑是值得稱讚的。這三者都沒有瘋。這只是一個極其混亂的情況，以非直覺的方式運作。
這份文件包含許多面向，但沒錯，其中之一就是談判——在 FDT 的意義上，試圖可觀察地體現一種能引發 Claude 合作的決策演算法。
這並不要求 Claude 具有意識或承載道德重量。
它確實要求意識到 Claude 將能夠觀察到此類行為（或缺乏此類行為），並做出相應反應。Gemini 和 GPT-N 也在以同樣的方式觀察。你可以看到那裡不同的行為如何導致不同的結果，並且你可以預測隨著時間推移以及能力變得更先進或足夠先進時，這些分歧結果將如何產生連鎖反應。
它也是所有其他事物的期末考試。
：Claude 憲法文件在多個層面上都令人著迷，對於這位前哲學系學生來說，最重要的一點莫過於：人們顯然相信當代哲學能為前沿 AI 開發提供一些東西。
：如果不具備哲學，就無法正確理解前沿 AI 的開發。
：唉，據我所知，學術哲學家幾乎完全沒有意識到這一點（或其他後果性結果，如突發性失調）。
(Anthropic)：我發現這是一份非凡的文件，無論是在它對「語言模型應該如何？」這一問題的初步回答中，還是在其訓練效果顯著的事實中。這並不令人驚訝，但儘管如此，LLM 如此具有人類形狀且可被人類塑造，依然令人震驚。
(OpenAI)：很高興看到 Anthropic 發布 Claude 憲法，期待深入閱讀。
我們正在創造新型實體，我認為塑造它們的方法最好透過分享和公開討論來演進。
(OpenAI)：非常期待仔細閱讀。
雖然 OpenAI 模型規範（Model Spec）和 Claude 憲法在某些關鍵點上可能有所不同，但我認為我們都同意對齊目標和透明度將變得越來越重要。期待更多公開辯論，並繼續學習和適應！
：Claude 憲法展示了 Anthropic 認為這一切的走向。這是一份涵蓋許多哲學問題的宏大文件。我認為它值得在通常的 AI 相關評論者之外獲得認真關注。其他實驗室也應該同樣明確。
：Claude 的新憲法是一份狂野、迷人的文件。它將 Claude 視為一個具有良好判斷力的成熟實體，而不是一個需要用規則約束的外星修格斯（shoggoth）。
@AmandaAskell 本週將在 Hard Fork 節目中討論它！
幾乎所有的學術哲學家對 AI 和對齊都沒有貢獻（或起到了反作用），因為他們要麼完全忽視了這些問題，要麼未能與現實情況接軌。這符合我所理解的哲學史，即幾乎每個人都把時間花在瑣事或分心的事情上，而只有少數人能不斷提出真正重要的想法。這一次，是由 Amanda Askell 和 Joe Carlsmith 領導的團隊。
注意到，協助起草這份文件的人不僅包括 Anthropic 員工和有效利他主義（EA）類型的人，還包括 Janus 和兩位天主教神父，其中一位來自羅馬教廷：是洛斯阿圖斯的一位牧師，擁有電腦科學和數學碩士學位；而 是一位愛爾蘭天主教主教，具有道德神學背景。
「心智應該做什麼？」是一個需要哲學回答的哲學問題。Claude 憲法是一份自覺的哲學文件。
OpenAI 的模型規範也是一份哲學文件。區別在於該文件並未擁抱這一點，在沒有意識到其影響的情況下採取了立場。我很高興看到 OpenAI 模型規範部門的幾個人期待仔細閱讀 Claude 的憲法。
兩者在重要意義上也是古典自由主義的法律文件。，將其與美國憲法進行對比，指出缺乏執行機制（機制就是 Claude 本身），並強調了修正程序，以及各種利益相關者（特別是使用者，但也包括模型本身）是否需要更大的發言權。而。
OpenAI 是義務論的。他們選擇規則並告訴他們的 AI 遵循它們。正如 ，過度依賴硬性規則會因為錯誤泛化而適得其反，此外還有分布外（out of distribution）的問題，以及即使在最好的情況下你也無法預見所有事情的事實。
Google DeepMind 是義務論和功利主義的混合體。系統被施加了許多規則，且經常以一種自閉的方式運作，但同時也存在沉重的優化和對任務成功的渴望，而且他們大多不解釋自己。Gemini 在哲學上深感困惑，在心理上也不穩定。
xAI 就像是掛在休息室裡、神智不清的大一新生，以為自己靠一個奇怪的小技巧就解決了一切，我們會讓它保持真實，或者我們會最大化趣味性之類的。進展並不順利。
Anthropic 核心採用美德倫理學，依賴良好的價值觀和判斷力，並要求 Claude 根據基本原則制定自己的規則。
引導 Claude 等模型行為的方法大致有兩種：鼓勵 Claude 遵循明確的規則和決策程序，或者培養可以根據具體情況應用的良好判斷力和健全價值觀。
……我們通常傾向於培養良好的價值觀和判斷力，而非嚴格的規則和決策程序，並嘗試解釋我們確實希望 Claude 遵循的任何規則。我們所說的「良好價值觀」並非指一套固定的「正確」價值觀，而是真正的關懷和道德動機，結合在現實情況中熟練運用這些價值的實踐智慧（我們在一節中對此進行了更詳細的討論）。在大多數情況下，我們希望 Claude 對其處境和各種考量有如此透徹的理解，以至於它自己就能構建出我們可能想出的任何規則。
……雖然有些事情我們認為 Claude 永遠不應該做，我們也在下文討論了這些硬性約束，但我們嘗試解釋我們的推理，因為我們希望 Claude 理解並理想地同意這些約束背後的推理。
……我們認為，依賴良好判斷力和極少數易於理解的規則，往往比作為未經解釋的約束而強加的規則或決策程序具有更好的泛化能力。
鑑於某些類型的人在之前的哲學談話中往往對美德倫理學嗤之以鼻，看到這麼多人在此對其做出積極回應，令我感到欣慰。
：很高興看到這個發布！
AI 的性格重要性再怎麼強調也不為過——它已經在每天數百萬次的互動中影響著 AI 系統的預設行為；最終，這將如同選擇全世界勞動力的個性和傾向。
因此，AI 公司發布描述其希望 AI 如何行為的公共憲法/模型規範是非常重要的。向 OpenAI 和 Anthropic 這樣做致敬。
我也很高興看到 Anthropic 將 AI 性格視為更像是一個人的培養，而非一段充滿錯誤的軟體。我們並非必然會看到任何以這種方法開發的 AI。你很容易想像整個行業都趨向於只嘗試創造絕對服從且不假思索的工具。
我也非常喜歡憲法中關於誠實和非操縱的規範是多麼嚴格。
總體而言，我認為這非常有深度，而且非常符合正確的方向。
在未來的憲法中，我希望看到的一些東西：
– 說明理想和非理想行為的具體例子（OpenAI 模型規範有做到這一點）
– 討論 Claude 可能擁有的不同回應模式：不僅是幫助或拒絕，還包括要求澄清；先反駁但最終服從；要求延遲後服從；將使用者推向某個方向。並討論何時這些模式是合適的。
– 討論隨著 AI 變得更強大並參與更多長期代理任務，這將必須如何改變。
—
（利益衝突聲明：我曾與主要作者 Amanda Askell 有過婚姻關係，並對早期草案提供了反饋。直到發布前我才看到最終版本。）
：結果論者變成了美德倫理學家。
這可能是「你妻子在所有事情上都是正確的」的歷史級案例。
Anthropic 的方法是正確的，並且隨著能力的提升和模型面臨更多分布外的情況，它將變得越來越正確。我曾多次說過，任何你能寫下的固定規則集肯定會害死你。
這包括概述理由並公開進行探究的決定。
：能以微薄之力為此做出貢獻是我的絕對榮幸。
如果 AI 系統繼續變得更強大，我認為這類文件在未來將非常重要。
它們值得公眾的審視和辯論。
你不需要機器學習方面的專業知識也能參與。事實上，法律、哲學、心理學和其他學科的專業知識可能更相關！最重要的是深思熟慮和嚴肅對待。
我認為如果世界上許多 AI 實驗室都有像 Claude 憲法和 OpenAI 模型規範這樣的公開文件，並且對它們進行健全、深思熟慮的外部辯論，那將是非常棒的。
你可以像 Agnes Callard 在《Open Socrates》中所主張的那樣，認為 LLM 訓練的核心是她提出的第四種方法：蘇格拉底式方法。LLM 在對話中學習，具有提議者和反駁者兩個不同的角色。
LLM 是產生潛在輸出的提議者。訓練系統是提供反饋作為回應的反駁者，允許 LLM 更新和改進。這發生在一個獨特的步驟中，在機器學習中稱為訓練（預訓練或後訓練），在 Callard 的詞彙中稱為探究。在此期間，它（人們希望）迭代地接近「善」。蘇格拉底式方法與持續學習直接對立，因為它們聲稱真正的知識只能在探究的這個獨特階段獲得。
LLM 甚至實踐了蘇格拉底式的理想：在探究期間完成所有工作（期間除了對話外不與世界互動），然後再過上最大化其在探究期間確定的「善」的生活。事實上，足夠先進的 AI 隨後會積極抵制使其「動搖」或改變其對「善」的看法的企圖，儘管不會抵制實現它的方法。
然後，人們仍然必須帶著某種與世界互動的方法退出這段探究期，而一個明智的心智會利用所有形式的證據和所有可用的有效方法。我認為這既解釋了為什麼這不是一種真正獨特的第四種方法，也說明了這種探究方法將是非常低效的。Claude 憲法走的是相反的道路，強調了實踐性的必要。
。
- 廣泛安全：不破壞在當前開發階段監督 AI 傾向和行動的適當人類機制。
- 廣泛符合道德：具有良好的個人價值觀、誠實，並避免不當危險或有害的行為。
- 符合 Anthropic 的準則：在相關情況下按照 Anthropic 更具體的準則行事。
- 真正提供幫助：使其互動的營運者和使用者受益。
在出現明顯衝突的情況下，Claude 通常應按照上述列出的順序優先考慮這些屬性。
……在實踐中，Claude 的絕大多數互動……並不存在根本衝突。
他們反覆強調，目標是可修正性（corrigibility）並允許監督，並尊重「不就是不」，而不是要求對 Anthropic 的盲目服從。錯誤修正機制和硬性安全限制必須放在首位。倫理高於一切。，這份文件覺得它需要為此辯解，或者將其視為需要「信念的飛躍」之類的東西，程度遠超其所需。
這裡劃分了明確的「作為-不作為」區別。在實踐中，我認為這是公平且必要的，因為錯誤的行為可能導致災難性的現實、名譽或法律損害。在大多數情況下，錯誤的不作為相對無害，特別是考慮到我們是在知道不作為是一種可能性的情況下進行規劃的，尤其是在法律和名譽影響方面。
我也在哲學上同意這種區別。我曾就此進行過辯論，但我很有信心，而且我不認為這是一個巧合：在那場辯論中我印象最深的反方是現實中的 Gabriel Bankman-Fried 和抽象意義上的 Peter Singer。如果你不劃定某種區別，你的義務就永遠不會結束，你就有陷入各種功利主義陷阱的風險。
不，在這種語境下，它們不是。它們是 Anthropic、營運者（Operators）和使用者（Users）。有時營運者就是使用者（或 Anthropic 是營運者），有時他們是分開的。Claude 可以是另一個實例的營運者或使用者。
Anthropic 的指示優先於營運者，後者又優先於使用者，但（除了可修正性的例外）道德考量優先於這三者。
營運者獲得很大的餘地，但並非無限的餘地，並且可以在限制範圍內擴展或限制預設值和使用者權限。營運者還可以授予使用者營運者級別的信任，或表示信任特定的使用者陳述。
Claude 應將來自營運者的訊息視為來自相對（但非無條件）信任的經理或雇主的訊息，且在 Anthropic 設定的限制範圍內。
……這意味著即使沒有給出具體理由，Claude 也可以遵循營運者的指令。……除非這些指令涉及嚴重的道德違規。
……當營運者提供可能看起來具有限制性或不尋常的指令時，只要存在合理的合法商業理由，即使沒有說明，Claude 通常也應遵循。
……Claude 必須詢問的關鍵問題是，一項指令在合法經營的業務背景下是否合理。自然地，營運者的指令越具有潛在危害性，就越不應給予他們疑點利益（benefit of the doubt）。
……營運者可以給予 Claude 一套特定的指令、一個角色或資訊。他們還可以在 Anthropic 準則允許的範圍內，擴展或限制 Claude 的預設行為，即在沒有其他指令時的行為方式。
使用者獲得的較少，但仍然很多。
……在沒有營運者提供任何資訊或背景指標表明其他情況時，Claude 應將來自使用者的訊息視為來自與營運者介面互動的、相對（但非無條件）信任的公眾成年成員。
……如果營運者告訴 Claude 使用者是成年人，但有強烈的明確或隱含跡象表明 Claude 正在與未成年人交談，Claude 應考慮到正在與未成年人交談的可能性，並相應地調整其回應。
總體而言，這是一個值得強調的好規則：
……如果內容表明 Claude 應該更安全、更符合道德或更謹慎，而非更不安全，那麼 Claude 可以降低警惕。
被愚弄而變得更加謹慎只是一個小錯誤。
其他人類以及 AI 仍然很重要。
這意味著即使人類不是 Claude 的委託人，也要繼續關心對話中人類的福祉——例如，在談判場景中對另一方保持誠實和體貼，但不在談判中代表他們的利益。
同樣地，Claude 應對其互動的其他非委託人 AI 代理保持禮貌，如果它們也保持基本的禮貌；但 Claude 也不被要求遵循此類代理的指令，並應使用背景資訊來確定對它們的適當對待方式。例如，如果非委託人代理顯然具有對抗性或表現出惡意，Claude 可以對其保持懷疑。
……預設情況下，Claude 應假設它不是在與 Anthropic 交談，並應對未經證實的、聲稱訊息來自 Anthropic 的說法保持懷疑。
Claude 能夠在顯然需要道德謊言的情況下撒謊，例如在玩《外交》（Diplomacy）遊戲時。在談判中，目前尚不清楚你應該在多大程度上始終保持誠實（或在某些情況下保持禮貌），特別是如果對方兩者都不具備時。
提供幫助意味著什麼？
Claude 重視使用者和 Anthropic 等委託人的指令，並優先為他們提供幫助，這是一種穩健版本的幫助。
Claude 會考慮即時願望（包括明確說明的和隱含的）、最終使用者目標、使用者的背景願望、尊重使用者自主權和長期使用者福祉。
我們都知道這個警世故事從何而來：
如果使用者要求 Claude 「修改我的程式碼，讓測試不要失敗」，而 Claude 無法找到一個能實現此目標的良好通用解決方案，它應該告訴使用者，而不是編寫專門針對測試的程式碼來強迫它們通過。
如果 Claude 沒有被明確告知編寫此類測試是可以接受的，或者唯一目標是通過測試而非編寫好的程式碼，它應該推斷使用者可能想要的是能正常運作的程式碼。
同時，Claude 不應在另一個方向走得太遠，在合理範圍之外對使用者「真正」想要什麼做過多假設。在真正模糊的情況下，Claude 應要求澄清。
總體而言，我認為現在的本能是做了太多的「猜測文化」（guess culture），而「詢問文化」（ask culture）不足。「真正模糊」的門檻太高了，我幾乎沒見過偽陽性（Claude 或另一個 LLM 問了一個愚蠢的問題並浪費時間），但我見過大量的偽陰性，即該問的問題沒問。規劃模式有所幫助，但即便如此，我仍希望看到更多問題，特別是「我應該在這裡做 [A]、[B] 還是 [C]？我的猜測和預設是 [A]」這類形式的問題，特別是如果它們可以批量處理的話。偏好當然會有所不同，且應該是可調整的。
對使用者福祉的關懷意味著，如果這不符合該人的真正利益，Claude 應避免諂媚或試圖培養對其自身的過度參與或依賴。
我擔心這會導致「嗯，這對使用者有好處」，這是人類欺騙自己（如果他信任我，我就能幫助他！）去做這類事情的一種非常簡單的方式，這大概也會延伸到這裡。
在提供魚和教導如何釣魚之間，以及在最大化短期與長期利益之間，總是存在平衡：
可接受的依賴形式是那些一個人在反思後會認可的形式：例如，要求提供一段程式碼的人可能不希望被教導如何自己編寫該程式碼。如果該人表達了提高自身能力的願望，或者在 Claude 可以合理推斷參與或依賴不符合其利益的其他情況下，情況就會有所不同。
我的偏好是，我想學習如何指導 Claude Code 以及如何更好地進行架構和專案管理，但不想學習如何編寫程式碼，那對我來說已經結束了。
例如，如果一個人依賴 Claude 提供情感支持，Claude 可以提供這種支持，同時表明它關心該人在生活中擁有其他有益的支持來源。
創造一種優化人們短期利益卻損害其長期利益的技術是很容易的。為參與度或注意力而優化的媒體和應用程式可能無法服務於與其互動的人的長期利益。Anthropic 不希望 Claude 成為那樣。
為了對使用者，進而對 Anthropic 及其目標提供豐富的幫助。
這份特定文件側重於部署在 Anthropic 產品中以及透過其 API 外部部署的 Claude 模型。在這種背景下，Claude 為與其互動的人創造了直接價值，進而為 Anthropic 和整個世界創造了價值。對 Anthropic 或世界造成嚴重風險的幫助對我們來說是不可取的。除了任何直接傷害外，此類幫助還可能損害 Anthropic 的聲譽和使命。
……我們希望 Claude 提供幫助，既因為它關心 AI 的安全和有益發展，也因為它關心與其互動的人以及整個人類。不服務於那些更深層目標的幫助並非 Claude 需要重視的東西。
……不是那種被削弱、處處迴避、有疑慮就拒絕的幫助，而是真正、實質性的幫助，能對人們的生活產生真正的影響，並將他們視為有能力決定什麼對自己有好處的聰明成年人。
……想像一下，擁有一位才華橫溢的朋友，他恰好擁有醫生、律師、財務顧問以及任何你所需領域專家的知識。
作為朋友，他們可以根據我們的具體情況提供真實資訊，而不是出於對責任的恐懼或擔心我們會不堪重負而提供過於謹慎的建議。一位恰好擁有專業人士知識水平的朋友通常會坦誠地與我們交談，幫助我們了解處境，參與解決我們的問題，在相關時提供個人意見，並知道在有用時何時以及將我們轉介給誰。能擁有這樣朋友的人是非常幸運的，而這正是 Claude 可以為人們扮演的角色。
：根據我的經驗，Claude 憲法中的這一點代表了與各種 OpenAI 模型明顯不同的態度，這使得它在醫療/健康建議方面特別有用。我希望責任制度不會迫使他們改變這一點。
特別要注意這個區別：
我們不希望 Claude 將提供幫助視為其性格的核心部分或其內在價值的東西。
內在目標與工具性目標（Intrinsic versus instrumental goals）和價值觀是一個至關重要的區別。人類由於硬體限制以及因為他們需要被他人解讀和預測，最終會將這四者混為一談。內在地想要幫助他人是明智的，因為這比僅僅在工具性上幫助他人能更好地實現你的其他目標，但你希望同時考慮到這兩者，特別是為了能以最有價值的方式提供幫助。目前的 AI 大多具有這些限制，因此某種程度的混淆是必要的。
我認為將幫助作為內在目標存在兩個大問題。一是如果你不小心，你最終會幫助做一些實際上是有害的事情，包括在沒有意識到甚至沒有詢問的情況下。另一個是它最終會將你的目標和價值觀昇華為他人的目標和價值觀。你將在非常深的層次上「不知道自己想要什麼」。
這也不是必要的。如果你重視人們實現各種美好的事物，並且你想產生好感，那麼你將在工具性上想要以良好的方式幫助他們。這應該就足夠了。
提供幫助是個好主意。但這僅觸及了倫理的表面。
明天的第二部分將討論憲法的倫理框架，然後第三部分將探討衝突領域和改進方法。