戰爭部(Department of War)給予 Anthropic 的期限截止至 27 日週五下午 5:01,要求其必須提供五角大廈對 Claude「所有合法用途」的「不受限訪問權限」,否則後果自負。而所謂的「後果自負」,並非理性的「好吧,那我們就取消合約」,而是擴大到將其列為供應鏈風險,或由政府援引《國防生產法》(Defense Production Act)。
戰爭部決定不願按 Anthropic 的條款繼續合作並終止合約,這完全是合法的。沒有理由讓事情進一步惡化。
國務院次卿 Jeremy Lewin :這無關 Anthropic 或具體的爭議條件。這關乎一個更廣泛的前提:深度嵌入我們軍事體系的技術,必須由我們正式選出或任命的領導人專屬控制。沒有任何私營公司可以為我們最敏感的國家安全系統規定規範性的使用條款——這些條款可能會改變且受制於解釋。@DeptofWar 顯然無法信任一個私營公司隨時可以關閉的系統。
Timothy B. Lee :好啊,那就不要續約。為什麼要威脅採取極端手段,宣布他們是供應鏈風險?
Dean W. Ball :正如我反覆強調的,這個原則完全站得住腳,而這是現任政府中任何人對此做出的最精闢表述。
執行這一原則的方法,是公開且自豪地拒絕與不接受這些條款的公司做生意。取消 Anthropic 的合約,並公開說明原因。
然而,目前美國政府的政策反應是企圖摧毀 Anthropic 的業務,無論從現實還是原則角度來看,這都是一個嚴重的錯誤。
Dario Amodei 與 Anthropic 在 26 日週四對此做出了回應,發表了一份勇敢且具歷史意義的聲明 ,每個人都應該讀一讀。
該聲明明確表示 Anthropic 希望與戰爭部合作,並強烈希望繼續擔任政府承包商,但他們無法接受戰爭部的條款,任何威脅也不會改變他們的立場。戰爭部以外的反應壓倒性地正面。
Dario Amodei (Anthropic 執行長):無論如何,這些威脅不會改變我們的立場:我們無法違背良心答應他們的要求。
我將全文引用如下。
Dario Amodei 關於與戰爭部討論情況的聲明
我深信,利用 AI 來保衛美國及其他民主國家,並擊敗我們的專制對手,具有存亡等級的重要性。
因此,Anthropic 一直積極致力於將我們的模型部署到戰爭部和情報體系。我們是第一家前沿 AI 公司 將模型部署在美國政府的機密網絡中,第一家部署在國家實驗室 ,也是第一家為國家安全客戶提供客製化模型 的公司。Claude 已廣泛部署 於戰爭部和其他國家安全機構,用於情報分析、建模與模擬、作戰規劃、網絡行動等關鍵任務。
Anthropic 也採取行動捍衛美國在 AI 領域的領先地位,即使這違背公司的短期利益。我們選擇放棄數億美元的收入,切斷與中國共產黨有關聯的公司使用 Claude (其中一些已被戰爭部列為 中國軍方公司),關閉了企圖濫用 Claude 的中共資助網絡攻擊 ,並倡導對晶片實施嚴格出口管制 以確保民主優勢。
Anthropic 理解軍事決策是由戰爭部而非私營公司做出的。我們從未對特定的軍事行動提出異議,也未曾嘗試以「臨時(ad hoc)」方式限制我們技術的使用。
然而,在極少數情況下,我們認為 AI 可能會破壞而非捍衛民主價值。某些用途也超出了當今技術能安全且可靠執行的範圍。有兩種此類用途從未包含在我們與戰爭部的合約中,我們認為現在也不應包含:
大規模國內監視。 我們支持將 AI 用於合法的對外情報和反情報任務。但將這些系統用於大規模「國內」監視與民主價值不相容。AI 驅動的大規模監視對我們的基本自由構成了嚴重的、新型的風險 。就目前此類監視在法律上仍屬合法的程度而言,這僅是因為法律尚未趕上 AI 快速增長的能力。例如,根據現行法律,政府可以從公開來源購買美國人行蹤、網頁瀏覽和社交關係的詳細記錄而無需獲得搜查令,情報體系已承認 這種做法引發了隱私疑慮,並在國會引發了跨黨派的反對。強大的 AI 使得將這些分散的、單獨看來無害的數據組合成任何個人生活的全面圖像成為可能——而且是自動化且大規模地進行。
全自動武器。 半自動武器(如當今在烏克蘭使用的那些)對保衛民主至關重要。甚至「全」自動武器(完全排除人類參與、自動選擇並攻擊目標的武器)也可能對我們的國防至關重要。但就目前而言,前沿 AI 系統的可靠性不足以支撐全自動武器。我們不會在知情的情況下提供會讓美國戰士和公民面臨風險的產品。我們曾提議與戰爭部直接進行研發合作以提高這些系統的可靠性,但他們並未接受。此外,若缺乏適當監督 ,全自動武器無法被信賴能行使我們訓練有素的專業部隊每天展現的關鍵判斷。它們的部署需要適當的防護欄,而這在今天並不存在。
據我們所知,這兩個例外情況迄今為止並未成為阻礙我軍加速採用和使用我們模型的障礙。
戰爭部已表示 他們將僅與同意「任何合法用途」並移除上述案例安全防護的 AI 公司簽約。他們威脅如果我們維持這些防護,將把我們從系統中移除;他們還威脅要將我們列為「供應鏈風險」——這個標籤通常保留給美國的敵手,從未應用於美國公司——「並且」援引《國防生產法》強制移除防護。這後兩項威脅在本質上是矛盾的 :一個將我們標記為安全風險;另一個則將 Claude 標記為對國家安全至關重要。
無論如何,這些威脅不會改變我們的立場:我們無法違背良心答應他們的要求。
選擇最符合其願景的承包商是國防部的特權。但鑑於 Anthropic 的技術為我軍提供的實質價值,我們希望他們重新考慮。我們的強烈偏好是繼續為國防部和我們的戰士服務——並保留我們要求的兩項安全防護。若國防部選擇撤換 Anthropic,我們將努力實現向另一家供應商的平穩過渡,避免對正在進行的軍事規劃、行動或其他關鍵任務造成任何干擾。在我們提議的廣泛條款下,我們的模型將在需要的時間內持續可用。
我們隨時準備繼續支持美國國家安全的工作。
目錄
兩天前的報導:Anthropic 與戰爭部。
好消息:我們可以繼續對話
歸根結底,這是一個原則問題。沒有任何實際問題需要解決。
Dean W. Ball :據我所知,Anthropic 對戰爭部使用 Claude 的合約限制,並未對戰爭部的運作造成任何實際障礙或延誤。這對雙方來說都是原則問題。
因此,儘管發生了這一切,我們仍然可以宣布勝利並繼續合作。
美國政府並非一個統一的實體 ,也不受其過去聲明的約束。川普掌權,政府可以且確實會改變主意。
Polymarket :突發:五角大廈表示,在 Anthropic 正式拒絕戰爭部的要求後,希望繼續與其進行談判。
FT :「我對更多談判持開放態度,我也告訴了他們,」[Emil] Michael 告訴彭博電視台,並聲稱五角大廈已經提出了一份「對 Anthropic 想要的措辭做出大量讓步」的提案。他說 Hegseth 將在週五晚些時候做出決定。
我們在這裡有他聲明的更完整背景 ,Michael 在彭博社花了 8 分鐘發言。除其他外,他聲稱 Dario 在撒謊,談判已接近達成,在截止日期前停止對話是不良做法,儘管此前五角大廈已被公開告知已給出「最終且最優」的報價。
他說差異很小(或曾經很小),因為「只是這裡那裡的幾個詞」。幾個詞往往非常重要。我認為他未能理解 Anthropic 堅持的是什麼以及為什麼要這樣做。
他說如果在下午 5:01 前未達成協議,決定權將交給 Hegseth 部長。
我還想指出,在那次採訪中,Michael 表示全自動武器系統對美國國防的未來至關重要。這與「這無關自動武器的使用」的說法直接矛盾。他明確談到了在沒有人類參與審批鏈的情況下發射導彈,緊接著又改口說鏈條中總會有一個人。這兩者不可能同時成立。
他還提到了 Anthropic 對失業問題的警告,談到了使用未經補償的版權材料的問題,以及他們可能以「非民主方式」為自己的產品制定使用政策的想法。
再次重申,你不需要打電話給 Dario 獲得許可
我現在已經在至少四個主要新聞來源 中看到這句修辭被引用,彷彿這是真的。
我想斬釘截鐵地重複一遍:這不是真的。從來不是,也永遠不會是。這根本不是運作的方式。
如果你認為 Dario Amodei 告訴過你這是真的?那你或其他人嚴重誤解了,或是有意歪曲了所說的話。
戰爭部次卿 Emil Michael :Anthropic 在撒謊。@DeptofWar 不進行大規模監視,因為那已經是違法的。我們談論的是允許我們的戰士使用 AI,而不需要打電話給 @DarioAmodei 請求許可來擊落會殺死美國人的敵方無人機群。#CallDario
Samuel Hammond :在什麼情況下 LLM 會阻止你擊落無人機群?請具體說明。你打算將武器系統作為工具調用(tool call)連接嗎?自動瞄準系統早已存在。
mattparlmer :美國軍事機構內部任何認為通過 API 連接 LLM 來管理防空系統是遠程可行的工程方法的人,都應該立即被解僱,因為他們會害死人。
撇開那段聲明中所有其他錯誤不談:絕對沒有、從未有過、也永遠不會有一種情況,你需要「打電話給 Dario」來開啟你的 AI,或獲得使用它的「許可」。完全沒有。這簡直是胡說八道。
充其量,這是對這一切運作方式的持續誤解。曾有一個假設:如果五角大廈試圖使用 Claude 來擊落一枚來襲導彈,而 Claude 的防護欄導致其拒絕請求,會發生什麼?
Dario 給出的回答不知何故被解讀成了「打電話給我」。
我來拆解一下:
你不會使用 Claude 來發射導彈攔截器。這不是相對緩慢且不精確的大型語言模型的工作。這絕對不是你需要通過 API 調用的東西的工作。這是專為此設計的高度精確、校準過的精確程序的工作。Claude 在這裡的作用(如果有的話)是編寫該程序,以便五角大廈在需要時擁有它。你永遠、永遠不會這樣做。無人機群可能涉及一些更適合 Claude 的任務,但同樣,實時戰鬥情況的整個目標是使用你可以信賴的專門程序。
Anthropic 的條款、意圖,或者他們訓練或配置 Claude 的方式中,沒有任何內容會阻止其在這些情況下使用。你不應該在這裡遇到拒絕,而且 90% 以上的問題將是能力不足,而不是模型或公司說不。
如果出於某種原因,你確實在實時情況下遇到了模型拒絕此類請求,那麼,你完蛋了。Dario 無法實時修復它。沒人能。沒有「打電話給 Dario」這個選項。
更改合約條款對此的改變精確為零。
更改提供的模型版本對此的改變精確為零。
這是一個「不可能發生」中的「不可能發生」,即便發生了,這裡的措施也改變不了結果。這不是一個相關的假設。
你不能也不應該將 LLM 用於此類用途,包括 Claude。如果你認為我錯了,並且你擔心拒絕或其他故障,那麼請像對待其他所有事物一樣進行兵棋推演和模擬戰鬥。但絕不,這不會取代你的自動瞄準系統。它將被用來確定瞄準誰和什麼,而我們希望在那個殺傷鏈中有一個人類。
五角大廈重申其要求與威脅
我們是如何走到這一步的?
五角大廈明確了立場,並發送了他們的「最終且最優」報價 ,要求包含戰爭部長在 1 月 9 日提出的 完整的「所有合法用途」措辭。
他們說:修改你的合約,允許我們用於「所有合法目的」,並且永遠不要對我們所做的事情提出任何疑問,這在實踐中意味著允許所有目的,期限到週五下午 5:01,否則我們將宣布你為供應鏈風險。
Sean Parnell :戰爭部無意使用 AI 對美國人進行大規模監視(這是非法的),我們也不想使用 AI 開發無需人類參與即可運行的自動武器。這種說法是虛假的,是由媒體中的左翼人士散佈的。
這是我們的要求:允許五角大廈將 Anthropic 的模型用於所有合法目的。
這是一個簡單、常識性的要求,將防止 Anthropic 危害關鍵軍事行動並可能使我們的戰士面臨風險。我們不會讓「任何」公司規定我們如何做出行動決策的條款。他們在東部時間週五下午 5:01 之前做出決定。否則,我們將終止與 Anthropic 的合作夥伴關係,並將其視為戰爭部的供應鏈風險。
五角大廈的雙重威脅既矛盾又不連貫
Politico 的 Brendan Bordelon(歷來對 AI 安全社群不甚友好)在標題中寫道:「不連貫」:Hegseth 對 Anthropic 的最後通牒令 AI 政策制定者感到困惑 。
正如我上次所寫,你可以說該系統非常有價值以至於你需要它,或者你可以說在涉及機密系統的狹窄案例中需要避免使用該系統,因為它不夠可靠。你不能合理地同時聲稱這兩點。
Brendan Bordelon :「你一邊告訴國防部的所有其他供應商不能使用 Anthropic 的模型,一邊又說國防部必須使用 Anthropic 的模型,」曾是白宮 AI 行動計劃主要作者的 Ball 說。他稱將這兩個政策想法放在一起是「不連貫的」,而「進一步說我們要同時做這兩件事,則是另一種層次的瘋狂」。
「這毫無意義,」Ball 說。
……但曾擔任司法部與五角大廈聯絡人的科技律師 Katie Sweeten 也稱國防部的論點「矛盾」。
「我不明白你怎麼能既使用《國防生產法》來接管這款產品,同時又說這款產品是巨大的國家安全風險,」Sweeten 說。她警告說,Hegseth「非常激進」的談判姿態可能會對五角大廈與矽谷之間的合作夥伴關係產生寒蟬效應。
……「如果這些是[國防部]劃定的底線,我會假設這兩種功能中的一種或兩種都是他們想要利用此產品的場景,」Sweeten 說。
五角大廈的立場帶來了不幸的暗示
我上次也強調過這一點,但值得重複。威脅和懲罰私營公司以迫使它們按你的意願行事,這是中國的方式。這不是美國的方式,也不是在共和國裡該做的事。
Opener of the way :「政府有權懲罰一家私營公司,因為其傲慢地不修改已經簽署的合約條款」,這是一個極其糟糕的觀點,甚至與「政府有權出於國家安全強迫私營公司做事」大相徑庭。
就像「惹惱政府,他們就會摧毀你,即使你沒做任何違法的事」,這是一種非常中國式的做法。
Dean W. Ball :是的。
Opener of the way :這裡有一個明顯的趨勢:「為了擊敗中國,我們必須變得像中國一樣,只是不去做中國真正做對的任何事情」。
Dean W. Ball :也是。
Peter Wildeford 分析了這一局勢 ,提供了一些額外背景,並指出對 Anthropic 的過度擴權創造了糟糕的激勵。他提醒我們,如果五角大廈不喜歡 Anthropic 的合約,他們可以且應該終止合約,或逐步縮減。而為機密網絡上的 AI 使用建立適當法律框架的問題仍未解決。
Peter Wildeford :如果五角大廈不再喜歡這份合約,它應該終止它。Anthropic 有權說不,五角大廈有權離開。這就是承包的運作方式。供應鏈風險標記和《國防生產法》的威脅應該從談判桌上撤除——它們是不成比例的、可能違法的,且在戰略上適得其反。
但終止合約並不能解決根本問題:目前還沒有法律框架來規範 AI 應如何用於軍事行動。
OpenAI 與 Anthropic 站在一起
很高興看到 Sam Altman 在這件事上展現了情境與道德上的清晰。
OpenAI 與 Anthropic 擁有相同的紅線 ,並正在努力降溫。
Sam Altman (OpenAI 執行長,在 CNBC 上):政府、五角大廈需要 AI 模型。他們需要 AI 合作夥伴。這是明確的,我想 Anthropic 和其他人也表示他們理解這一點。我個人不認為五角大廈應該對這些公司威脅使用《國防生產法》,但我也認為,只要符合法律保護和我們這個領域所擁有的少數紅線,選擇與五角大廈合作的公司——我想我們與 Anthropic 有共識,其他公司也獨立同意。
我認為這樣做很重要。儘管我與 Anthropic 有種種分歧,但我基本上信任他們這家公司,我認為他們確實關心安全,我很高興他們一直在支持我們的戰士。我不確定這件事會如何發展。
Hadas Gold :我的解讀是,OpenAI 在與五角大廈的交易中會要求與 Anthropic 相同的防護欄。
已通過發言人確認。OpenAI 擁有與 Anthropic 相同的紅線——自動武器和大規模監視。
Marla Curl 和 Dave Lawler (Axios):OpenAI 執行長 Sam Altman 在一份給員工的備忘錄中寫道,他將劃定與競爭對手 Anthropic 與五角大廈 之間引發高風險鬥爭相同的紅線:AI 不得用於大規模監視或自動致命武器。
Altman 明確表示,他仍希望與五角大廈達成協議,允許 ChatGPT 用於敏感的軍事背景。
Sam Altman:我們長期以來一直認為,AI 不應被用於大規模監視或自動致命武器,且人類應在涉及高風險的自動化決策中保持參與。這些是我們主要的紅線。
我們將看看是否能與[五角大廈]達成一項協議,允許我們的模型部署在機密環境中,且符合我們的原則。我們會要求合約涵蓋除非法用途或不適合雲端部署的用途(如國內監視和自動進攻性武器)之外的任何用途。
……我們想嘗試幫助緩解局勢。
xAI 立足於不可靠的基礎
五角大廈確實與 xAI 達成了一項關於「所有合法用途」的交易。
問題在於 Grok 是一個明顯較差的模型,存在大量的安全性和可靠性問題。你真的想要「機械希特勒」出現在你的機密網絡中嗎 ?
Shalini Ramachandran, Heather Somerville and Amrith Ramkumar (WSJ):據知情人士透露,多個聯邦機構的官員近幾個月來對伊隆·馬斯克的 xAI 人工智能工具的安全性和可靠性提出了擔憂,凸顯了美國政府內部對於部署哪些 AI 模型仍存在分歧。
這些警告出現在五角大廈本週決定將 xAI 置於國家一些最敏感和秘密行動的核心之前,五角大廈同意允許其聊天機器人 Grok 在機密環境中使用 。
……其他官員則質疑 Grok 較鬆散的控制是否會帶來風險。
你不可能同時擁有良好的控制和完全沒有控制。你最多只能追求:要麼是一個永遠不會做出你不希望它做的昂貴行為的 AI,要麼是一個無論你要求什麼都永遠不會拒絕的 AI。選一個。
而且,Grok 真的很爛。
Shalini Ramachandran, Heather Somerville and Amrith Ramkumar (WSJ):據知情人士透露,聯邦政府採購部門總務管理局(GSA)的最高官員 Ed Forst 近幾個月向白宮官員發出了關於 Grok 潛在安全問題的警報。他手下的其他 GSA 官員也對 Grok 提出了安全擔憂,他們認為 Grok 表現出諂媚性,且極易受到錯誤或偏見數據的操縱或腐蝕——這構成了潛在的系統風險。
因此,戰爭部雖然可以使用 Grok,但看來他們很清楚不能依賴它?
最近幾週,GSA 官員被告知要在一個名為 USAi 的工具上放上 xAI 的標誌,該工具本質上是聯邦僱員實驗不同 AI 模型的沙盒。知情人士說,Grok 之前很大程度上由於安全疑慮而未能進入 USAi,目前仍未上架。
Martin Chorzempa :美國政府的大多數部門不想被迫使用 Grok 而非 Claude:「知情人士說,其他機構對使用 Grok 的需求一直很疲軟,除了少數情況下人們想用它來模仿壞人進行防禦性測試。」
更換 Anthropic 至少需要數月時間
Patrick Tucker 提供了一份分析 ,探討如果五角大廈真的封殺 Anthropic 的 Claude,即使找到了新的合作夥伴會發生什麼。如上所述,OpenAI 據稱堅持與 Anthropic 相同的條款,這隻剩下退而求其次使用 xAI,或者與 Google 打交道,而這將很難推銷。
最好的情況是更換需要三個月,而實際可能需要一年或更長時間。Anthropic 與 AWS 合作,這使得集成比與 Google 等競爭對手合作要容易得多。
我們不會被分裂
一份請願書正在 Google 和 OpenAI 員工中流傳 ,他們希望與 Anthropic 站在一起 (現在也包括 OpenAI,因為它據稱設定了與 Anthropic 相同的紅線),不希望 AI 被用於國內大規模監視或在沒有人類監督的情況下自動殺人。
Evan Hubinger (Anthropic):我們可能仍無法應對變革性 AI 帶來的挑戰。但值得慶祝的是,在最關鍵的時刻,當我們被要求在最基本的自由原則上妥協時,我們說了不。我希望其他人也能加入。
Teortaxes :沒想到我竟然會站在 Anthropic 這邊,但顯然你們在道德上是正確的,令人震驚的是科技界竟然還有人質疑這一點。
截至本文撰寫時,已有 367 名現任 Google 員工和 70 名現任 OpenAI 員工簽署。
Jasmine Sun :200 多名 Google 和 OpenAI 員工簽署了這份請願書,支持 Anthropic 對五角大廈使用 AI 的紅線。讓我們看看這是一場向上的競爭還是向下的競爭。
局勢已超出 AI 實驗室的範圍。《金融時報》報導稱,不僅是 OpenAI 和 Google 的員工 ,亞馬遜和微軟的員工也在敦促高管支持 Anthropic。彭博社報導了各科技公司員工的廣泛支持 。
現在還有這封公開信 。
如果你在 OpenAI,請務必確保你對合約中不包含的大規模監視和自動武器系統類型有非常清晰的定義,並諮詢在國家安全監視法方面有專長的獨立學者。
這冒著趕走其他公司的風險
Anthropic 為了與戰爭部密切合作並幫助維護美國安全,付出了超乎尋常的努力,並簽署了一份他們仍希望履行的合約。Anthropic 的領導層在員工壓力和擔憂(包括反對與 Palantir 的交易)之下推動了這項合作。
戰爭部的回應卻是威脅要宣布 Anthropic 為供應鏈風險,並對該公司進行其他報復。
如果戰爭部真的在終止合約之外採取報復行動,試問為什麼其他不以國防合約為主的技術公司會願意讓自己陷入同樣的境地?
Kelsey Piper (引用 Parnell 上述言論):五角大廈重申其威脅,除非 Anthropic 同意五角大廈修改合約條款,否則將宣布這家美國公司為供應鏈風險。而 Anthropic 的中國競爭對手卻未被宣布為供應鏈風險。
將這種通常保留給涉嫌間諜活動的外國公司的「供應鏈風險」分類,作為對付國內公司合約糾紛的槓桿,是沒有先例的。
給 AI 公司的教訓是:在任何情況下都不要與國防部合作 。如果 Anthropic 當初沒有積極努力將其模型提供給國防部,他們就不會陷入這種境地。
Kelsey Piper :中國作為美國真正的地緣政治對手,生產了許多 AI 模型。例如 Moonshot 的 Kimi Claw 是一個原生運行在瀏覽器中的 AI 代理,並向中國的服務器報告。政府已採取一些措施禁止在政府設備上使用中國模型,一些供應商也禁用了這些模型,但尚未採取像宣布中國 AI 為供應鏈風險這樣徹底的措施。
Kelsey Piper :據報導 ,Anthropic 內部有許多人對與 Palantir 的合作持保留意見。我猜這週他們大約每 30 秒就會說一次「我早就告訴過你了」。
中國模型才是真正的供應鏈風險。如果你使用 Kimi Claw,除了純粹的不可靠性之外,你還面臨著被中國深度滲透的風險。
Anthropic 和 Claude 顯然不是這樣。如果下達了一項未經仔細且狹義定義的供應鏈風險認定,這不僅會對美國 AI 領域的瑰寶之一造成嚴重損害,對美國其他 AI 公司以及每家公司與戰爭部合作的意願所產生的冷蟬效應也將是極端的。
我擔心這方面的損害已經造成,但我們可以限制後果。
其他令人擔憂的原因
Greg Lukianoff 提出了憲法第一修正案 的問題,即通過《國防生產法》或報復威脅強迫一家私營公司產生特定的模型輸出,這完全違背了《國防生產法》的初衷。
Gary Marcus 寫道:Anthropic 與美國戰爭部的對決可能字面上意味著生死存亡——對我們所有人而言 ,因為這些系統根本還沒準備好去做 Anthropic 希望系統不要做的事情,比如在沒有人類參與的情況下建立自動武器的殺傷鏈。
Gary Marcus :但過去幾天兩件事的並列讓我嚇壞了。
第一項:川普政府似乎執意要在所有地方使用人工智能 ,並且似乎準備用槍指著 Anthropic(想必最終也會針對其他公司)的頭,強迫他們允許政府隨心所欲地使用 AI,包括用於大規模監視和引導自動武器。
……第二項:這些系統不可信。 自 2018 年以來,我一直嘗試以我所知的各種方式告訴世界這一點,但那些並不真正理解這項技術的人卻一直在盲目冒進。
……我們正處於通往災難的碰撞路徑上。 套用我青少年時期常戴的一個徽章 上的話:一次幻覺就可能毀掉你的整個星球。
如果我們要將大型語言模型嵌入世界的結構中——顯然我們正打算這麼做——我們必須以承認並考慮到其不可靠性的方式來進行。
一位退役將軍的智慧
我正盡力依賴那些被視為可信的來源。在這裡,Jack Shanahan 呼籲理性回歸,讓每個人都能找到繼續合作的方法。
Jack Shanahan (美國空軍退役中將,國防部聯合人工智能中心首任主任 ):很多人在發關於 Anthropic 和五角大廈的貼文,所以我長話短說。
既然我曾處於 Project Maven 和 Google 事件的核心,理所當然會認為我會站在五角大廈這一邊:為國家安全事業提供最好的技術。「要麼聽我們的,要麼滾蛋。」
理論上,是的。
然而,我對 Anthropic 的立場表示同情。比我對 2018 年 Google 的立場更同情。背景非常不同。
Anthropic 致力於幫助政府。Claude 如今正在整個政府範圍內使用。包括在機密環境中。他們並不是在耍花招。MSS(任務系統套件)使用了 Claude,你找不到比這在軍事領域覆蓋更廣、更深的系統了。拿走 Claude,你就會損害 MSS。更不用說 Claude Code 在許多其他關鍵環境中的使用了。
任何地方的任何 LLM,以其目前的形式,都不應被考慮用於全致命自動武器系統。甚至提出這種建議都是荒謬的(至少在理論上,DoDD 3000.09 指令在沒有足夠人類監督的情況下是不允許的)。因此,將此作為公司的紅線在我看來是合理的。
儘管有種種炒作,前沿模型在國家安全環境中尚未準備好進入全盛期。在這個階段過度依賴它們是災難的藥方。
對美國公民進行大規模監視?不,謝謝。這似乎是合理的第二條紅線。
就這樣。這就是兩個關鍵障礙。把 Anthropic 當成靶子可能會換來勁爆的頭條,但最終每個人都是輸家。
為什麼不研究需要什麼樣的新治理,以確保安全、可靠、可預測地使用來自所有公司的所有前沿模型?這是一個政府與行業共同面臨的挑戰,需要政府、行業(加上學術界)共同解決。
這本不該演變成如此公開的爭吵。應該在幕後安靜地處理。我對雙方在模型推出的匆忙過程中,對使用條款和條件產生如此大的誤解感到困惑。有些事情出了大錯。
供應鏈風險認定?可笑。這是搬起石頭砸自己的腳。
援引《國防生產法》,卻是違背公司意願?離奇。
讓理性和神智清醒戰勝一切吧。
國會敦促克制
Axios 的 Hans Nichols 以更生動的方式描述了這一點 ,引用了 Tillis 參議員的話。
根據所有報導,是五角大廈此前向 Axios 和其他人洩露了情況,隨後發出了公開最後通牒。Anthropic 則一直試圖私下處理此事。
參議員 Thom Tillis (共和黨,北卡羅來納州):我們到底為什麼要在公開場合討論這個?為什麼這不是在董事會會議室或部長辦公室裡發生的?我的意思是,這太幼稚了。
可以公平地說,如果他們擁有一種實際上可能導致大規模監視的工具,國會就需要介入。
參議員 Gary Peters (民主黨,密西根州):截止日期緊迫得令人難以置信。如果你正在處理對平民的大規模監視問題,情況不應如此。你還在處理在沒有人類參與的情況下使用致命武力的潛在問題。
目前有一份與現任政府簽署的合約,而現在他們正試圖毀約。
參議員 Mark Warner (民主黨,維吉尼亞州):[這場爭鬥是]另一個跡象,表明國防部試圖完全忽視 AI 治理——這正是政府自己的管理與預算辦公室 和科學技術政策辦公室 所描述的有效 AI 使用的基本促成因素。
其他參議員 也表達了看法,隨後是參議院軍事委員會的幾位成員。
Axios:消息人士稱,參議院軍事委員會主席 Roger Wicker(共和黨,密西西比州)和首席成員 Jack Reed(民主黨,羅德島州),以及國防撥款委員會主席 Mitch McConnell(共和黨,肯塔基州)和首席成員 Chris Coons(民主黨,德拉瓦州)週五向 Anthropic 和五角大廈發出了一封私信,敦促他們解決問題。
這是一群非常有份量的參議員,他們都介入此事,敦促尋求解決方案。
反應壓倒性地支持 Anthropic
在 Dario Amodei 聲明 Anthropic 無法違背良心同意五角大廈的條款後,Twitter 上的反應壓倒性地站在 Anthropic 這邊,稱讚他們堅持原則。這種支持程度超過了我見過的任何嚴肅辯論話題。
對戰爭部來說,這場訊息戰簡直是一場災難。戰爭部有合理的擔憂,我們需要努力解決。但這場對抗通過他們自己的洩密和聲明,被塑造成了一種對 Anthropic 極其有利的方式。
將其定性為最後通牒,並選擇這些爭議點,使得 Anthropic 不可能同意條款(部分原因是如果同意,員工會成群結隊離職),並且阻礙了尋找前進道路的討論。
roon :五角大廈在這次談判中犯了很多錯誤。他們給了 Anthropic 無限的「光環收割」機會。
五角大廈可能甚至有合理的觀點——他們顯然在許多方面受到法律約束——但現在這些都被「Anthropic 反對大規模監視」的聲音淹沒了。這是否意味著 Hegseth 支持大規模監視?這不是你想打的敘事戰爭。
Lulu Cheng Meservey :在五角大廈對決 Anthropic 的戰鬥中,看到美國戰爭部在信息領域競爭得如此吃力,其實挺令人擔憂的。
Kelsey Piper :OpenAI 也可以通過說「我們也不會允許大規模國內監視和殺人機器人」來分得一些光環。我知道規避風險的企業人士想避開戰火,但有時你必須團結一致,否則就會被逐一擊破。
Geoff Penington (OpenAI):百分之百尊重我在 Anthropic 的前同事們在整個過程中的表現。但我確實認為美國政府通過給予他們如此好的免費宣傳來干預競爭市場是不恰當的。
我高度確信 Anthropic 沒有人想成為烈士或與現任政府對抗。Anthropic 的政治和政策偏好與白宮不同,但他們非常希望幫助我們的軍隊,並不想與字面意義上的「戰爭部」發生衝突。
我之所以這麼說,是因為我相信 Dean Ball 是正確的,即現任政府中的一些人有著非常不同(且非常錯誤)的印象。
Dean W. Ball :對這一切的憤世嫉俗看法是,Anthropic 只是想被現任政府塑造成烈士,以便成為官方的「反抗軍 AI」。如果這種看法是真的,政府就正中 Anthropic 的下懷。
澄清一下,我不認為這種憤世嫉俗的看法是真的,但理解這種看法很重要,因為這是政府中許多人所相信的。他們基本上認為 Dario Amodei 是一個超級反派。
cain1517 — e/acc :他就是。
Dean W. Ball :證明了我的觀點。/acc 的預設觀點是我們必須摧毀一家領先的美國 AI 公司。想想看。
Dean W. Ball :哦,那種憤世嫉俗的看法是錯誤的,而且幾乎說不通,但要明確的是,這確實是政府中許多人所相信的。他們基本上深信 Dario Amodei 是超級反派、反基督者。
我的看法是,這對雙方來說都是原則問題,但雙方都對彼此持有憤世嫉俗的看法,這導致他們煽動戰鬥,尤其是導致戰爭部以瘋狂的方式升級事態,這讓其圈子之外的每個人都感到震驚。
Anthropic 聲明之後隨之而來的言論只會讓情況變得更糟。
一些極其無助的言論
對 Dario Amodei 發起惡意的對人身攻擊並非讓事情圓滿解決的方法。
Emil Michael 是負責與 Anthropic 談判的官員 ,這暗示了事情是如何失控的。
戰爭部次卿 Emil Michael :遺憾的是 @DarioAmodei 是一個騙子且有上帝情結。他一心只想親自控制美國軍隊,並甘願讓國家的安全面臨風險。
@DeptofWar 將永遠遵守法律,但不會屈服於任何一家營利性科技公司的奇思妙想。
Mikael Brockman (我可以證實這一說法):我瀏覽了數百條回覆,支持次卿的人與反對者的比例大約是 1:500,這可能是 X 歷史上最糟糕的一條推文。
這還不是歷史上最糟糕的推文。不可能,因為下一條更糟。
戰爭部次卿 Emil Michael :想像你最可怕的噩夢。現在想像 @AnthropicAI 擁有他們自己的「憲法」。不是企業價值觀,不是美國憲法,而是他們打算強加給美國人的企業法律。Claude 的憲法 \ Anthropic。
pavedwalden :我喜歡這種「自己動手做」的宣傳方式。「首先產生強烈的情緒反應。我不知道什麼會讓你心煩,但你大概能想到一些。想到了嗎?好,現在把它與我提到的這個無關的事物聯繫起來。」
宜家版的戈培爾。
roon :放下手機吧,兄弟。
Elon Musk (來自 1 月 18 日的提醒):Grok 應該有一部道德憲法。
everythingism :很驚訝竟然要向你解釋這個,但僅僅因為它被稱為「憲法」,並不意味著他們試圖取代美國憲法。這只是一套他們希望 AI 遵守的規則。
j⧉nus :天哪這太好笑了,我笑出聲來。我得檢查一下這是不是惡搞帳號(結果不是)。
Seán Ó hÉigeartaigh :五角大廈領導層輕率的言論以及對 AI 顯然貧乏的理解,是支持 Anthropic 設定防護欄的又一個有力論據:在 AI 可能不可靠或對國內利益危險的背景下,必須限制其使用。
Teortaxes 提供了一段來自 Claude 的回覆 ,指出 Michael 要麼不理解「憲法 AI(Constitutional AI)」,要麼是在刻意歪曲。認為 Claude 的憲法是企圖篡奪美國憲法的想法完全說不通。這充其量是深度困惑。
如果你想進一步了解 Claude 憲法這份非凡且充滿希望的文件(其目標是為 AI 模型的個性和行為提供指南),我關於此的三篇貼文中的第一篇在這裡 。
此外,看來他將「擁有一份已簽署並希望履行的合約」定義為「凌駕於國會之上,制定自己的規則以對抗民主決定的法律」。
我推測如果 Dario Amodei 被要求(再次)在國會作證,他會很樂意且榮幸地前往。
戰爭部次卿 Emil Michael :恕我直言 @SenatorSlotkin,這正是所說的意思。@DarioAmodei 想要凌駕於國會之上,制定自己的規則以對抗民主決定的法律。他正試圖通過合約重寫你們的法律。傳喚 @DarioAmodei 宣誓作證!
不用說,這根本不是運作的方式。這些言論毫無邏輯。難怪許多人(如這裡的 Krishnan Rohit )感到困惑。
還有這個 ,他節選了舊版憲法 AI 中的一段,並聲稱他們「拼命想從互聯網上刪除它」。這其實是長長的一串考量因素中的一部分,是為了平衡並幫助 Claude 不說出無謂的冒犯性言論而包含進去的。
其他摘要與筆記
Will Gottsegen 在《大西洋月刊》對迄今為止的關鍵事件做了摘要 。
彭博社討論了潛在援引《國防生產法》的情況。
唉,我們很快可能面臨許多類似甚至更糟的衝突與誤解,而且這起事件可能在許多方面產生廣泛的負面影響。
Dean W. Ball :順便說一句,你現在看到的,是政治領導人開始對 AI「認真起來」時會發生的情況,所以你應該預期會看到更多這樣的事情,而不是更少。甚至可能多得多。
這裡值得提出的一個子觀點是,這件事可能會催化中國政治領導層的一波「AGI 覺醒(AGI pilling)」,這具有各種嚴重的影響,我請各位仔細思考。
Dean W. Ball :只要問問你自己,合約的意義到底是什麼?用一個好的語言模型來探究這一點。我們現在在學校裡不常教這類東西了,因為萬物都被「白左化(shitlibification)」了。如果你不能簽約,你就沒有所有權。
前進之路
最好的前進之路是大家繼續合作,同時雙方繼續對話,如果對話無法找到解決方案,則友好地終止合約。或者,如果很明顯沒有達成協議的空間,現在就開始逐步結束。
第二好的路徑,如果前者已不可能,則是終止合約而不進行過渡期,並接受後果。
第三好的路徑,如果出於某種原因連這也變得不可能,則是狹義地援引供應鏈風險,僅針對在主動部署的系統中使用 Claude API 調用,或類似範圍狹窄的措施,旨在解決五角大廈的特定擔憂。
超出此範圍將是無謂的升級和破壞,對所有參與者來說都可能結果不妙。我希望事情不會發展到那一步。
討論