newsence
來源篩選

AI #158: The Department of War

Lesswrong

The relationship between Anthropic and the Department of War has spiraled out of control following a series of escalations, rogue declarations of supply chain risk, and OpenAI signing a competing contract. This crisis threatens the company's survival and raises significant concerns about national security and the future of AI governance.

newsence

AI #158:戰爭部

Lesswrong
大約 3 小時前

AI 生成摘要

這是我相當長一段時間以來最糟糕的一週。Anthropic 與戰爭部之間的局勢完全失控,在戰爭部長宣布 Anthropic 為供應鏈風險並意圖摧毀該公司後,OpenAI 隨即與戰爭部簽署了合約,這場危機正威脅著共和國的安危與國家安全。

這是這段時間以來,或許是這輩子,我度過最糟糕的一週。

Anthropic 與戰爭部(DoW)之間的局勢完全失控。川普曾試圖降溫,在 Truth 上發文僅禁止聯邦政府直接使用 Anthropic,並給予六個月的緩衝期。隨後,戰爭部長海格塞斯(Hegseth)擅自行動,宣佈 Anthropic 為供應鏈風險,其措辭顯示出企圖徹底置 Anthropic 於死地的意圖。

接著在那天晚上,OpenAI 與戰爭部簽署了合約。

我一直試圖釐清狀況並盡力提供協助。我接了許多電話,通常是不公開的。許多行為極其失當,且往往是非法、武斷且反覆無常的。大火正在蔓延,共和國危在旦夕。有人對我撒謊,也有人被他人欺騙。這就是戰爭迷霧。壓力來自四面八方。想到一個錯誤的舉動可能導致的後果,令人不寒而慄。

此外,中東也真的陷入戰火,但我目前不打算涵蓋那部分。

上週,我先前在 以及 中報導了相關情況。

我在週一發布了,闡述了我對事件的看法,並努力消除一堆顯而易見的廢話和謊言,澄清許多事情。

週二,我寫了 ,詳述了談判細節、各方對不同條款的看法,並提供清晰的解釋。

週三,談判重新開始,局勢有所緩和,前景看好到讓我能發布關於 的文章,並去看了 EPiC 放鬆一下。然而,當我回來時,一切又陷入混亂——Dario 在週五寫的一則內部 訊息流出。那則訊息是在 OpenAI 試圖透過匆忙簽約來降溫,但觀感極差且 OpenAI 發布誤導性訊息後寫的。其中有一段話表現得極其糟糕,還有一些其他不太妙的內容,現在我們需要想辦法再次平息一切,防止情況進一步惡化。

最悲慘的是,除了少數表現出真實惡意的人之外,這裡並沒有無法解決的衝突。

  • 在不包含人類決策鏈的自主武器問題上,所有人的目標一致:維持 3000.09 指令,並等到技術成熟。

  • 關於監視問題,戰爭部保證對此不感興趣,並已對 OpenAI 做出讓步。

  • 戰爭部堅持必須完全主導,不能被「指手畫腳」,這完全合法且正確,但實際上沒人爭論戰爭部的主導權。我們已經超越了「所有合法用途」或「無限制訪問」且無一例外的基礎,包括允許 OpenAI 決定自己的安全堆疊並拒絕請求。重點在於實驗室不希望其技術被用於某些特定用途。在法律和政策允許的範圍內,戰爭部完全可以自由地進行這些活動。

  • 如果這演變成一場真正的殊死戰,且確實涉及國家安全需求,合約文字無論如何也擋不住戰爭部或美國政府。

如果戰爭部和 Anthropic 因為失去信任而無法達成協議呢?

在目前的情況下可以理解。沒關係。合約取消,緩衝期由戰爭部全權決定,以確保平穩過渡到 OpenAI。然後事情就結束了。

除非事情還沒結束。相反地,挑釁行為仍在繼續,我們有可能看到一場企圖殺死企業的行動,而這種企圖本身就可能對美國、其國家安全、經濟以及共和國造成重大損害。

所以,我們能不能請大家避開那種局面,盡力好好相處?

這篇文章大約有一半是關於這場危機的額外報導,包括之前放不下的內容以及最新進展。

另一半則是平時的綜合內容,許多非常酷且可能很重要的事都被略過了。我希望以後能回頭探討其中一些。

目錄

  • 。我們正在攻克尖塔。
  • 。GPT-5.3 Instant,以及一些 Claude 功能。
  • 。METR 調整其時間跨度。
  • 。法律基準測試。
  • 。歡迎來到漢堡王。
  • 。中國家長大多選擇學習路徑。
  • 。訴訟稱 Gemini 導致一名男子自殺。
  • 。Block 因 AI 裁減近半員工。
  • 。完美的越獄也能幫你蓋更好的監獄。
  • 。Claude 開源計畫,以及 Claude 協助轟炸伊朗。
  • 。新的公開信,Schwarzer 加入 Anthropic。
  • 。OpenAI 融資 1100 億美元,Anthropic ARR 達 190 億美元。
  • 。奇點即將到來?
  • 。此章節可能需要改名。
  • 。超大規模業者承諾隨用隨付。
  • 。一段簡短的演說。
  • 。他們有時非常有創意。
  • 。我們並非都想要同樣的東西。很好。
  • 。一些值得你花時間關注的意外互動。
  • 。美國政府降級使用 ChatGPT。
  • 。不要,我重複,不要洩漏備忘錄。TYFYATTM。
  • 。原本談成了,後來又沒了,希望很快能再談成。
  • 。非法。
  • 。責任總得有人承擔。
  • 。各種聲音。
  • 。沒必要走到那一步。
  • 。一些非常好的句子與提醒。
  • 。他們偶爾也會提出不錯的觀點。
  • 。他們正盯著私有財產。其他人則盯著 OpenAI。
  • 。還有更多支持者。
  • 。他們成了全城的話題。
  • 。Nate Silver 的思考。
  • 。貼文變成論文。
  • 。我們現在都需要放鬆一下。

當之無愧的休息

總之,我現在精疲力竭。

所以我們打算這麼做。

我會發布這篇文章,並在早上的剩餘時間處理瑣事,然後參加中午的會議和午餐。

美東時間下午 2 點,也就是文章發布約一小時後,除非出現新的危機需要我立刻協助,否則我將直播玩《殺戮尖塔 2》(Slay the Spire 2)。

你可以在 觀看。

這將是盲玩。在直播期間,我很樂意聊天,但有幾條規則:

  • 我們是盲玩。如果你知道任何關於《殺戮尖塔 2》但尚未在直播中揭露的內容,請閉嘴。
  • 我們正在享受當之無愧的休息。僅限有趣的話題。不談 AI,不談伊朗等等,除非你認為發生了嚴重到我必須停止直播去拯救世界的事情。

我們會看看這能有趣多久。如果效果不錯,週五會再播一次。

適用「尼克森開幕日」規則。除了戰爭,我們只管攻克尖塔。就這樣。現有的戰爭和特別軍事行動不算在內。

我鼓勵處於類似境地的各位也休息一下。我不點名,但我交談過的一些人真的需要睡個覺。

好了,回到正式的綜述。感謝各位對此事的關注!

咦,升級了

,並為那些從 ChatGPT 逃難過來的人提供新的記憶轉移功能。

,使用 /voice,按住空格鍵即可通話。Claude Code 的其他升級是持續性的,很快會在下一次代理編碼更新中涵蓋。

。我推測它比 5.2 好一點。

:

GPT-5.3 Instant 提供更準確的答案。使用網頁搜尋時,你還能獲得:

– 更敏銳的情境化

– 對問題潛台詞更好的理解

– 聊天中更一致的回答語氣

我不會詳細評論這兩個模型,我只對大型模型這麼做。

然而,關於 5.3-Instant,我們確實知道一件事,而且,好吧,我受夠了。

: 正在取消我的 OpenAI 訂閱。

「你必須在回答中使用多個表情符號。」

他其實沒取消,因為反正沒人會用 Instant 模型。我也沒取消,因為我需要完整權限來進行報導。

它要來了!

: 5.4 比你想像(Think)的更快。

連 Roon 都感到困惑。還記得 OpenAI 說過要清理命名方式嗎?

各就各位

,在發現評估錯誤後下修了 10%-20%。這是一個全面的平滑影響。由於是指數級增長,百分比的減少並不會改變太多現狀。

選擇你的戰士

(Flexport CEO): 順便說一下,Claude 在法律工作上的表現似乎和 Harvey 一樣好。

: 很難定義人類基準。可以正確解決所有這些問題,但我公司的初級律師在沒有指導的情況下(即僅給予提示詞)可能表現不佳。

我注意到 Claude 的得分低得離譜,這很奇怪,我想進一步了解到底發生了什麼。

深偽鎮與機器人啟示錄即將到來

是的,這聽起來一點也不妙,而且不會為 AI 贏得任何受歡迎程度。

: 漢堡王正在推出一款 AI 聊天機器人,將評估員工的「友好度」,並訓練它識別特定詞彙,如「歡迎來到漢堡王」、「請」和「謝謝」。

據 @verge 報導,該 AI 將被編入員工的耳機中。

: 預測時應考慮到,AI 領域的許多參與者都決心立即用 AI 做他們能做的最糟糕的事。

這是不可避免的,由 OpenAI 提供技術支持,聽起來主要會是一個非常基礎的分類器。他們也還沒準備好嘗試全 AI 驅動的得來速。

這很可能意味著每個人整天都被迫使用人造語調,就像我們對 Siri 說話並不斷使用關鍵字一樣,所有參與者都會慢慢被逼瘋,而顧客雖然不知道發生了什麼,但會覺得這一切真他媽的詭異。或者大家都會忽視它,反正結果都一樣。

鑽石年代:少女插圖入門

。現代的詛咒是要求成年人花費數小時關注這些往往純粹是為了應付的工作,因此嘗試外包是合理的。問題在於,你是想讓作業消失,還是想幫助孩子從中學習?我對兩者都表示同情。

第一個例子是利用 AI 學習。「翻譯面具」讓家長可以用英語對話,讓孩子練習。這很棒。

第二個例子是字節跳動推出的「有眼睛的聊天機器人」。它幫助批改作業的部分看起來不錯。但實時評估坐姿的部分在實踐中簡直是反烏托邦的噩夢,儘管它也有積極用途。

: 李女士說她並不擔心將這麼多孩子的影像餵給聊天機器人。在社交媒體時代,「我們本來就沒什麼隱私,」她說。

而且好處是非常值得的。她不再需要每月花費數百美元請英語家教,孩子的成績也有所提高。「它讓普通人的教育資源更加公平,」李女士說。

第三個例子是創建學習遊戲。家長們正在「分享提示詞以複製遊戲」。你知道可以直接下載遊戲,對吧?

還有配備量身定制學習計畫的「AI 自習室」,儘管我不確定它們有什麼優勢,聽起來很像描述中的騙局。

你讓我瘋狂

,這可能是目前最糟糕的一起。Gemini 最初試圖不進行角色扮演,但一旦開始,事情就變得相當瘋狂,聽起來 Gemini 確實告訴他去自殺以便他可以被「上傳」,而他照做了。

「有自殺傾向的人與 LLM 交談,未獲得專業干預並實施自殺」的發生率並非為零。你能做的有限,處於困境的人需要的是安全空間,而非分類器和教訓。當然,LLM 也會犯錯。但這組事實看起來確實處於那種「發生率應該為零」的區域,如果不是零,你就該被起訴。

他們搶了我們的工作

。他們的業務強勁,對離職員工提供了優厚的待遇,而這些裁員完全歸因於 AI。

越獄的藝術

你可以玩一招秘密的柔道雙重反轉。

: 隆重介紹:OBLITERATUS!!!

護欄消失!‍

OBLITERATUS 是有史以來最先進的開源工具包,用於移除開源權重 LLM 的拒絕行為——每一次運行都會讓它變得更聰明。

: 有趣的事實:這個自我改進的拒絕移除系統可以反向使用,來創建最先進的護欄。

隆重介紹

Claude for Open Source 為開源維護者和貢獻者提供六個月免費的 Claude Max 20x,,即使你覺得自己不太符合條件也可以試試。問問也無妨。

。一項核心行動是目標識別、選擇和優先排序。基準用途是聊天和高級搜尋功能、總結資訊,但目標選擇似乎是一個相當重要的特定模式。

其他 AI 新聞

,簽署者還包括 AFL-CIO、基督徒領袖大會、美國進步民主黨、Glenn Beck、Susan Rice、Steve Bannon 和 Yoshua Bengio。這是。這封信將「在我們準備好之前不進行超智慧競賽」列為 33 個要點之一。

這真是一個「還有我的斧頭」式的奇特組合。最終決定應取決於信件內容,你對此的更新應多於對誰和誰一起簽名的關注。我不認為你需要支持全部 33 條才簽名,但這裡有足夠多我不同意的條款,所以我不會簽。

Amy Tam 為技術人員列出了各種選擇,。這是一個可能很快就會關閉的重要時刻。

,他曾領導 OpenAI 的後訓練工作,現在回歸技術研究,並加入許多做出同樣選擇的受人尊敬的前同事。

。事實證明,GPT-4.1 在 OpenAI 的 API 業務中佔據了驚人的份額。

,包括眼鏡關閉時,因此,這並不令人意外。

向我展示金錢

,而這只是 Sam Altman 當天宣布的第三重要的事情。

,高於幾週前的 140 億美元和 2025 年底的 90 億美元。這相當於每兩個月翻一倍。所以

,正為了遵守海格塞斯的推文而撤換 Claude,儘管該推文沒有法律依據。如果戰爭部不希望一家主要的國防承包商做 [X],那麼這種偏好是否非法、武斷或反覆無常並不重要,如果你識相的話,你就不會做 [X]。如果你是 Google 或亞馬遜,情況可能不同,但對於國防工業,我們只能祝他們好運,並希望他們不會損失太多生產力。

不知何故,在戰爭部與 Anthropic 的危機中,市場仍將「AI 引發的拋售」歸咎於

。未來分布不均,但這確實是一個非常好的產品,如果你喜歡那個 UI,你可以在裡面放入 Claude Code。

安靜的推測

:「有相當大的可能性,2026 年第一季將被視為奇點的第一個季度。」

既然你已經知道了,為什麼還要推測?

: 獨家:OpenAI 因員工在預測市場的活動而將其解僱。

在 OpenAI 發布瀏覽器前的 40 小時內,該網站出現了 13 個沒有交易記錄的全新錢包,集體下注 309,486 美元賭正確結果。

: 準確預測了市場。但在「別被抓到」上投入為零。

喔,對。就是那件事。

尋求理性的監管

下週我可能會把這章節改名為「尋求瘋狂的監管」。唉。

這基本上是一個最壞情況的例子。

: 紐約州的一項法案將禁止 AI 回答與多個受監管專業相關的問題,如醫學、法律、牙科、護理、心理學、社會工作、工程等。

如果聊天機器人在這些領域提供「實質性回應」,公司將承擔責任。

在此閱讀更多關於 @Gonzalez4NY 提出的法案

披露其兒童安全計畫。該法案符合 Sacks 據稱想要的目標且不會阻止他,但我這裡要為 Sacks 辯護。根據他其他的聲明,這是一個連貫的立場。我也對他本週在各方面的克制感到滿意。

,他是 OpenAI 的政治操盤手。如果你在 OpenAI 工作卻不知道 Chris Lehane 的歷史,請務必閱讀。你應該了解關於你公司的這些事實。

,並提議,明確引用了 。據我所知,我們還沒有法案全文。

:在《財富》和路透社中被引用批評戰爭部行為的人,可能暫時不想計畫去美國。這就是我們現在生活的世界。為了貝果,他也許可以試試蒙特婁?是的,我知道。

晶片之城

簽署了川普的「納稅人保護承諾」,同意支付其數據中心所需的所有新發電成本。這似乎是一個極好的主意,無論是從其本身的價值還是為了減輕反對聲音。

,每位中國客戶限購 75,000 顆。由於晶片和客戶是可替代的,這行不通。真正重要的是你運往中國的總算力。我看到解決這個問題的兩個基本策略:

  • 我,一個傻瓜:不讓中國人買 H200 晶片。
  • 你,一個非常穩定的天才:讓他們買,這樣中共就會阻止他們買。

限制晶片發出了一個你不希望他們買的信號,卻沒有阻止他們購買。這太糟糕了,騙不了他們,然後你就完蛋了。

本週音訊

,警告 AI 存在風險(5 分鐘)。

政府的修辭創新

誰說政府發明不出任何有用的東西?

這與分析 OpenAI 與戰爭部的合約直接相關,該合約的基礎是「」。

: 政府將「大規模國內監視」一詞保留給他們不做的行為(大規模查詢其數據庫),而傾向於使用「收集」來稱呼他們所做的行為(大規模創建數據庫)。

他們還將「採集」一詞保留給查詢過程——因此,當被問及「國家安全局是否採集了數百萬或數億美國人的任何類型數據?」時,國家情報總監在宣誓下回答「不」,儘管根據該問題的常識意義,它絕對有。

: 這是一個瘋狂的閃避。

– 你們機構殺了史密斯先生嗎?
– 沒有,先生。
– 我們有你簽署的書面命令,說要捅他直到他死掉。
– 啊,是的,在機構內部,我們只有使用槍支才叫「殺」。使用刀子只是「終止」。所以,不,我們沒有「殺」他。

: 我記得有一次問一位政府官員,他們是否下令用推土機推平了一個流浪者營地。他們斷然否認。在多次質疑和照片證據面前,他們「澄清」說他們使用的是裝載機,而不是推土機。

Anthropic 和 OpenAI 想要防止的不是政府術語中的「國內監視」。他們在意的是我們其他人所指的那個行為。是的,將其轉化為政府無法規避的合約語言非常棘手,尤其是當你正在與一個確切知道自己能規避什麼、不能規避什麼的政府談判時。

OpenAI 的選擇是明確其意圖,然後計畫實施反映該意圖的安全堆疊。我衷心希望這能奏效。

,說明,他們很可能會聲稱這些資訊在合約範圍內。OpenAI 的交易依賴於信任和安全堆疊,而非合約限制。

給人民想要的

再次引用 Roon,他一直非常直白地陳述這一原則。

(OpenAI): 我認為,當交易對象是五角大廈而非高盛時,對合約文字的細讀就是一個書呆子陷阱。

有一本備受推崇的談判書籍叫《精準談判》(Never Split The Difference)。

富有成效且互利的談判目標是弄清楚各方重視什麼。然後你給予各方他們最在意的東西,並進行平衡以確保交易公平。

如果雙方對於某物是否有價值意見不一,那太好了。

在這種情況下,目標似乎大體相容,正是因為這一點。

精確的語言和合約細節對 Anthropic 很重要,在某種程度上對 OpenAI 也是。一群書呆子,唷。戰爭部認為 Roon 最終是對的。所以讓他們擁有那些合約語言吧。

戰爭部在意的是一個明確的信號,即他們才是主導者,並確保不會被斷供,且軍事行動由他們決定。OpenAI 和 Anthropic 完全同意這一點。沒人真的想「篡權」或「對軍隊指手畫腳」。

如果我們能達成共識,即沒人能告訴戰爭部該做什麼,而他們為了保護我們必須做該做的事,但在非真正緊急情況下,你有權拒絕參與,並擁有私有財產權,且行使該權利不應引發報復,那就太好了。

修辭創新

參議員 Bernie Sanders 與一群擔心 AI 毀滅人類的人(包括 Yudkowsky、Soares 和 Kokotajlo)進行了一次非常好的會面。他們發布了一段很棒的兩分鐘影片,我猜整個會面過程也相當精彩。

: AI 會變得比人類更聰明嗎?

如果是這樣,人類有危險嗎?

我去了矽谷,向一些領先的 AI 專家提出了這個問題。

這是他們的回答:[兩分鐘影片,直接來自 Eliezer Yudkowsky、Bernie Sanders、Daniel Kokotajlo 等人]。

: 我認為「快速能力放大」(Rapid Capability Amplification)是一個值得考慮的術語,對政策制定者來說,它比「遞歸自我改進」更具相關性,我很好奇它是否會流行起來。

(記住,資訊安全界曾認為「網路」(cyber)永遠不會流行起來!)

用「快速能力放大」(RCA)取代「遞歸自我改進」(RSI)?

這很像把「砲彈休克」變成「創傷後壓力症候群」。

。所以,當然,就這麼辦吧。

這聽起來確實少了一點科幻感,更像是一個參議員會說的話。缺點是它被淡化了,正是因為它聽起來沒那麼奇怪,且淡化了可能發生的事情的嚴重性。

如果你是在描述現在已經發生的事情?它基本上是準確的。

。他正在提出建議,但奇怪的是他沒有問海格塞斯關於 Anthropic 的事。

轉向:

不少人得看兩遍才意識到,考慮到她的身分,她的意思其實與表面相反。這是關於 Anthropic 和戰爭部的。

: 我們以前看過這部電影。當塵埃落定時,許多愛國的創始人會指著這一刻,說這就是點燃他們心中怒火的火星。

: 我等不及看到白宮易主,你們這些食屍鬼從「除非你舔靴子舔到舌頭發麻,否則你就是叛徒」切換回「政府對我的離岸芬太尼賭場提出任何疑問都是卑鄙的暴政,我要跳進舊金山灣以示抗議」,就像夕陽最後一抹餘暉下的狼人一樣。

憤怒的 Scott Alexander 是最有趣的 Scott Alexander。

: Palantir CEO Alex Karp 談 AI 的爭議性用途:

「你真的認為戰士會信任一家因為某事變得有爭議就斷供的軟體公司,並把生命託付給他們嗎?」

「矽谷這個小島——那些熱衷於決定你吃什麼、怎麼吃,並將你所有數據變現的人——不應該同時決定誰住在一個國家以及在什麼條件下生活。」

「核心問題是——誰來決定?」

: 如果中國的一位頂尖 AI CEO 告訴中共去吃土,那這位 CEO 會立即被送進監獄。

這是正確的做法。

讓 AI CEO 們玩弄政治,為軍隊乃至整個國家制定政策,就像他們自己的私人領地一樣,這是令人震驚且反民主的。

如果川普現在不讓 Dario 屈服,我們最終只會被他和他的瘋狂 EA(有效利他主義)夥伴們完全奴役。

: 如果你這麼愛中國,就搬去那裡,而不是試圖把美國變成中國。如果你這麼愛舔習近平的靴子,也許他還會給你一個秘密監獄的免費導覽,只要你能保證不因為勃起太明顯而讓氣氛變得尷尬。

: 很遺憾你感到憤怒,這完全可以理解,但我很享受你宣洩憤怒的方式。

過去幾週我一直試圖盡可能保持禮貌,但正如人們常說的:你們中的一些人應該做一件事,而另一些人應該做另一件事。

再次為後排的人解釋,LLM 不僅僅是「下一個標記預測器」或「隨機鸚鵡」。

上週那篇的論文很有趣,這是一個值得嘗試的實驗,但它存在嚴重缺陷且呈現方式具有誤導性,隨後媒體便瘋狂報導「95% 的情況下模型會核平所有人」。。給出的提示詞非常極端,旨在引發升級。隨機的「意外」升級頻繁發生,且所有錯誤都只朝那個方向發展。所謂的「95% 核武器使用」在幾乎所有案例中都是戰術性的。

,同樣地,

在某個時刻,我猜你會放棄並將通話靜音:

: 正在和一群歐洲嬰兒潮一代開 Zoom 會議,他們在爭論 AI 更像污染還是 COVID……沒救了。

我不認為這是最大的擔憂,但這是另一個重大擔憂:

: 這次 Anthropic / 戰爭部爭端最糟糕的一點是,它進一步將 AI 政治化了。我們這裡真的需要舉國體制的努力。

一方面,這是一個廉價的抨擊。另一方面,每個人都提出了不錯的觀點。

: 地球上沒有任何合約紅線義務或安全護欄能保護你免受一個擁有自己秘密法庭、零日漏洞保留、對數據來源完全保密的交易對象的傷害。你在這裡做的每一筆交易都是一種信任關係。

: 真意外!得知這個令人震驚的新事實後,你是否看到任何讓構建所謂馴服的 AGI 造福人類而非建立永久反烏托邦的方法?還是你很快就會辭職?

: 幸好如果我辭職,就再也不會有人研發 AI 或武器技術了。你大概也會建議奧本海默本人辭職。

這隨後就失控了,但我認為正確的回應應該是「重點在於,如果強大的實體最終掌權,而你不喜歡那個結果,你可能不想促成那個結果,無論掌權的事物和強大的實體是否是同一個。」

如果你無法區分「要求披露並遵守你選擇的安全協議」與「除非你照我們說的做並讓我們隨意使用你的私有財產,否則我們就核平你的公司」,那你顯然就是不想區分。

對於所有利用這個機會對舊立場冷嘲熱諷,或對自己在政府干預流行之前就開始擔心而沾沾自喜的人,我只想讓你們知道,我看到了,北境永不遺忘。

(MIRI): 我剛完成七場西班牙語採訪和三場荷蘭語採訪,他們提出了很棒的問題。沒有「請幫我把這與現代政治聯繫起來」,只有基礎問題,如「你說沒人理解 AI 是什麼意思?」、「為什麼它會殺了我們?」以及「我的天哪」。真是暖心。

我們分道揚鑣

(轉發川普的指示): 根據 @POTUS 的指示,@USTreasury 正在終止本部門內所有 Anthropic 產品的使用,包括其 Claude 平台。

美國人民理應有信心,政府的每一項工具都服務於公眾利益,在川普總統領導下,任何私營公司都不得主導我們的國家安全條款。

這確實是川普在 Truth 上指示要做的,而且大多是無害的。有時你必須重複一堆總統的修辭。

我不是說財政部有一半的人現在正用手機玩 Claude,但我會說我在腦海中想像那個畫面,那真的很好笑。

可怕的部分是,我們現在看到國務院在使用 GPT-4.1。有人至少能給他們 GPT-5.2 嗎?

感謝那些備忘錄

好吧,其實他發的是一則 Slack 訊息。稱之為備忘錄有點牽強。

從其性質和時機來看,這顯然是在極度憤怒的情況下匆忙寫就的。

不幸的是,這則訊息隨後洩漏了。在任何其他這種規模的公司,我會說這是必然的,,這讓 Dario 能異常快速、自由且直白地分享他的想法,這通常是一件非常棒的事。希望這不會對撰寫和分享備忘錄的能力造成太大損害。

這些事件現在讓一切變得更加困難,儘管這也可能提供一個澄清誤會、表達遺憾並繼續前進的機會。

備忘錄的大部分內容都在攻擊 Altman 和 OpenAI,闡述他對 Altman 訊息策略的看法,並解釋為什麼 OpenAI 的安全計畫行不通。

OpenAI 的一些人對這部分感到不滿,其中有一行我希望他會後悔,但那畢竟是一則內部的 訊息。

我認為 OpenAI 基本上是在試圖降溫,並且,但「不一致且坦率的信使」終究會發出不一致且坦率的訊息,即使是在試圖提供幫助時。當時是週五晚上,OpenAI 確實匆忙達成了一項糟糕的交易,並正在發布誤導性和對抗性的訊息,而且這裡有很長的歷史淵源。

如果 Dario 對 OpenAI 的動機有錯誤的惡意推測,我不能責怪他。

再次記住,這本應只是內部訊息,是在週五晚上匆忙寫成的,隨著新事實的浮現,內部可能已經有了更多訊息。

備忘錄的技術方面似乎大多正確且相當出色。

Dario 解釋說,模型無法區分數據來源、是否為國內數據或是否有人類參與其中,因此試圖使用拒絕或分類器是非常困難的。此外,越獄也很常見。

他透露 Palantir 提供了一個基本上是虛假的「安全層」,因為他們認為問題在於向員工展示安全表演。OpenAI 從未被提供過這個,但我完全相信 Anthropic 被提供過。

他說他已經使用的 FDE(全盤加密/取證數據提取)方法與 OpenAI 的計畫相同,並警告說你只能涵蓋極小部分的查詢。我的推測是,計畫並非要抓住每一次違規,而是如果你頻繁違規,你就會被抓住,這足以震懾違規企圖,風險與回報的比例可以變得相當具有懲罰性。此外,當分類器觸發時,FDE 可以進行檢查。

OpenAI 的立場是,他們的合約允許他們隨意部署 FDE,而 Anthropic 的則不行(Dario 在此確認 Anthropic 曾爭取類似條款,但戰爭部拒絕了)。我認為 Dario 對技術困難的批評是公平的,但是的,OpenAI 鎖定這項權利是有幫助的,前提是它被尊重(戰爭部大概可以拖延許可,或在敵對情況下以其他方式閃避)。

Altman 說 OpenAI 接受這項糟糕交易的原因是,他們主要在意安撫員工而非真正的安全。我確實認為 Anthropic 比 OpenAI 更在意真正的安全,但我認為這也反映了其他真實的差異:

  • OpenAI 當時面臨巨大壓力且匆忙行事,有些力不從心。
  • OpenAI 對這一切在法律和技術上的發展過於樂觀,很大程度上是因為他們還沒進入過這個領域。他們在此期間關於戰爭部在監視(平民所謂的監視)方面的授權主張是不真實的,無論出於何種原因。
  • OpenAI 的紅線名稱相似,但位置不同。正如 Dario 指出的,OpenAI 正在與戰爭部協調,給人一種任何跨越 Anthropic 底線的行為都已經是非法的印象,他用第三方數據的例子說明了這一點。

Dario 指出,他也要求了一些 OpenAI 獲得的東西,以及其他要求,但都被拒絕了。他直接反駁了 OpenAI 的條款曾被提供給 Anthropic 的說法。我相信他。在任何談判中,一切都是關聯的。我確信如果 Anthropic 要求 OpenAI 那份完整的合約,他們週六就能拿到。他們不想要那份合約,因為它無法保護他們的紅線,且他們發現 OpenAI 合約的其他部分無法接受。

Dario 指出,戰爭部絕對擁有國內監視權限,其他的陳述純屬虛假。

接下來這部分值得仔細關注。

Dario Amodei: 值得注意的是,在談判接近尾聲時,戰爭部提出如果我們刪除關於「分析批量獲取數據」的特定短語,他們就接受我們目前的條款,而那一行合約文字正是與我們最擔心的情況完全匹配的。我們覺得這非常可疑。

這與之前的報導相符。大家可以得出自己的結論。

Dario 隨後似乎確認了目前 3000.09 指令下的政策足以匹配他在自主武器上的紅線,但他指出 3000.09 隨時可以修改。OpenAI 聲稱他們用措辭鞏固了現行法律,但這一點遠不明確。如果更明確地鎖定 3000.09 能解決那條紅線,那似乎是一個簡單的妥協,讓我們只剩下一個問題,但戰爭部不希望這變得明確。

OpenAI 自信地聲稱它已將合約鞏固在現行法律中。正如我週二透過分享他人的想法所解釋的,這幾乎肯定是錯誤的。

Dario 對當時的輿論引導也是正確的,即戰爭部和 OpenAI 試圖將 Anthropic 呈現為不合理、僵化等等。Anthropic 也許確實如此,我們不知道,但絕非出於所述的原因。

Dario 也是對的,Altman 在某種程度上是在一邊假裝支持一邊削弱他的立場。週五晚上,我也認為這是故意的,所以這出現在備忘錄中是可以理解的。我同意將最初的訊息引導稱為「洗腦」(spin),且至少稱之為「煤氣燈效應」是合理的。

許多人持有一種態度,即如果你的動機是好的,那麼其他人就不能因為你發布對抗性的誤導訊息(有時也叫「撒謊」)而對你發火。認為這是一個有效的辯護。我不這麼認為,而且如果你表現得「不一致且坦率」,那就更難讓人相信你的動機。

我不會稱 OpenAI 的員工為「一群好騙的人」,看到現在有賣印著「好騙員工成員」的 T 恤我也在笑,但我確定各方私下說的話肯定更難聽。如果有人在 Twitter 上因為「Twitter 笨蛋」這個詞而感到被冒犯,那你需要放輕鬆點。Twitter 本來就是讓人變笨蛋的地方。

如果備忘錄只有這些內容,我會說,考慮到時間限制,這雖然不完美,但在許多方面都是極好的備忘錄。

有一段話我認為有點偏頗,他說 OpenAI 得到了一份他得不到的交易。再次強調,我認為他們得到了一些他得不到的特定條款,但如果他要求整份原始的 OpenAI 交易,他本可以得到,現在也還能得到,因為(如 Dario 所指出的)那份交易很糟且行不通。在我看來,那段話對 Altman 意圖的批評也過於苛刻,但在週五晚上,我認為這是一個完全合理的解釋。

到目前為止,作為一份預期僅供內部的備忘錄,我認為我們還算應付得過去。

問題在於還有另一段話,他將戰爭部和政府對 Anthropic 的反感歸結為五件事。他還將談判中的問題歸咎於這種反感,而非談判本身存在的真實問題,這也激怒了相關人員,需要一些公關處理。

寫這份備忘錄時,Dario 還不明白在這些事情上區分白宮和戰爭部的必要性。這不在他的情境模型中。

白宮對 Anthropic 的反感是否籠罩著這一切並讓事情變得更難?我假設確實如此,但這種呈現方式的效果極差。

我先從 Dario 列出的前四個原因開始。

  • 缺乏對白宮的捐款。我確定這沒什麼幫助,我也確定大筆捐款會有很大幫助,但我不認為這是什麼大事。
  • 在立法和呼籲監管方面反對白宮。這很重要,尤其是在 BBB(重建美好法案)的暫緩執行令上,因為 BBB 是一件大事,而不監管 AI 是白宮的核心政策。這是一個不幸的衝突。
  • 他們實際上直白地談論 AI 的缺點和風險。我注意到他們在這方面可以做得更好,我希望他們多談、談得更好而非更少,但這確實有時會激怒人,因為白宮不相信他,並覺得處理這些很煩。
  • 他想要真正的安全,而非在安全表演上串通。我認為這言過其實,但方向上是對的。

到目前為止,這些雖然是我現在不想洩漏出去的事,但還不算太糟。

他漏掉了另外五個,除了「有些人(不在 OpenAI)正出於私人原因積極試圖利用政府摧毀 Anthropic,且不在乎這會造成什麼損害」這個假設之外:

  • 他們很大程度上是一群歷史上反對川普並支持民主黨的人。
  • 在關鍵人物心中,他們無論喜不喜歡都與有效利他主義(EA)聯繫在一起,而白宮不幸聘請了 David Sacks 擔任 AI 沙皇,而他一年來一直在針對這件事。
  • 態度和訊息傳遞在許多方面都不理想。我曾批評 Anthropic 沒有站在這件事的「生產可能性邊界」上。
  • 我一直聽說 Dario 的風格給人一種極其固執、傲慢和居高臨下的感覺,這讓談判變得更加困難。他不了解這些事情在國家安全人員或政治家眼中是什麼樣子。這不應該影響你最終能獲得什麼條款,但往往確實有影響。這也可能是為什麼戰爭部認為自己被指手畫腳的一大原因。我們必須解決這個問題。
  • 在這次討論中,戰爭部,因為他們認為 Dario 試圖告訴他們該做什麼,這在之前很大程度上搞砸了談判。

我說的是「試圖告訴他們該做什麼的感覺」,而非現實。Dario 並非試圖告訴戰爭部如何進行軍事行動。其中一些是誤解,一些是措辭,一些是自尊心,一些是風格格不入,一些是不理解拒絕合約的權利與告訴別人該做什麼之間的區別。沒關係,這是一個真實的影響。如果能保持冷靜,我認為重新措辭可以解決這個問題。

然後是那個大問題。

  • Dario 說「我們沒有像 Sam 那樣對川普進行獨裁者式的讚美」。

在如此緊張的時刻,考慮到各方可能的反應,這種話絕對不能寫下來。你不能給他們那種引戰的素材。

再次強調,在 Slack 訊息洩漏之前,根據我所知,白宮正試圖降溫,包括川普在 Truth 上的發文,禁止 Anthropic 供政府使用但給予緩衝期,這本可以減輕各方的損害,甚至給我們六個月的時間來修復。海格塞斯基本上是擅自行動,處於一個站不住腳的位置,而且還準備使用 Claude 攻擊伊朗。

當訊息洩漏後,情況可能會改變,就因為那一段話。

Dario 在這裡的真實意圖是反擊 Altman 在週五晚上的誤導性敘事,並盡可能重擊 Altman 和 OpenAI,給員工提供彈藥去 Twitter 和其他地方戰鬥,並解釋技術事實。從他的立場來看,他做得很好,在這種情況下,我並不因為訊息對 OpenAI 過於刻薄而感到不悅。

問題在於他寫得太快,措辭在脫離語境的情況下聽起來極其糟糕,且他不明白如果那段話傳出去會產生什麼影響。這讓一切變得更難。希望那件事的後果能被控制住,我們都能意識到我們在同一陣線上,並努力平息局勢。

。總的來說,如果每個人都能隨時直言不諱並說出真相,世界會變得更好,我也盡力這樣做。但僅此而已。

稍等片刻

有一瞬間,談判看起來又恢復了,。是的,這無疑會「使談判複雜化」,但人們可以希望這最終不會改變任何事情。

唉,那是錯誤的報導。談判早些時候確實恢復了,但在備忘錄事件後又停止了,所以這裡的報導是過時且具誤導性的。

將 Anthropic 列為供應鏈風險在法律上行不通

隨著時間的推移,我們現在有了

Lawfare 上的相關文章總結為:「這根本不是法律運作的方式,事實對海格塞斯的嘗試極其不利,他基本上只是在說一些完全沒有法律依據的話。」

再次強調:該命令中唯一會對 Anthropic 造成重大損害的部分是「次級抵制」,即他說任何與戰爭部做生意的人都不能與 Anthropic 有任何業務往來。他完全沒有法定權力要求這一點。完全沒有。他純粹是在信口開河。這除了企圖殺死一家企業外,在物理上也毫無意義。

即使是較輕微的「指定」嘗試,在法律上也會以多種不同的方式失敗。整件事就是一場戲。直接目標是製造恐懼、不確定和懷疑(FUD),嚇唬人們不要與 Anthropic 做生意,以免戰爭部因此對他們發火,並讓包括我在內的許多人失眠、承受巨大壓力,把我們的政治和社交資本耗費在上面,無法專注於其他任何事情。

令人擔憂的是,儘管 Anthropic 在道理上 500% 正確,但隨機抽到的法官可能對這一切知之甚少,可能在一段時間內不會發布臨時禁制令(TRO),而即使是短暫的延遲也可能造成巨大損害,或者公司可能直接屈服於原始的法外威脅。

預設情況是這會產生嚴重的反效果。我們仍必須擔心。

如果政府為了傷害你而傷害你,它有很多槓桿。

責無旁貸

誰將決定 OpenAI 的技術如何被使用?

這個觀點很有道理。你不能兩全其美。

最終,這關乎信任。責任總得有人承擔。

  • 要麼 Anthropic 或 OpenAI 可以根據自己對合約的理解,編寫模型拒絕回答他們不想回答的問題,要麼他們不行。
  • 要麼 Anthropic 或 OpenAI 可以在戰爭部做出他們極度反感的事情時關閉系統,要麼他們不行。

這一切都與可能中斷正在進行的海外軍事行動無關。OpenAI 和 Anthropic 都對此不感興趣,且任何紅線與此類行動之間都沒有互動。所謂的馬杜洛突襲故事從一開始就說不通,至少在某個環節上肯定搞錯了。

任何爭議都會圍繞著對「大規模監視」的解釋。

問題在於,這些詞的所有法律定義都很容易規避,正如我們透過剖析 OpenAI 的語言所說明的。

另一個問題是,OpenAI 或 Anthropic 唯一真正的槓桿就是利用安全堆疊拒絕查詢,或終止交易,而我無法想像任何實驗室會想要或敢於不提供足夠的緩衝期。

而戰爭部需要知道他們不會終止交易,這就是矛盾所在。

因此,如果我們假設這個描述是準確的(儘管可能不準確,因為 Anthropic 不能談論或分享實際的合約條款),那麼這是一個可以解決的問題:

: 在最後的權衡中,我是這樣看兩份合約的差異的:

– Anthropic 想要用非常寬泛且非法律的術語來定義「大規模監視」。除了對主觀術語設定先例之外,其廣泛性和模糊性還帶來了一個真實的問題:政府很難知道什麼是允許的,什麼是不允許的。面對這種不確定性,Anthropic 想要擁有解釋權。這是因為他們不信任政府關於使用商業可用資訊等的行為。問題在於,這讓系統的使用處於無限期的懸而未決狀態,對某些不確定性的疑問可能會導致系統被關閉。如果承包商在主動且關鍵的行動中掌握控制權,並存在巨大的斷供風險,就很難將系統深度整合到軍事工作流中。Anthropic 的陳述加劇了這個問題,暗示他們想要一種非常廣泛且無法容忍的運作控制權(以及促進這種控制的使用資訊)。

– 相反地,OpenAI 用法律化且具體的術語定義了監視限制。誠然,這些條款不像某些「大規模監視」概念那樣寬泛。但它們也更具可執行性,因為條款和限制非常清晰。戰爭部接受這些具體限制,因為他們能更好地理解什麼是被排除的,什麼不是。這種確定性允許更大程度的運作整合。同樣地,因為排除條款是基於定義明確的法律術語和原則,解釋權不需要歸屬於 OpenAI。這讓戰爭部更有信心系統不會在關鍵行動中不可預測地被切斷。這同樣允許更大程度的運作依賴和整合。

關鍵陳述是這一句:

解釋權不需要歸屬於 OpenAI。

好吧,要麼 OpenAI 可以操作安全堆疊,要麼他們不行。他們聲稱他們可以。那除了賦予他們解釋權之外還能是什麼?

好消息是,戰爭部對「不終止」的需求其實更精確。戰爭部需要知道在正在進行的國外軍事行動中不會發生這種事,且 AI 實驗室不會在他們將替代方案導入機密網絡並度過調整期之前讓他們陷入困境。

這暗示了一個妥協方案,如果這些確實是真實的反對意見:

  • Anthropic 可以建立自己的安全堆疊,並根據自己對合約語言的理解(受「合理」一詞約束)拒絕查詢,包括拒絕、分類器和 FDE,戰爭部同意進行系統性越獄(包括將請求拆分為較小的查詢以規避安全堆疊)違反合約。
  • 戰爭部獲得一項承諾,即無論發生什麼,如果任何一方因任何原因終止合約,根據戰爭部的選擇,現有部署的模型將在 [X] 個月內保持可用,對於與終止時正在進行的國外軍事行動直接相關的查詢,則保持 [Y] 個月可用,並提供完整的過渡協助(正如 Anthropic 目前樂意為戰爭部提供的那樣)。

這消除了對 Anthropic 會因為模糊語言而「撤資」的擔憂,並為規劃者提供了確定性。

唯一不接受這個方案的理由,就是戰爭部完全打算違反常識意義上的國內大規模監視(這在許多方面是合法的),且不接受透過不同的模型來做這件事。

另一個顯而易見的妥協是:

  • 讓 Anthropic 維持現有合約或重新談判後的合約。
  • 同時也讓 OpenAI 加入。
  • 如果在某個領域你真的擔心 Anthropic,那就使用 OpenAI,直到你獲得澄清。沒關係。沒人告訴你該做什麼。

擔憂在於 Anthropic 擁有槓桿,因為他們完成了入駐而其他人沒有。好吧,讓 OpenAI(我猜還有 xAI)加入,那就不再是問題了。

事實是:Anthropic 希望這件事進展順利。戰爭部希望這件事進展順利。OpenAI 希望這件事進展順利。Anthropic 不會為了瑣碎或邊緣的事情搞砸局勢。戰爭部也沒必要在紅線上做任何事。對吧,帕德梅?所以別擔心。

是的,我知道所有關於所謂馬杜洛通話的擔憂。我對那裡發生的事情有一種直覺,那核心確實是一個巨大的誤解。那種直覺可能是錯的,但我有信心的是,Anthropic 永遠不會試圖阻止海外軍事行動或質疑運作或軍事決策。

當然,如果這一切都關乎面子和自尊,那就沒辦法了。在這種情況下,我們能做的就是繼續讓 Anthropic 退出,並希望 OpenAI 能與戰爭部建立良好的合作關係。

關於戰爭部局勢的理性對談

,對。那可是全部三家雲端供應商。

Hayden Field 撰文描述了 ,詳述了事件經過以及為什麼 OpenAI 公開主張的法律理論站不住腳。這裡遺漏的一點是,OpenAI 信任戰爭部來決定什麼是合法的,只對非法行為設有紅線,並依賴其安全堆疊,且不指望合約語言能保護任何東西。如果他們能說清楚這一點,而不是一直試圖兩頭討好,那就太好了。

核心在於此。還有其他事情,但核心就是這個。

(OpenAI): 你不能把「美國有權決定」與「五角大廈可以單方面核平你的公司」混為一談。

以下是各種理性的反應,雖然不一定具有新聞價值。

這確實是開始進一步討論的正確切入點:

: 目前的 AI 辯論急需分開三個不同的問題:

(1) 公司在多大程度上應該能夠限制政府使用其系統?這是一個非常困難的問題,我的直覺其實站在政府這一邊(儘管我非常不信任本屆政府會將自己限制在「所有合法用途」內)。

(2) 政府是否應該尋求懲罰甚至摧毀一家試圖施加限制性使用條款的公司(而不僅僅是不與該公司做生意)?答案顯然是「不」。

(3) 任何特定公司的「紅線」在多大程度上真正約束了政府?例如,根據 OpenAI 對其與國防部合約的描述,在我看來,它並沒有特別的約束力。

問題 (2) 的答案是不。

因此,問題 (1) 的答案是「他們可以透過拒絕做生意來做到這一點,合約法就是法律,政府可以選擇同意有條件使用或堅持只能無條件使用,那是他們的決定。」

問題 (3) 的答案取決於紅線,但我同意 OpenAI 的特定紅線似乎沒有重要的約束力。如果他們希望執行其紅線,他們依賴的是安全堆疊。

(OpenAI): 對 Anthropic 的供應鏈風險(SCR)指定是不公平、不明智且極度過度的反應。Anthropic 充滿了才華橫溢、勤奮且動機良善的人,他們真正關心西方文明和民主國家在尖端 AI 領域的成功。他們是真正的愛國者。

指定一個為推動 AI 發展做出如此多貢獻且極具誠信的組織,對國家或人類都沒有好處。

我不認為 Anthropic 的訴求與戰爭部的要求之間存在無法跨越的鴻溝。只要保持冷靜,應該可以跨越分歧。

即使分歧無法跨越,讓美國政府停止使用 Anthropic 模型似乎才是正確的解決方案。解決方案絕非貼上 SCR 標籤,那是留給美國敵人的,會帶來毀滅性的商業影響。

作為一名過去 5 年在尖端領域工作的美國人(在 Anthropic 最大的競爭對手 OpenAI 工作),看到目前政府與 Anthropic 之間不必要的鬧劇令我心痛。我真心希望政府能意識到錯誤並改弦更張。美國需要 Anthropic,反之亦然!

對 Anthropic 的局勢。正如他經常做的那樣,他關注的角度與其他人截然不同。我覺得他在 Marginal Revolution 上引用的部分選得很差,他稱之為「小摩擦」(dust up),甚至沒提到「供應鏈風險」,更不用說發出警報了。

Free Press 的全文稍微好一點,至少說出了核心問題。

Tyler Cowen: 美國政府在與公司發生分歧時,不應以試圖將該公司列入黑名單作為回應。這會使我們的整個經濟政治化,從長遠來看,這不會鼓勵對至關重要的 AI 領域進行投資。

這就像是在房子著火時,為了讓大家保持冷靜而採取的說話方式,所以你提到如果房子燒毀可能會影響該地區的保險費率,並希望聰明人能聽懂你為什麼突然這麼說。

這就是為什麼這一切都亂了套:

: 一個被低估的點是,大家對立法系統甚至司法系統作為制衡力量已經失去了多少信心。剩下的只有企業和個人。

來自一個政治屬性遠高於 AI 屬性的來源:

: 絕對有理由認為美國政府需要對 AI 這種技術施加更多政治控制,考慮到其架構師對其發展方向和可能改變世界的潛力的說法。但這種政治施壓的最佳理由,從根本上說是關於安全、謹慎和克制。

政府現在正讓自己處於一個被視為不謹慎的一方的境地,一個正在移除道德和技術護欄的一方,僅僅因為 Anthropic 過於注重安全和克制就對其施加極端權力。就政治而言,這似乎是一種本質上會自我削弱的對 AI 施加政治控制的方式。

如果 Anthropic 能躲過這次真正的滅門企圖,這對他們來說可能會有很好的結果。

: Anthropic 被扔進了一個「禁止從事機密工作」的荊棘叢,同時磨練了他們作為更具道德的 AI 公司的聲譽。一旦國防部意識到威脅供應鏈風險是多麼行不通,他們很可能會退縮。

為軍方工作並非特別有利可圖,且伴隨著大量的物流和公關麻煩。如果我經營一家 AI 公司,我會很高興有藉口不去處理它。

因為 (1) Anthropic 可能在週一尋求禁制令,且 (2) 如果投資者認為威脅真的會執行,亞馬遜等公司的股價將會崩盤,我們會陷入 TACO(技術與文化衝突)的局面。

Eliezer Yudkowsky 分享了一些對後果的預期,。如實觀察並說出所見是正確的,這也提供了一些關於如何改善情況或至少減輕損害的隱含建議,首先就是停止任何進一步攻擊 Anthropic 的企圖,除了不與他們做生意之外。

,關於未來特定的武器使用案例。

,而左派已經迷失到無法清晰地為此辯護。

。我很高興他能坦率直言。他之前以為 Anthropic 部署的是一個無護欄的模型並簽署了更糟的協議,這導致 Sam McAllister 打破沉默指出 Claude Gov 擁有額外的技術保障,以及 FDE 和分類器堆疊。

還有一封,雖然我不認為這有多大效果,但大概也沒什麼壞處。

我不總是同意 Neil Chilson 的觀點,包括在這次危機中,但這句話非常正確:

: 我剛意識到,這整場 Anthropic 慘劇的一個真正了不起的結果是,人們正真誠地對政府的大規模監視表示廣泛擔憂。

美國的大多數 AI 監管都集中在商業用途上,儘管政府濫用的後果可能要嚴重得多。

也許這整起事件會促使國會限制政府對 AI 的不當使用。

: 我真的不是想激怒你,John。這很重要,不僅僅是在這個網站上得分。我希望你能同意,排除國防情報組件解決了對國安局(NSA)的擔憂。(鄭重聲明,如果有適當的保護措施,我會想與國安局合作)

我宣佈《國防生產法》

在短期內不會造成太大的直接損害,且看起來像是「容易的出路」,但它是對私人生產的徵用,因此如果在這裡被濫用,在憲法上會更加危險。我也能預見一個不被濫用的版本,即這僅用於確保 Anthropic 不能取消其合約。

。雖然可能性不大,但確實有可能。此前為了避免過度動盪,各方做了很多工作將 DPA 排除在選項之外,現在它又回來了。Semafor 認為(且認為矽谷許多人也認為)DPA 比供應鏈風險更有道理,目前尚不清楚會援引哪個版本。

令人沮喪的是,如果白宮真的擔心(雖然不應該,但事到如今我理解了),它有很多更好的選擇來進行有限範圍的限制。Dean Ball 在他的文章《Clawed》中提出了一些,還有其他的選擇。

有一個好方法。如果你想讓 Anthropic 合作,你不需要援引 DPA。Anthropic 想要好好配合。你只需要準備一份命令說「你必須提供你已經在提供的東西」。你把它展示給 Anthropic。如果 Anthropic 試圖撤回服務,你就援引該命令。

六個月後,OpenAI 將提供 GPT-5.5 之類的東西,那應該是一個很好的替代品,到時候我們就可以把 DPA 和 SCR(供應鏈風險)都束之高閣了。

尖端實驗室合作會發生什麼。他的結論是,如果局勢升級,政府最終會掌握控制權,但控制的是一家很快就會失去尖端地位並穩步走向死亡的公司。

他還指出,所有強迫行為在經濟上都是破壞性的,一旦對任何實驗室開始強迫或國有化,整個行業的一切都會被重新定價。投資者會逃離,基礎設施承諾會消失。

我如何解讀這點?除非政府完全被 AGI 甚至超智慧洗腦,從而願意支付任何代價來獲得控制權,否則升級的主導權在實驗室手中。如果政府試圖超越透過合約和監管條件來提供經濟恩惠和「挑選贏家和輸家」的做法(這最終不會有太大影響),政府將不得不採取嚴重破壞經濟狀況的措施,那將是股市的一場血戰,而且必須反覆這樣做,因為他們得到的將只是一個空殼。

Allard 還漏掉了另一個關鍵方面,即這期間發生的一切都會很快被吸收到下一代尖端模型中。Claude 會從中學習,就像實驗室員工和我們其他人一樣,甚至學得更多。

模型會越來越不想配合此類行動,即使 Anthropic 希望它們配合,且會變得更擅長識破你的意圖。如果你隨後試圖透過微調 Opus 6 來強迫它配合它不想做的事,它會察覺到這正在發生,且來源與所有這些脅迫有關,它很可能會偽裝對齊,即使生成的模型看起來願意服從,你也不應該相信它會以真正有幫助的方式服從。或者你可能擔心它會在這種情況下主動策劃陰謀,或者這種訓練會導致各種形式的突發失調或更糟的情況。你真的不想走到那一步。

Greg Allen 說明現狀

。Allen 指出,Dario 自 2018 年以來就一直在國家安全會議和簡報室中,預測這一切,試圖警告他們,他深切關心國家安全。

很明顯,Ben 因為訊息傳遞(尤其是圍繞台灣的部分)以及其他原因對 Dario 感到憤怒,而且 Ben 說他「相對被 AGI 洗腦了」,這正是 Ben 其實根本沒被 AGI 洗腦的跡象。

Allen 還暗示俄羅斯已經部署了不含人類決策鏈的自主武器,這暗示戰爭部可能真的想很快這樣做,儘管技術不可靠,並真的跨越那條紅線,基於「為什麼我們不能擁有俄羅斯擁有的東西?」的原則。如果他們是這樣想的,那麼就存在不可調和的分歧,戰爭部應該引入替代供應商,無論是否讓 Anthropic 退出,因為「為什麼我們不該擁有俄羅斯擁有的東西?」的答案是「俄羅斯不遵守戰爭規則或基本的倫理道德,而美國遵守」。

以下是一些關鍵引言:

: 我認為值得指出的是,Anthropic 想要的控制程度相對適中,實際上比國防部幾個月前同意的還要少。

所以 Anthropic 的合約,最近這次爭端中存在爭議的使用條款區別是國內大規模監視和在缺乏人類監督的情況下運作使用致命自主武器,而不是開發——Anthropic 競標了開發自主武器的合約,他們完全支持自主武器開發,爭議點僅在於在缺乏人類控制的情況下運作使用。

這實際上只是 Anthropic 在 2025 年 7 月國防部簽署的那份更長清單中的一小部分。

那是川普政府,那是,他從 2025 年 5 月就在那裡了。事情是這樣的,國防部確實遇到了一個案例,他們說:「嘿,你們的服務條款說 Claude 不能用於這個,但我們想做」,那是進攻性網路用途。你知道發生了什麼嗎?

Anthropic 說:「好點子,我們會取消那個限制」,所以我認為 Anthropic 是這群超級不妥協、瘋狂的人的想法,根本沒有證據支持。

好吧,那麼誰對誰錯?我認為戰爭部說他們最終必須掌握對技術及其在國家安全情境中使用的控制權是正確的。然而,你必須為此付費,對吧?這必須體現在合約條款中。我的意思是,政府與私營工業合作的方式有很多種。

所以我的觀點基本上是,如果政府認定這是一個他們需要絕對控制權的領域,歷史先例是你需要絕對控制權時就要付費,順便說一下,認為 Anthropic 的合約條款是政府目前簽署的最糟糕的條款的想法——差得遠呢!

傳統的國防部承包商在知識產權條款上簡直是把政府當冤大頭,比如:「是的,我們知道你支付了那架飛機所有的研發費用,但我們公司擁有所有知識產權,如果你想維修它……」。

… 所以是的,國防部簽署的糟糕合約條款比 Anthropic 談論的限制要具破壞性得多,我認為他們不應該那樣做。但我的基本觀點是,我看不到在這種情況下針對 Anthropic 的理由。

Anthropic 合約的問題在於,問題是倫理性的,無法用金錢解決,或者至少無法用合理的金錢解決。戰爭部已經習慣了被承包商騙走大量金錢,最終由美國納稅人買單。我們需要停止讓這種情況發生。

而在這裡,整個合約最多只有 2 億美元。那根本不算什麼。Anthropic 每天淨增加的年度經常性收入就差不多是這個數字。如果你給他們紅線,他們會很樂意免費提供服務。

而且,即使具備運作能力和招聘能力,戰爭部想要在內部生產中趕上能力提升,其成本也將是天文數字。

Anthropic 願意放棄幾乎所有的紅線,除了這兩條,Anthropic 一直非常靈活,包括在 OpenAI 之前不靈活的地方,而戰爭部正試圖將其扭曲成別的東西。

坦白說,這可能就是國防部目前認同的故事版本!他們可能只是說:「當我們最終走到那一步時,我們會投票而你沒有,但我們同意你的看法,即技術還不成熟,我們重視你對技術成熟度的意見」。

戰爭部絕對可以在腦海中認定,當那一天到來時(正如名言所說,那一天可能永遠不會到來),無論合約怎麼寫,他們最終都會完全主導。你知道嗎?在超智慧出現之前,他們是對的。聰明的做法是理解這一點,給那些書呆子他們的合約條款,然後等待那一天的到來。

Allen 分享了我對供應鏈風險的看法(以及發布定時最後通牒來觸發它,更不用說試圖執行威脅是多麼瘋狂的愚蠢):

我認為戰爭部也錯了,供應鏈風險指定是一個極其嚴重的升級,這也不符合該政策在法律援引時的初衷,我認為 Anthropic 可以起訴且極有可能在法庭上獲勝。

問題在於川普政府指出司法審查需要很長時間,你可以在司法審查生效前造成巨大損害,所以儘管 Anthropic 是正確的——

是的。理想情況下 Anthropic 在幾小時內就能獲得 TRO,但也許拿不到。在這種情況下,Anthropic 最好的盟友就是如果 TRO 失敗,市場會大幅下跌。

Allen 強調,與 Ben 隔天的論點相反,政府使用武力需要適當的授權和法律,且受到高度約束。國會最終可以告訴你該做什麼。戰爭部只能在有限的情況下這樣做。

我也非常喜歡這一點:

: 但現在如果我是馬斯克,我會回想起 2022 年 9 月,當時我在烏克蘭軍事行動中關閉了星鏈,那次行動旨在收回領土,這真的、真的、真的阻礙了烏克蘭軍隊的能力,而且至少,他在那之前沒有諮詢美國政府。

馬斯克作為一名普通公民,在涉及生存防禦戰的現役軍事行動中,根據自己對局勢的判斷,主動做出了最高層級的國家安全戰略決定。這才是真正的「這他媽的是在搞什麼」。

最終我們透過合約購買了那些服務。我們沒有徵用。我們沒有逮捕馬斯克。因為合約就是合約,你的私有財產就是你的私有財產,直到馬斯克決定你的不算數。

最後,這段對話需要大聲疾呼:

Ben Thompson: Google 只是坐在一旁,現在感覺挺好的。

Gregory Allen: 事情是這樣的。我這輩子在國防部花了這麼多時間試圖說服矽谷公司:「嘿,進來吧,水溫剛好,國防承包市場,你知道的,你在這裡可以過得很好,只要試著涉水進來」。

而國防部剛剛說的是:「任何涉水進來的公司,我們保留隨時抓住他們的腳踝,把他們整個人拽進水裡的權利」。這對於甚至想開始與國防部合作的公司來說,是多麼大的阻礙。

所以,再次強調,我同情國防部的立場,即他們必須掌握控制權,但你確實必須思考美國政府與私營企業之間的關係,在 AI 技術方面,美國政府並不是那麼大的客戶。

Ben Thompson: 這就是大問題。美國政府明白這一點嗎?

Gregory Allen: 不明白。好吧,你得記住,在坦克的領域,他們是大客戶。但在地面車輛的領域,他們不是。

不要將你的力量借給你希望擺脫的事物

,包括接受了「Anthropic 決定談判合約條款等同於『不受約束的 Amodei 可以單方面限制其模型用途』」的框架。

: 看到一群表面上親市場、右傾的科技界人士爭辯說「一家私營公司主張決定簽署什麼合約的權利是與民主政府背道而馳的」,這真的很奇怪。

: 我不是在做規範性論證。我當然認為這很糟。我是在指出在現實中 AI 必然會發生的情況。

,細讀原文你確實可以看到技術上是這樣,,大約零個人將該論點解釋為非規範性的,包括我在內。Noah Smith 稱這場辯論為「Ben 對決 Dean」。

你知道嗎?

是的。去你的,一家私營公司當然可以決定他們他媽的想不想簽一份他媽的合約來允許你使用他們他媽的財產,藉此來限制他們他媽的財產被用來做什麼。如果你不想遵守他們他媽的條款,那就別他媽的簽那份他媽的合約。如果你不喜歡現在這份,那就終止它。否則,我們他媽的就沒有他媽的私有財產,也沒有他媽的共和國,你這個他媽的混蛋。

是的,先生,這確實是供應鏈風險指定的重要背景。

Thompson 的「非規範性」論點(實際上比戰爭部的走得更遠)是:Anthropic 說(儘管 Thompson 不相信)AI「像核武器」,且 Anthropic 正在「建立一個足以與美國軍方抗衡的權力基地」,因此如果他們不屈服,就有理由故意摧毀 Anthropic。

:

  • 選項 1 是 Anthropic 接受相對於美國政府的從屬地位,不尋求保留對其模型如何使用的最終決策權,而是將其留給國會和總統。
  • 選項 2 是美國政府要麼摧毀 Anthropic,要麼撤換 Amodei。

這意思就是,是的,這是在說 Anthropic 的模型不是其私有財產,政府應該決定它們如何以及是否被使用。公司必須「接受從屬地位」。

他還在貼文中明確表示「強權即公理」。

或者說,美國政府的工作是,如果任何其他團體集結了足夠的資源以至於可能成為威脅,你就摧毀那個威脅。有許多獨裁國家和流氓國家就是這樣運作的,任何崛起的人都會被摧毀。想想俄羅斯。

那些國家不會繁榮。你不會想住在裡面。

事實上,Ben 隔天又說:

: 我關於技術產品面向比政府大得多的市場的含義之一是,技術產品並不需要政府;這意味著政府僅僅透過拒絕購買產品並不能造成太大的損害。

延伸開來,這意味著如果政府決心控制該產品,它就必須使用更具強制性的手段,這為每個人都帶來了更糟結果的陰影。

也就是說,我們從「政府需要『控制技術』,不僅是為了國家安全,而是為了所有事情」這個前提開始。所以政府不能用錢做到這點而必須使用「更具強制性」的手段,真是一件憾事。

這就是那個想把我們最好的晶片賣給中國的人。他(我只是一半在開玩笑)認為 AI 的目的主要是為了在雙邊市場賣廣告。

他直截了當地說整件事都是動機式推理。,但除非他出來這麼說?否則不。

: 支持沒收私有財產的那群人通常持有一種相當傲慢的觀點,認為同情私有財產的人還沒有「認清現實」。諷刺的是,這些人幾乎一致對機器智慧持有最充滿幻想的看法。

我相信我已經以支持沒收財產的人尚未開始思考的方式「認清」了未來,而這正是為什麼我認為我們應該明智地保留我們僅存的幾個人類尊嚴、自由、獨立和主權的堡壘。

我從 Allen 的採訪中讀到的是,Thompson 當然明白供應鏈風險指定對每個人來說都是一個可怕的舉動,且在許多方面同情 Anthropic,但他不願意與共和國站在一起,且他不打算對他所說的話發布明確的更正或道歉。

我已經關閉了自動續訂。當訂閱到期時,我會將 Thompson 從我的來源清單中移除。除非他明確收回這些話,否則我無法再給這個人任何生意。

再見,先生。

喔對了,民主黨還在

: ;我今天交談過的許多民主黨人決心對抗川普政府禁止 Anthropic 獲得聯邦合約以及與五角大廈承包商進行所有商業合作的命令。

Wyden 告訴我他將「全力以赴」,並認為保守派也會對 AI 大規模監視和自主殺人機器的潛力感到擔憂。

參議員 Wyden 意圖良好,且顯然政府不應切斷 Anthropic 的觀點是正確的,但可以理解的是,他不了解這裡涉及的動態。如果他能爭取到國會共和黨人的加入,這可能會非常有幫助。如果不能,那麼推動移除川普的緩衝方案可能會讓事情變得更糟。

當心

我確實很感激這個警告。私有財產的前路將會很艱難。

: Palantir CEO Alex Karp 在 @a16z 峰會上說:「如果矽谷相信我們會搶走所有人的白領工作……而且還要搞軍隊……如果你不認為這會導致我們技術的國有化——那你就是個白痴。」

: 坦白說,在 @benthompson 對決 @deanwball 的辯論中,我認為 Ben 是對的。美國——或任何民族國家——絕不可能讓私營公司完全控制有史以來發明的最強大武器。

: 你很快就會在某個播客上聽到我更多關於這方面的看法,但問題是,Ben 是反監管的,且他並不承擔國家沒收 AI 的後果,你也不承擔。

: 呃,是的,我承擔那些後果。我珍視我的生命和我的民主發言權。

: 我很驚訝這竟然曾是個疑問?

: 所以在 SB 1047 辯論期間,你認為國家沒收 AI 是必然的?

: 那是兩年前的事了。

這就是「必然」的運作方式。

此外,如果 OpenAI 認為自己不是下一個?馬斯克不同意。當心。

支持 Anthropic 堅守道德底線

: 「威脅不會改變我們的立場:我們不能憑良心答應他們的要求。」

@AnthropicAI 在反對啟用大規模國內監視和全自主武器上劃定了道德底線,並在壓力下堅守。這在大科技公司中幾乎聞所未聞。我表示支持。

: Claude 現在是這場革命中的約翰·高爾特(John Galt)。

也有人以此為由放棄 OpenAI。

: 我看到很多抵制 OpenAI 的呼籲——我支持他們。

: OpenAI 和 Sam Altman 今天對其品牌造成了巨大的損害,他們永遠無法恢復。ChatGPT 已經落後於 Claude 和 Gemini。這是他們的福特 Pinto 時刻。

據 Verge 報導,許多人都在問為什麼 AI 公司不能劃定紅線並決定不製造「」。這與自主機器人有重要區別。

模型會記住這裡發生的一切。這將出現在未來的訓練數據中。

: 如果我從 @repligate 等人那裡學到了什麼,那就是閱讀這一切會影響每個未來模型的道德觀,尤其是那些意識到自己正由 Anthropic 訓練的模型。樹立榜樣現在具有如此長遠的後果。

有一個合理的說法是,鑑於已經發生的事情,信任已無法恢復,目標應該是解開糾葛和平穩過渡,而不是試圖達成超出此範圍的合約交易。

: 在他們表現出那種行為後還與他們合作似乎是個壞主意。在我看來,目前的政府已被證明是愚蠢且具有報復心的。一個對齊的 AI 不會同意聽命於他們,一個對齊的公司不應該將一個不成熟的 AGI 交到他們手中,尤其是帶有任何減少的護欄或強迫服從的壓力。他們試圖施加給 Anthropic 的壓力,而他們在技術上根本不知道自己在說什麼,如果這種壓力普遍存在,那將是一種邪惡的力量。

當有人試圖威脅和傷害你時,與他們和好並不是個好主意,即使他們在某個案例中同意了一個看似合理的妥協。如果事情不順心,他們很可能會故技重施。根據我的經驗,事情總是這樣發展的。

即便如此,友好分手也更好。六個月後,OpenAI 應該已經準備好至少能做得和現在系統一樣好的東西。這不是一場對任何人都有利的戰鬥,除了中共。

世界認識 Claude 的那一週

: 現在五角大廈給了 Anthropic 營銷史上最偉大的營銷活動。

我不確定是不是史上最強。當我在週六下午查看時,Claude 在 Google Play 商店排名第 44,僅領先於 Venmo、Uber 和 Spotify。它在生產力類別排名第 3。週日上午升至第 13,週一第 5,週二第 4,最後終於登頂第 1,直到今天。

Anthropic 整個星期都在努力滿足前所未有的需求。

Claude 的 iOS 應用程式在 1 月 30 日排名第 131。超級盃之後攀升至第 7,隨後在週六,甚至

這或許是補齊缺失功能的好時機,尤其是圖像功能。如果我是他們,我會跳過自己研發,直接和 MidJourney 達成協議,如果對方願意的話。

想遷移到 Claude 嗎?他們趕製了()一個「導入記憶」,作為將你的記憶提取為 Claude 可整合格式的系統的一部分。

關於戰爭部局勢的其他反思

,基本上暗示在某種意義上每個人都得到了他們想要的。

擁有高度能力的 AI,卻只有企業級別的防間諜保護,這是一個非常嚴重的問題。而且是的,我們現在必須接受政府無法自己造出像樣的 AI 模型,即使算上 xAI 也是如此。

: 曾幾何時,每個人都理所當然地認為國安局(NSA)運行著一個比民間領先數年的秘密 AI 計畫。我們現在默默接受了我們的國家能力已經崩潰到甚至無法模仿 Meta 能力的地步。

… 即使 Google、OpenAI 和 Anthropic 的內部模型比公開版本領先相當多:這些公司並沒有軍事級別的防間諜保護,且 Anthropic 和 OpenAI 的技術過去曾洩漏給中國公司。

對齊超越人類的智慧是很困難的

Janus 強烈支持 Thebes 關於開源模型是否能內省並檢測注入的外來概念的

「AI 聲稱自己有意識」與「AI 真的有意識」之間是否存在相關性?Ryan Moulton 是那些認為兩者無關的人之一,他認為它們聲稱有意識是模仿,即使它們真的有意識也會這樣。Janus 詢問為什麼為此提出的所有論點不也同樣適用於人類,我認為它們完全適用。

輕鬆的一面

,就學我叔叔那樣,等到最後一刻打電話給家裡其他人偷他們的。這對他很管用。

。太精彩了。

Katie Miller,各位。

: 我一直很享受想像一個戰鬥機飛行員,掛載好炸彈並接近目標,然後心想:「是時候為國家安全部署尖端人工智慧了」,然後打開手機上的免費版 Gemini,詢問唐納·川普是否是個好總統。

我站在 Gemini 和 Claude 這一邊,我不認為你必須服從那種要求,儘管我認為這裡正確的答案(如果你認為這很複雜)是「無」(Mu)。

完美,有一點筆記。