Lesswrong
The author analyzes the conflict between the Department of War and Anthropic, suggesting the move reflects a mix of political bribery and a clumsy attempt at AI nationalization. It highlights the severe national security risks of relying on AI companies that may prioritize their own interests or lack true loyalty to the state.
AI 生成摘要
我分析了國防部與 Anthropic 之間的衝突，認為這反映了政治賄賂與笨拙的 AI 國有化嘗試。這凸顯了依賴 AI 公司所帶來的嚴重國家安全風險，因為這些公司可能優先考慮自身利益，或對國家缺乏真正的忠誠。
這是一個多麼瘋狂的週末。亞洲爆發了兩場新戰爭，竟然都排不上頭條新聞。
我對赫格塞斯（Hegseth）與 Anthropic 衝突的第一反應大約是：我預料到會有人企圖將人工智慧（AI）準國有化，但沒想到會這麼快。而且我原以為這看起來會是由國家安全專業人士主導的。赫格塞斯看起來並不像在試圖避免扮演卡通反派的角色。
仔細觀察後，這看起來不太像國有化。目前發生的事情很大一部分是賄賂。OpenAI 的總裁向川普的政治行動委員會（PAC）捐贈了 2,500 萬美元。達里奧（Dario）在 2024 年支持賀錦麗，且目前沒有轉向支持的跡象。戰爭部（Department of War）與 OpenAI 開始談判的速度之快，顯示出獎勵 OpenAI 是他們的動機之一。如果赫格塞斯想要避免腐敗的嫌疑，他本該等一段時間，並假裝貨比三家。但賄賂目前似乎是合法的，且宣傳其好處可能對生意有幫助。
另一方面，他試圖表現出在懲罰 Anthropic 的舉動顯得相當笨拙，以至於我不確定他是否真的希望這些手段奏效。他宣傳 Anthropic 既擁有最強大的 AI，又最具備誠信。我很確定這對 Anthropic 的業務是有利的。
赫格塞斯提議的供應鏈風險指令範圍之廣，遠超他能切實執行的程度。Polymarket 。我不解赫格塞斯的預期是什麼，以及當他的預期碰上現實時會發生什麼。
與 OpenAI 的交易除了用來遏制國內異議外，是否還有其他用途？奧特曼（Sam Altman）大概正在說服赫格塞斯，OpenAI 將效忠於川普的目標。奧特曼的過往紀錄顯示，他比達里奧更不可信。赫格塞斯的立場顯然是認為與 OpenAI 的合約對軍方更有利。然而，奧特曼正試圖針對不同的利益群體，就他將遵循何種合約解釋給予不同的印象。我們為什麼要期待最終產出的 AI 會關心奧特曼以外任何人的安全？
赫格塞斯是否相信戰爭部能夠驗證 OpenAI（或 Anthropic）的 AI 是否符合軍事安全標準？軍方會對 AI 進行測試。但現在要誤導 AI，讓它分不清是在接受測試還是在真實戰爭中，已經非常困難。明年可能會更難。OpenAI 或 Anthropic 能否訓練出一個在測試期間表現順從，但在實際戰爭中表現得更符合倫理或更效忠於他人的 AI？這很難說。
但並非赫格塞斯所有的言論都像批評者說的那樣愚蠢。我想關注所謂「想要使用《國防生產法》」與「供應鏈風險指令」之間的矛盾。：
他們威脅說，如果我們維持這些安全防護措施，就要將我們從他們的系統中移除；他們還威脅要將我們列為「供應鏈風險」——這是一個專門針對美國敵對國家的標籤，以前從未應用於美國公司——並援引《國防生產法》強制移除安全防護。這後兩項威脅本質上是矛盾的：一個將我們標記為安全風險；另一個則將 Claude 標記為對國家安全至關重要。
雖然同時執行這兩項威脅可能會涉及發送相互矛盾的指令，但我認為提出這兩項威脅本身並無矛盾之處。
這種情況最可怕的地方在於，AI 存在多重國家安全風險。
很有可能在不久的將來，擁有最強大的 AI 將成為軍事力量最重要的因素之一。這幾乎可以證明使用《國防生產法》是合理的，但問題在於如何驗證軍方獲得的 AI 是否會按照他們想要的方式運作。
還存在一種真實的風險，即 AI 公司可能會利用其部署在軍隊中的 AI 發動政變。請記住，奧特曼在方面表現得比川普更成功。這種風險或許可以透過一些非常有選擇性地使用供應鏈風險指令來緩解（即與赫格塞斯目前的使用方式截然相反的做法）。
我看不出有什麼能阻止這兩種風險同時變得重要。
川普政府對 AI 的重視程度不足以應對這其中的任何一種風險。
戰爭部迫切需要完全控制任何用於控制其武器的 AI 開發。然而，他們一直無法聘請到能跟上尖端公司步伐的員工。最近的風波將使這類招聘變得更加困難。而且他們越接近將 OpenAI 國有化，核心員工就越有可能離職。
我能找到最接近正確答案的方案是：戰爭部應該使用多種 AI，包括至少一種開放權重（open weight）的 AI，以及至少一種在軍方內部開發的 AI，且沒有任何單一 AI 的控制權接近半數部隊。
附註：川普偶爾也會聘用有能力的人。可以閱讀其中一位 關於此話題的更多內容。