newsence
來源篩選

Sam Altman says OpenAI shares Anthropic's red lines in Pentagon fight

Lesswrong

OpenAI CEO Sam Altman stated in a staff memo that the company will align with Anthropic by refusing to allow its AI to be used for mass surveillance or autonomous lethal weapons, despite seeking a deal for other sensitive military contexts.

newsence

奧特曼表示 OpenAI 在與五角大廈的爭端中將堅守與 Anthropic 相同的紅線

Lesswrong
大約 24 小時前

AI 生成摘要

OpenAI 執行長奧特曼在員工備忘錄中表示,公司將與 Anthropic 採取相同立場,拒絕將 AI 用於大規模監控或自主致命武器,儘管他仍希望在符合原則的情況下與五角大廈達成敏感軍事背景的合作協議。

OpenAI 執行長 在一份致員工的備忘錄中寫道,他將劃定與競爭對手 之間引發激烈爭端的相同紅線:不將 AI 用於大規模監控或自主致命武器。

重要性: 如果 Google 等其他領先公司也效仿,這可能會使五角大廈 的努力變得極其複雜。Claude 是首個被整合到軍方最敏感工作中的模型。

  • 這也將是美國頂尖 AI 領導者首次就美國政府可以及不可以如何使用其技術採取集體立場。

另一面: Altman 明確表示,他仍希望與五角大廈達成協議,允許 ChatGPT 用於敏感的軍事環境。

  • 儘管表現出團結,但如果五角大廈履行其將 Anthropic 宣佈為「供應鏈風險」的計劃,這樣的協議可能會讓 OpenAI 取代 Anthropic。

他的說法: 「無論我們是如何走到這一步的,這已不再僅僅是 Anthropic 與五角大廈之間的問題;這是整個行業的問題,澄清我們的立場非常重要,」Altman 在 Axios 獲得的一份週四晚間備忘錄中寫道。

  • 「我們長期以來一直認為,AI 不應被用於大規模監控或自主致命武器,且人類應在涉及高風險的自動化決策中保持參與。這些是我們主要的紅線。」

內幕: 消息人士告訴 Axios,ChatGPT 已經可以在軍方的非機密系統中使用,而在五角大廈與 Anthropic 的爭鬥中,將其移入機密空間的談判已經加速。

  • 但五角大廈堅持 OpenAI 和 Google 必須同意軍方可以將其模型用於「所有合法用途」,這與 Anthropic 拒絕的標準相同,因為該標準未納入其特定的防護欄。
  • 伊隆·馬斯克的 xAI 最近同意了這些條款,但 Grok 並未被視為 Claude 的全面替代方案。

在備忘錄中, Altman 寫道,軍方將需要 AI,他希望能「幫助緩解局勢」。

  • 「我們將看看是否能與五角大廈達成一項協議,既允許我們的模型部署在機密環境中,又符合我們的原則。我們會要求合約涵蓋除非法或不適合雲端部署(如國內監控和自主攻擊性武器)之外的任何用途,」Altman 表示。
  • 《華爾街日報》首先了這份備忘錄。

字裡行間: 一位知情人士告訴 Axios,OpenAI 執行其紅線的想法包括保留公司在從實際部署中學習時,持續加強其安全和監控系統的能力。

  • 該公司還希望擁有具備安全許可的研究人員,他們可以追蹤技術的使用方式,並就風險向政府提供建議。
  • 最後,該消息人士稱,OpenAI 想要某些技術保障措施——包括將模型限制在雲端,而非自主武器等邊緣環境。

值得關注: 根據五角大廈官員向 Axios 描述其立場的方式,這些提議可能會面臨與 Anthropic 相同的阻力:私營公司對關鍵政府工作的影響力過大。

現狀: 在 Anthropic 執行長 Dario Amodei 堅持其公司的紅線後,OpenAI 和 Google 的員工在週四以示團結,敦促各自公司的高管抵制來自五角大廈的「壓力」。

  • 雖然 Anthropic 表示打算繼續談判,但破裂似乎已近在咫尺。負責與 Anthropic 及其他主要 AI 公司談判的五角大廈官員 Emil Michael 是個有「上帝情結」的「騙子」,正在「置我們國家的安全於危險之中」。
  • 華盛頓特區和矽谷的許多其他人則稱讚 Anthropic 冒著重大財務損失的風險採取了有原則的立場。
  • Altman 和 Amodei 曾是 OpenAI 的同事,自後者離開創立 Anthropic 以來,兩人已成為激烈的競爭對手。

另一方觀點: 國防官員主張,他們無意進行大規模監控或迅速部署自主武器。

  • 他們的主要反對點在於,不希望由一家私營公司來決定美國政府如何出於國家安全目的部署 AI,尤其是在與中國進行技術競賽期間。
  • 國防官員告訴 Axios,他們與 Anthropic 的互動讓他們擔心,該公司可能會在關鍵時刻對其技術的部署提出質疑。Anthropic 對此予以否認。
  • 與 OpenAI 的談判可能不會那麼具有對抗性。

值得關注: 「我們在過去幾天開會討論了這個問題,明天還會與我們的安全團隊進行更多討論,然後再決定如何行動。我們還將盡快安排全體會議和辦公時間,」Altman 在談到這些談判時表示。

  • 「在這種情況下,對我來說重要的是我們做正確的事,而不是做那種看起來強硬但實則虛偽的容易事。但我意識到這在短期內對我們來說可能『不好看』,而且其中存在很多細微差別和背景。」