newsence
來源篩選

Sam Altman says OpenAI shares Anthropic's red lines in Pentagon fight

Lesswrong

OpenAI CEO Sam Altman announced the company will align with rival Anthropic by refusing to allow its AI to be used for mass surveillance or autonomous lethal weapons, despite seeking a deal for other sensitive military applications.

newsence

奧特曼表示 OpenAI 在與五角大廈的爭端中將與 Anthropic 採取相同的紅線標準

Lesswrong
大約 24 小時前

AI 生成摘要

OpenAI 執行長奧特曼在一份內部備忘錄中表示,他將劃定與競爭對手 Anthropic 相同的紅線,即禁止將 AI 用於大規模監控或自主致命武器,儘管他仍希望與五角大廈達成協議,讓 ChatGPT 用於其他敏感的軍事環境。

OpenAI 執行長 在一份給員工的備忘錄中寫道,他將劃定與競爭對手 之間引發激烈爭端的相同紅線:不將 AI 用於大規模監控或自主致命武器。

重要原因: 如果 Google 等其他領先公司也效仿,這可能會使五角大廈 的努力變得極其複雜,Claude 是第一個被整合到軍方最敏感工作中的模型。

  • 這也將是美國頂尖 AI 領導者首次就美國政府可以及不可以如何使用其技術採取集體立場。

另一面: Altman 明確表示,他仍希望與五角大廈達成協議,允許 ChatGPT 用於敏感的軍事環境。

  • 儘管表現出團結,但如果五角大廈履行其宣布 Anthropic 為「供應鏈風險」的計劃,這樣的協議可能會讓 OpenAI 取代 Anthropic。

他的說法: 「無論我們是如何走到這一步的,這已不再僅僅是 Anthropic 與(五角大廈)之間的問題;這是整個行業的問題,澄清我們的立場非常重要,」Altman 在 Axios 獲得的一份週四晚間備忘錄中寫道。

  • 「我們長期以來一直認為,AI 不應被用於大規模監控或自主致命武器,且在涉及重大利害關係的自動化決策中,人類應保持參與。這些是我們主要的紅線。」

內幕: 消息人士告訴 Axios,ChatGPT 已經可以在軍方的非機密系統中使用,而在五角大廈與 Anthropic 的爭鬥中,將其移入機密空間的談判已經加速。

  • 但五角大廈堅持 OpenAI 和 Google 必須同意軍方可以將其模型用於「所有合法用途」,這與 Anthropic 拒絕的標準相同,因為該標準未納入其特定的防護欄。
  • 伊隆·馬斯克的 xAI 最近同意了這些條款,但 Grok 並不被視為 Claude 的全面替代方案。

在備忘錄中, Altman 寫道,軍方將需要 AI,他希望能「幫助緩解局勢」。

  • 「我們將看看是否能與(五角大廈)達成一項協議,既允許我們的模型部署在機密環境中,又符合我們的原則。我們會要求合約涵蓋除非法或不適合雲端部署(如國內監控和自主攻擊性武器)之外的任何用途,」Altman 表示。
  • 《華爾街日報》首先了這份備忘錄。

弦外之音: 一位知情人士告訴 Axios,OpenAI 執行其紅線的想法包括:保留公司在從實際部署中學習時,持續加強其安全和監控系統的能力。

  • 該公司還希望擁有具備安全許可的研究人員,他們可以追蹤技術的使用方式,並就風險向政府提供建議。
  • 最後,該消息人士稱,OpenAI 想要某些技術保障措施——包括將模型限制在雲端,而非像自主武器那樣的邊緣環境。

值得關注: 根據五角大廈官員向 Axios 描述其立場的方式,這些提議可能會面臨與 Anthropic 相同的阻力:私營公司對關鍵政府工作的影響力過大。

現狀: 在 Anthropic 執行長 Dario Amodei 堅持其公司的紅線後,OpenAI 和 Google 的員工在週四以示聲援,敦促各自公司的管理層抵制來自五角大廈的「壓力」。

  • 雖然 Anthropic 表示打算繼續談判,但破裂似乎已近在咫尺。負責與 Anthropic 及其他主要 AI 公司談判的五角大廈官員 Emil Michael 是個有「上帝情結」的「騙子」,正在「置我們國家的安全於危險之中」。
  • 華盛頓特區和矽谷的許多其他人則讚揚 Anthropic 在冒著巨大財務損失的風險下採取了有原則的立場。
  • Altman 和 Amodei 曾是 OpenAI 的同事,自後者離開創立 Anthropic 以來,兩人已成為激烈的競爭對手。

另一方的觀點: 國防官員主張,他們無意進行大規模監控或迅速部署自主武器。

  • 他們的主要反對意見是,不希望由一家私營公司來決定美國政府可以如何為了國家安全目的部署 AI,特別是在與中國進行技術競賽期間。
  • 國防官員告訴 Axios,他們與 Anthropic 的互動讓他們擔心,該公司可能會在關鍵時刻對其技術的部署提出質疑。Anthropic 對此予以否認。
  • 與 OpenAI 的談判可能不會那麼具有對抗性。

值得關注: 「在過去幾天裡,我們已經開會討論過這個問題,明天還會與我們的安全團隊進行更多討論,然後再決定該怎麼做。我們也會盡快安排全員會議和辦公時間,」Altman 在談到這些談判時表示。

  • 「在這種情況下,對我來說重要的是做正確的事,而不是做那些看起來強硬但虛偽的簡單事。但我意識到這在短期內對我們來說可能『不好看』,而且其中存在很多細微差別和背景。」