newsence
來源篩選

OpenAI’s surveillance language has many potential loopholes and they can do better

Lesswrong

The new agreement between OpenAI and the Department of War contains ambiguous language regarding domestic surveillance that could allow for significant legal loopholes and incidental data collection. Experts argue that terms like intentional and deliberate are poorly defined and that OpenAI must clarify these clauses to ensure robust protections for U.S. persons.

newsence

OpenAI 的監控條款存在諸多潛在漏洞且仍有改進空間

Lesswrong
大約 5 小時前

AI 生成摘要

OpenAI 與戰爭部之間的新協議在國內監控方面包含模糊的措辭,這可能導致嚴重的法律漏洞和附帶的數據收集。專家認為,有意和蓄意等術語定義不明,OpenAI 必須澄清這些條款,以確保對美國公民提供強而有力的保護。

(作者不隸屬於戰爭部或任何主要的 AI 公司。)

關於 OpenAI 與戰爭部協議中,存在許多分歧。有些人認為這比之前的條款有顯著改進。^() 另一些人則認為它雖然修補了一些問題,但仍留有足夠的漏洞,以至於不會產生實質性的差別。在法庭最終將如何解釋這些措辭的問題上,理性的人們持有不同意見。

但有一點應該更容易達成共識:目前的條款措辭含糊不清,OpenAI 可以做得更好。

考慮到所使用的措辭以及起草時間之短,我認為即使是 OpenAI 的領導層,也無法確信這些條款在法庭上會如何被解讀。對於缺乏背景資訊和資源的人來說,要了解這些模糊之處將如何解決就更難了。

儘管時間緊迫,其中一些模糊之處似乎本可以輕易澄清,但事實並非如此,這令人擔憂。更重要的是,現在花更多時間來澄清這些措辭絕對是可能且值得的。員工完全有權要求進一步改進,直到他們自己的法律顧問能告訴他們,這些條款明確禁止了他們所擔心的行為。

新條款的內容

請注意,僅憑幾個段落而非完整合約,是不可能得出任何確切結論的。正如 Nathan Calvin ,合約通常包含允許忽略先前條款或以非直觀方式解讀條款的條文。在私人交流中, 也支持這一觀點,他說:「理解合約的唯一方法是從頭到尾閱讀,並確保沒有(隱喻意義上的)屍體埋在任何地方。」^() 鑑於 Sam Altman 對這份合約描繪了許多毫無根據的樂觀解讀,在完整合約與能驗證其未實質修改公開部分的專業人士分享之前,我不會對這些小片段賦予太多權重。

話雖如此,讓我們分析一下現有的內容。新的修正案增加了兩個條款。

根據適用法律,包括《美國憲法第四修正案》、《1947 年國家安全法》、《1978 年外國情報監視法》(FISA),該 AI 系統不得被故意用於對美國境內人士和國民進行國內監視。

為免生疑問,國防部理解此限制禁止對美國境內人士或國民進行蓄意的追蹤、監視或監控,包括透過採購或使用商業獲取的個人或可識別資訊。

Sam 的內部貼文將這些條款描述為已解決了問題。但仔細閱讀後,事實並非如此。

模糊之處

以下是可能允許通俗意義上的大規模監視的模糊之處(清單未盡列):

「故意」(Intentionally) 與「蓄意」(deliberate) —— 兩個條款都僅限制故意蓄意的監視。 指出:「OpenAI 實際上採用了情報界的字典——在這本字典中,普通的英語單詞在幾十年來被精心重新定義,以允許它們表面上禁止的事情……在 OpenAI 明確同意運作的法律框架下(透過引用各種法規),國家安全局 (NSA) 可以針對外國人,在此過程中蒐集大量美國人的通訊,保留所有內容,並在以後進行搜索——根據政府自己的定義,這些都不算作『對美國人的監視』。」

許多評論者也表達了類似的觀點。

喬治華盛頓大學法學院政府採購法研究副院長 Jessica Tillipman

「我同意這有所改進,但我認為政府可以利用『故意』這個措辭鑽極大的漏洞。」(根據我們諮詢的另一位律師,Tillipman「可能是全美政府採購法領域的頂尖專家」。)

Jeremy Howard

這是我們律師事務所執行長的非正式/官方回答——簡而言之,這些措辭似乎並未對先前分享的合約細節增加太多內容:(...)
我感到擔憂/驚訝的是,門檻並未擴展到過失或至少是魯莽。犯罪意圖的層級是:蓄意 > 明知 > 魯莽 > 過失,而法院通常將「故意」解讀為介於「蓄意」和「明知」之間。「故意」是一個比魯莽或過失更高、更難證明的門檻。

安全科學與技術法律倡導組織 (LASST)

「故意」和「蓄意」這兩個詞留下了很大的迴旋餘地,特別是對於附帶的收集和分析。如果歷史可以作為參考,政府很可能會利用這種迴旋餘地,允許大多數人認為該條款會禁止的監視行為。

「個人或可識別資訊」(Personal or identifiable information) —— 該短語在協議中未定義。元數據 (metadata) 是否包含在此定義中?那些 AI 系統可以輕易去匿名化的匿名或偽匿名數據呢?那些最初遮蓋了美國人身份識別碼(這是國家安全工作的標準做法)但稍後可能被揭露的數據呢?合約沒有涉及這些問題,而最寬鬆的解釋將對監視幾乎不提供任何保護。

「追蹤、監視或監控」(Tracking, surveillance, or monitoring) —— Brad Carson(前陸軍總法律顧問、前陸軍副部長、前國防部副部長),「監視」可能指的是 FISA 定義的監視,其中不包括對商業數據的分析。他還表示,「追蹤」和「監控」可以被爭辯為需要隨時間推移的持續性,因此它不適用於靜態查詢,例如「告訴我誰去了塔爾薩的清真寺並預訂了去紐約的行程」。如果是這樣,合約將無法阻止戰爭部進行我們所擔心的那種分析。

「根據適用法律 (...) 該 AI 系統不得被故意用於對美國境內人士和國民進行國內監視」 —— 該條款開篇將禁令設定為與第四修正案、1947 年國家安全法和 FISA 「一致」。但這些法律並沒有像大多數人使用的那樣,絕對禁止對美國人進行國內監視。(更多相關內容請參見。)問題在於,句子的後半部分(「該 AI 系統不得被故意用於對美國境內人士和國民進行國內監視」)可以被解讀為由這些法律來執行。如果是這樣,任何符合法律的系統都將符合此條款。當我們擔心這些系統的某種合法用途時,這就是一個問題。

「為免生疑問,國防部理解此限制為……」 —— 第二個條款被設定為國防部對第一個條款的陳述性「理解」,而非額外的禁令。這留下了一個問題:所述的「理解」是否是對第一行內容的合理解釋,或者如果新資訊改變了國防部的理解會發生什麼。我不知道答案,但這確實造成了不必要的模糊。Brad Carson(如前所述,前陸軍總法律顧問等)

而且,[一個假設的邪惡總法律顧問] 會說,我特別喜歡我們說「國防部理解」而不是簡單地說「此限制禁止……」的那部分,這雖然奇怪,但在某種神秘的方式上肯定是有意義的。我大概可以辯稱後者比前者更有力,所以它必須以一種有助於我作惡的方式產生意義。

為什麼這不是無理的挑剔

其中一些看起來可能像是無理的挑剔,但我真的認為並非如此。當專家們關注看似微小的措辭問題時(如上述引用內容),那是因為他們知道精確的措辭在國家安全法中往往具有巨大的影響。

這些是政府在嘗試時可以找到的漏洞。而且這種擔憂可能並非假設。有稱,戰爭部特別希望獲得許可,將 AI 用於本合約試圖阻止的那種商業數據分析。《大西洋月刊》(The Atlantic)

Anthropic 的團隊鬆了一口氣,聽說政府願意刪除這些字眼,但一個大問題仍然存在:週五下午,Anthropic 得知五角大廈仍想使用該公司的 AI 來分析從美國人那裡收集的大量數據。這可能包括你問你最喜歡的聊天機器人的問題、你的 Google 搜索歷史、你的 GPS 追蹤路徑以及你的信用卡交易,所有這些都可以與你生活的其他細節進行交叉比對。Anthropic 的領導層告訴 Hegseth 的團隊,這太過分了,交易隨之破裂。

《紐約時報》對此也有。我們對消息來源了解不多,但我認為這仍然足以成為確保合約確實能阻止想要分析美國人大數據的人的理由。

總體而言:為了使合約有效,它需要約束某人的行為,即使他們正竭力逃避約束。合約的意義在於,如果有人違反了它,那麼你預期能在法庭上戰勝那些竭力反駁你的人。正如我們所見,當戰爭部得不到他們想要的東西時,他們是有能力進行相當卑鄙的鬥爭的。

此外,我認為很明顯 OpenAI 的過於薄弱,只是由於員工和公眾的壓力才進行了修訂。^() 這表明我們不能信任 OpenAI 的預設流程能在沒有外部壓力的情況下產生良好的條款。既然員工和公眾的壓力在這裡似乎是必要的,那麼一些員工和公眾成員就必須像他們自己要簽署合約一樣,批判性地評估這些合約。這是一個很高的標準。

有些人提出的另一個問題是:為什麼 Anthropic 在最初簽約與戰爭部合作時沒有受到這種程度的審查?

外部人士和內部人士都會根據他們擁有的證據多寡來優先投入精力。目前,我們有足夠的證據證明當前的審查程度是合理的。有上述《大西洋月刊》和《紐約時報》的報導。還有一個事實是,OpenAI 的第一份合約摘錄顯然太弱,無法解決這裡的擔憂。

此外,我認為 OpenAI 一直聲稱擁有比證據顯示更強大的紅線。^() 我認為在這種事情上讓公司信守諾言很重要。

當 Anthropic 最初與戰爭部達成協議時,我確實希望內部員工對此進行了審查。如果員工發出了警報,而 Anthropic 的決定實際上是不合理的,那麼我預計這也可能會升級到受到公眾審查的程度。

其中一些內容很容易澄清

並非所有這些問題都能簡單地完全解決。但似乎存在一些容易改進的地方。

一個改進是將「國防部理解此限制」這一短語改寫為明確規定的禁令,而非理解聲明。戰爭部可能會對此表示反對,因為這與他們的說法(即公司不應施加法律規定之外的任何約束)不一致。但這正是重點所在。 只要合約的一方堅持他們除了已經是非法的行為外沒有放棄任何東西,且他們的解讀(勉強地)與合約中的措辭一致,那麼對於是否需要更多約束就會存在模糊性。

另一個改進是為術語添加明確的定義:

  • 「監視」,以澄清在商業獲取數據的背景下,「監視」一詞是否有任何意義。
  • 「追蹤」和「監控」,以澄清這些術語在多大程度上需要隨時間推移的系統性、重複性模式,而不僅僅是大量的單次查詢。
  • 「個人或可識別資訊」,以澄清是否包含元數據,什麼樣的匿名化或偽匿名化足以將某些內容排除在此類別之外,以及這是否與易於去匿名化的數據一致。^()
  • 「故意」和「蓄意」,並以排除歷史上被這些術語辯護並導致醜聞的那種廣泛「附帶」收集的方式來定義它們。

我認為提出這些問題並希望看到定義並不令人驚訝。^()

另一個簡單的澄清是分享我們根本還沒看到的合約條款,當這些條款對於驗證關鍵主張很重要時。例如,合約的哪一部分禁止戰爭部中的情報部門使用所提供的服務?^() 什麼樣的措辭被認為賦予了 OpenAI 對其在僅限雲端部署中運行的安全堆疊的完全裁量權?^() 我在這篇貼文中沒有討論這些,因為甚至沒有任何措辭可以評論,但這正使得獲取進一步資訊變得更加重要。

OpenAI 可以做得更好

重申一次,真的很難知道法院會如何解釋所述的條款。我傾向於認為批評者是對的,戰爭部可以預期進行許多令人反感的監視活動,而不必擔心 OpenAI 能阻止他們並在法庭上獲勝。但即使你不相信這一點,我認為也有充分的理由說明這些措辭比它應有的樣子要模糊得多。

此外,如果模糊性永遠得不到澄清,它將在阻止 OpenAI 維護其權利方面產生不成比例的影響。在中,OpenAI 寫道:「與任何合約一樣,如果交易對手違反條款,我們可以終止合約。」但如果法院有 50% 的可能不站在 OpenAI 這邊,OpenAI 還願意這樣做嗎?如果是 20% 呢?如果 OpenAI 終止了合約但在法庭上敗訴,他們可能會被迫支付極高額的損害賠償。^()

合約需要更清晰的措辭。OpenAI 的員工需要能夠與他們自己的外部顧問一起對其進行審查。

  • ^() 例如,Charlie Bullock 表示,在監視方面,這「似乎比之前的條款有顯著改進」。當然,它對 AI 驅動的致命自主武器隻字未提。

  • ^() 此外,當被問及在此類合約中,後面的條款使前面的條款失效的情況有多普遍時,他說:「喔,一直都是這樣。通常不是完全失效,但肯定會透過定義、補救條款等來削弱。」Rozenshtein 是法學教授、《Lawfare》的研究總監和高級編輯,此前曾在美國司法部國家安全司法律與政策辦公室工作。

  • ^() 我認為我們可以在沒看到大部分合約的情況下推斷原始合約太弱,原因有二。首先,在選擇摘錄時,他們有動力展示他們能提供的最強大、最令人放心的措辭。其次,當它受到批評時,他們沒有透露進一步解決疑慮的條款,而是談判了新的條款。

  • ^() 參見,特別是對常見問題解答 (FAQ) 的評論。

  • ^() 這些定義對於大學醫院的小型醫學試驗都被認為是重要的,更不用說關於戰爭部應如何使用前沿且快速改進的 AI 能力的協議了。

  • ^() 澄清「美國境內人士」(U.S. persons) 也會很有幫助。第四修正案、1947 年國家安全法(修訂版)和 FISA(修訂版)對美國境內人士的定義並不相同。最值得注意的是,我的理解是第四修正案保護所有身在美國境內且與國家社群建立了「充分聯繫」的人(United States v. Verdugo-Urquidez, 1990),法院通常理解這包括無證移民和簽證持有者,以及公民和永久居民。但 FISA 和《國家安全法》中「美國境內人士」的法定定義較窄,僅涵蓋公民和合法永久居民,同時排除無證移民和非移民簽證持有者(例如持 H-1B 簽證在美國工作的人)。

  • ^() 前陸軍總法律顧問 Brad Carson 擔心這些措辭。如果存在,還有一個問題是它是否涵蓋情報機構之外的情報部門。

  • ^() Jessica Tillipman(政府採購法研究副院長):「合約允許『出於所有合法目的』使用,但須符合『運作要求』和『完善的安全與監督協議』。OpenAI 表示,它對在僅限雲端部署中運行的安全堆疊保留完全裁量權。如果安全堆疊阻止了合法用途,哪個條款具有控制權?答案取決於管理許可使用標準與部署框架之間關係的具體合約措辭。

  • ^() 還有一個進一步的問題是,即使法院同意條款被違反,是否會支持 OpenAI 終止合約的決定。Jessica Tillipman :「我也很好奇如果政府跨越紅線,OpenAI 有什麼追訴手段。在政府合約中,承包商不能僅因政府違約就終止合約(極少數例外)。如果這是一份 OT [其他交易,一種特定的採購類型] 協議,他們可能談判了更廣泛的終止權,但我們不得而知。