Lesswrong
I believe that AI-enabled harm to democracy through mass surveillance is a critical risk that must be tracked like bioweapons, and while OpenAI's deal with the Department of War provides a framework for safeguards, its success depends on the actual implementation of monitoring and red lines.
AI 生成摘要
我認為透過大規模監控對民主造成的傷害是人工智慧最重要的風險之一，雖然 OpenAI 與戰爭部簽署的協議為建立防護機制提供了機會，但真正的考驗在於我們能否建立有效的監控系統，確保模型不會被用於大規模監控或非法用途。
＊[這些是我個人的觀點，不代表 OpenAI。同步發布於 windowsontheory。]＊
AI 有如此多的應用，而 AI 公司的資源與注意力有限。因此，如果由我決定，我會希望在處理任何與武器或間諜活動相關的事務之前，先專注於純粹有益的應用——科學、醫療、教育——甚至是商業應用。如果非得有人去做那些事，我希望那不是我自己的公司。可惜，我們並不總是能事隨人願。
這是一篇略長的帖子，但重點摘要（TL;DR）如下：
＊[另外：Anthropic 被列為供應鏈風險的可能性非常糟糕。我希望這能儘快得到解決。]＊
AI 如何摧毀民主？縱觀歷史，獨裁政權需要龐大且服從的官僚體系來監視和控制公民。在東德，除了全職的史塔西（Stasi）工作人員外，還有百分之一的人口擔任線人。克格勃（KGB）則以多次「清洗」以確保忠誠而聞名。
AI 潛在可能導致產生一個官僚體系，其僅忠於掌握模型訓練或提示詞（prompting）權限的人，從而確保擁有一支不會洩密、不會吹哨、也不會違抗非法命令的代理人軍隊。此外，由於政府壟斷了暴力手段，我們不需要「原子世界」的進步就能實現這一點，也不需要「諾貝爾獎得主」級別的智慧。
舉例來說，想像國稅局（IRS）被 AI 勞動力取代。可以說，目前的模型已經具備或接近自動化執行大部分職能的能力。在這種情況下，該機構的領導者可以對其政治對手發動大規模的稅務調查。此外，即使每個 AI 代理人個體都是對齊（aligned）的，它也可能無法得知它收到的審計指令是出於政治原因而選擇的對象。人類會回家、看新聞，並能理解更廣泛的背景。而語言模型在任務開始時誕生，在任務結束時消亡。
從歷史上看，對本國公民的大規模監控是獨裁政府的關鍵。這就是為什麼美國歷史有很大一部分是關於防止這種情況，包括憲法第四修正案。AI 為大規模分析和去匿名化民眾數據開啟了前所未有的可能性。例如，最近 的研究顯示，大語言模型（LLM）可用於對非結構化數據進行大規模的自動去匿名化。
雖然所有監控都存在問題，但鑑於政府對其公民和居民擁有的獨特權力，限制政府的國內監控尤為重要。這就是為什麼我個人認為，防止國內監控比防止外國政府或企業的隱私侵犯更為關鍵。但後者也很重要，特別是政府有時會透過購買商業資訊來「洗白」監控行為。
這並非毫無希望——我們可以實施並監管防止這種情況的方法。AI 可以像擴展監控規模一樣，擴展監督和監測的規模。我們還可以在 AI 中內建隱私和加密保護，以賦予個人權力。但我們迫切需要開展這項工作。
就像關於加密技術的辯論一樣，總會有人提議用我們的自由來換取對抗敵人的保護。但我希望我們已經從《愛國者法案》和史諾登（Snowden）揭秘事件中吸取了教訓。雖然我不認同對憲法第二修正案最廣泛的解讀，但我認為它也很好地說明了美國人一直願意犧牲一些安全來保護自由。即使在先進 AI 的世界裡，我們仍擁有兩大洋、數千枚核彈，以及預算超過中俄總和的軍隊。我們不需要放棄自由和隱私來保護自己。
雖然政府濫用 AI 的可能性一直存在，但在機密環境中這種風險會被放大，因為就其本質而言，這會使濫用行為更難被發現。（例如，如果不是因為史諾登，我們可能永遠不會聽說國安局的過度擴權。）出於這個原因，我很高興我們與國防部的協議受到了高度關注（即便這種關注對我個人來說並不容易應對）。
我覺得太多的焦點都集中在「法律條文」上，人們在解析我們發布的合約摘錄中的每一個字。我不否認合約的重要性，但正如湯瑪斯·傑佛遜（Thomas Jefferson）所說：「法律的執行比法律的制定更重要。」合約的重要性在於 OpenAI 與國防部之間對於模型「將被用於做什麼」以及「不會被用於做什麼」達成的共同理解。我很高興我們明確表示，我們的模型不會被用於國內大規模監控，包括透過分析美國人的商業可用資訊。我更高興的是，目前我們不會與國防部的情報機構（如 NSA、DIA 等）合作。我們的領導層承諾，如果情況有變將公開宣布，當然，這份合約與國土安全部（DHS）、移民海關執法局（ICE）或聯邦調查局（FBI）等國內機構無關。情報機構的工作負載最為敏感，因此我完全同意從較簡單的案例開始是最好的。這也在一定程度上減輕了我對「未排除對國際公民進行大規模監控」的擔憂。（除了監視本國人民本質上更具問題這一事實之外。）
我也很高興合約禁止使用我們的模型來引導致命自主武器，儘管現實中我認為透過雲端大模型來驅動殺手無人機從來都不是一個真正的可能性。通用前沿模型極其不適合自主引導武器；此外，自主無人機的主要賣點是規避干擾，這需要設備端（on-device）模型。鑑於我們目前的安全性與對齊狀態，致命自主武器是一個非常糟糕的主意。但無論如何，這不會透過這份協議發生。
即便如此，最終我們的模型仍有可能被用於協助人類進行目標選擇，據報導 。這是一個沉重的負擔，我們有責任確保在沒有經過廣泛的安全性與可靠性測試之前，不將規模擴展到此類用途。
合約為成功提供了必要條件，但現在判斷這些條件是否充分還為時過早。它允許我們建立安全技術棧（safety stack）以確保模型的安全運行和我們的紅線，並讓我們自己的前線部署工程師（FDEs）就位。沒有任何安全技術棧是完美的，但鑑於大規模監控的「大規模」特性，它不需要完美也能起到預防作用。話雖如此，這將是一項具有挑戰性的事業：為我們不太熟悉的應用建立安全性，並加上權限審核的複雜性。Sam 曾表示我們將逐步部署，從風險最低、最熟悉的領域開始。我認為這是必不可少的。
先前國防部與 Anthropic 的國防合約引起的關注相對較少。我希望此議題關注度的提升能被用來提高整個行業的標準。就像我們對待生物武器和網路安全等其他風險一樣，我們需要建立最佳實踐，以避免 AI 導致民主被接管的風險，包括國內大規模監控和高風險的自動化決策（例如，選擇性起訴或「社會信用」）。這些風險的災難性不亞於生物武器，應當被視作同類風險進行追蹤和報告。雖然由於該領域的機密性質，並非所有內容都能公開，但我們至少可以而且應該公開其流程。
如果說 AI 研究人員擅長一件事，那就是衡量和優化量化指標。如果我們能建立評估體系，並將追蹤這些風險轉化為一門科學，我們就有更好的機會與之對抗。我有信心只要有足夠的時間就能做到。我不太有信心的是，時間是否足夠。