Lesswrong
The creation of artificial superintelligence (ASI) risks leading to a dystopia rather than a utopia if the controlling organization lacks a commitment to the common good or falls under the control of authoritarian regimes. Even pausing ASI development may not prevent this outcome, as governments could capture the project to serve their own interests rather than humanity's benefit.
AI 生成摘要
如果開發人工超智慧（ASI）的組織缺乏對公共利益的承諾，或被威權政府掌控，那麼 ASI 的發展可能會導致反烏托邦而非烏托邦。即使暫停 ASI 的研發，也未必能避免這種結果，因為政府可能會奪取計畫主導權，使其服務於自身利益而非全人類的福祉。
對於一個開發人工超級智能（ASI）的研究機構而言，最終能導向烏托邦的一個看似必要的條件，是該機構必須。ASI 可以重塑世界以達成任何精確的目標，如果該機構能夠解決其餘的對齊問題，那麼他們將能選擇 ASI 要達成的目標。如果該機構不致力於公共利益，那麼他們所選擇的目標將無法反映所有人的利益——而僅僅是他們個人認為好的想法。其他所有人將被拋在腦後，他們與 ASI 共同創造的世界將無法成為烏托邦。它甚至很可能是反烏托邦的；我最近驚訝地發現，。
我認為，機構未能履行公共利益承諾的一個可能原因，是他們最終必須向獨裁者負責。有些國家正由權力極大的獨裁者統治。如果一個 ASI 研究機構引起了這類獨裁者的注意，且他們理解其中的影響，那麼這位獨裁者將會尋求控制該機構未來的活動，並且他們擁有軍隊和警察力量來實現這種控制。如果他們確實解決了其餘的對齊問題，獨裁者將會選擇讓 ASI 的精確目標變成為「賦予他們權力」。目前，如果 DeepSeek 與中國政府發生重大分歧，中國政府顯然會獲勝；在西方，，爭論焦點在於 Anthropic 是否被允許禁止美國軍方將其 AI 用於對美國人進行大規模監控，而 OpenAI、xAI 和 Google 似乎已經默許了。
因此，即使 ，似乎也沒有一個很好的退場機制能將這種優勢轉化為烏托邦。所爭取到的時間可能被用來建立一個能夠解決對齊問題的 ASI 專案，但這個專案可能會被獨裁者奪取，從而無法致力於公共利益，導致的不僅是滅絕，而是反烏托邦。任何關閉行動都可能由政府發起，因此任何體面的退場條款都將由政府決定，這讓我對獨裁主義會介入多深感到並不樂觀。