Lesswrong
I am inviting you to join a conditional 'Kickstarter' for a protest in Washington DC to demand an international treaty banning AGI research, which will only be triggered if 100,000 people pledge to participate. Please take 30 seconds to sign up or register for notifications to help us reach the critical mass needed to show that AI existential risk is a mainstream concern.
AI 生成摘要
我正邀請你加入一場針對華盛頓特區抗議活動的「條件式募資」，要求簽署禁止通用人工智慧（AGI）研發的國際條約，該活動僅在有 10 萬人承諾參加時才會啟動。請花 30 秒時間報名或登記接收通知，幫助我們達到必要的關鍵規模，以展示人工智慧生存風險並非邊緣議題。
摘要：您可以在 承諾參加一場旨在禁止 AGI（通用人工智慧）研究的大型抗議活動。該活動僅在有 10 萬人報名時才會啟動。您也可以報名接收通知（關於該抗議活動，以及其他可能採取不同形式的潛在抗議活動）。
網站包含一個，您可以在該頁面承諾前往華盛頓特區遊行，要求簽署國際條約以停止 AGI 研究——前提是總共有 10 萬人也做出同樣的承諾。
我設計了這個遊行頁面（雖然我並未參與遊行的決策過程），我想向大家推廣並邀請加入這個「遊行群眾募資」。
小型抗議活動是否能發揮作用或是否值得投入精力，這一點並不明顯。但是，我認為 10 萬人在華盛頓特區遊行將會非常有價值，因為它展示了：「AI 生存風險並非邊緣關注。如果你對此發聲，你不是一個孤獨的異議者，你代表的是廣大的人群。」
目前版本的遊行頁面是基於「有條件的群眾募資成本很低」這一原則設計的。MIRI（機器智慧研究院）稍後可能會決定大力推動這場遊行，屆時或許會有人爭取那些還在猶豫的人加入。
目前，我主要是想說：如果你是那種「如果規模夠大，顯然會願意參加由 MIRI 在華盛頓特區舉辦的大型遊行以停止超智慧開發」的人，請花 30 秒，然後點擊「提交」。
我特別希望能讓報名人數突破 1,000 人（目前為 711 人），這感覺是一個最低門檻，能讓看到的人心想「好吧，這或許真的會發生」，從而更有機會產生滾雪球效應。
如果您願意參加非常類似的遊行，但反對目前的框架細節，請在評論中告訴我，並考慮在不做出承諾的情況下勾選「保持通知」來註冊您的電子郵件。
*目前的遊行非常以該書為中心。我選擇目前的標語/設計是預期如果遊行成為嚴肅的優先事項，會有人投入更多精力思考什麼樣的標語或政策訴求是合適的。目前的頁面旨在讓讀過書並被說服的人能有一個顯而易見的「是」可以點擊。
（舉個例子：我考慮過並向 MIRI 提議的一個替代框架是「建立關閉開關」，其直接訴求更像是「奠定一些政治和基礎設施基礎，使未來停止 AGI 開發至少成為可能」。還有其他一些正在討論的框架。）
我個人的猜測（不代表 MIRI）是，如此大規模的抗議活動必然需要比目前設計更具包容性，但確定確切的訊息傳達是一項相當複雜的任務。現在看來，花點精力讓 LessWrong 上那些顯然想報名的人知道這件事是值得的。
(摘自遊行頁面)
我們呼籲簽署一項國際條約，禁止開發人工超智慧 (ASI)。
我們相信，如果地球上任何地方的任何公司或團體，使用任何類似目前的技術、基於任何類似目前對 AI 的理解來建造人工超智慧，那麼地球上每個地方的每個人都會死。
我們這話並非誇張，也不是為了效果而危言聳聽。我們認為這是根據當今關於人工智慧的知識、證據和機構行為所做出的最直接推論。
AI 公司正競相創造人工超智慧，卻對自己在做什麼毫無頭緒。根據理論，這是一個壞主意；而在實踐中，警告信號正在增加。
我們在書中盡可能清晰簡潔地闡述了這一論點。您也可以閱讀我們的在線資源，其中深入探討了一些書中未涵蓋的細節。
遊行如果規模龐大會非常有力量，但如果規模微小則可能傳達錯誤的訊息。因此，我們只要求您在有足夠多的人加入時才承諾遊行。如果我們達到 10 萬個承諾，我們將安排遊行。如果沒有，我們將把精力投入到其他策略中。
我們可能很快就會達到臨界質量，也可能需要數月或數年，隨著更多人了解 ASI 的危險。
僅由一個國家禁止其境內的 AI 能力發展是沒有用的。AI 開發只會在其他不了解危險的人手中繼續進行，直到最終某個地方的某人建造出比任何人類都聰明得多的機器。
這不是一個立法者可以在自己國家內部通過法律來保護自己人民的問題。如果有人建造了機器超智慧，每個人都會死，無處倖免。像這樣的問題需要世界多個主要大國聯合起來，達成共同協議，停止這場魯莽的自殺競賽。
我們呼籲我們的領導人宣佈支持這樣一項條約，並現在就開始起草。我們呼籲全世界團結起來規避危險。
這不會是人類第一次停止技術競賽。人類已經放棄了製造超大型核彈頭，也放棄了製造一些最危險的生物武器。我們以前做過，現在可以再做一次。
一旦達到 10 萬個承諾，我們將爭取至少提前一個月通知，除非是因為某些待處理的緊急情況而跨越了門檻。
您也可以只報名接收更新！當我們的主要遊行達到 10 萬個承諾時，我們會通知您。
如果我們在華盛頓特區舉辦大型遊行，我們最終也可能會根據興趣和其他因素，在全球其他城市舉辦許多較小規模的遊行。