Lesswrong
I argue that common analogies for AGI progress are misleading and propose 'synthetic life' as a better intuition pump to highlight the massive, unknown algorithmic complexity required to replicate biological intelligence.
AI 生成摘要
我認為目前常見的 AGI 進展類比具有誤導性，並提議將「合成生命」作為更好的直覺泵，以凸顯複製生物智能所需的龐大且未知的演算法複雜度。
[前情提要：〈〉、〈〉]
[每當討論 AGI 何時到來時，都值得重申：如果有人造出了 AGI，所有人都會死；沒有人知道 AGI 何時會被造出來，無論是很快還是很晚；一群人和機構正試圖造出它；而他們應該停止，且必須被阻止。]
許多關於「AGI 何時到來」的爭論都集中在認為進展將持續快速發展的理由，例如：
這些都是有效且確實令人擔憂的。但是，要對 AGI 何時（以時鐘時間計）到來給出具體且自信的說法，我們還必須知道進展在絕對意義上有多快；具體來說，是以「實現 AGI 所需的東西你已經掌握了多少」來衡量的絕對意義。
人們使用各種直覺泵（Intuition pumps）或類比來形塑他們對 AI 研究進展程度的感知。例如：
AI 就像一個發育中的孩子。 進展是增量且持續的；每一年都帶來數量和質量上的新進展，這些進展建立在之前的基礎上並超越之。我們將 AI 的能力與具備最接近能力集的智力年齡相匹配。我們發現 AI 每年成長 2 歲（或類似的速度），目前大約是研究生的水平，很快就會成為頂尖研究員。幾個月後，它就會變得稍微超越人類。
AI 就像大腦和神經元。 我們需要大量的算力。我們衡量自己擁有的算力與大腦使用的算力。我們計算算法進步帶來的性能提升與更多算力帶來的提升之間的權衡。當我們擁有足夠的有效算力時，我們就能得到人類水平或更高水平的 AI。
AI 就像一名員工。 起初它甚至不值得花時間去管理；然後它在一些狹窄的任務上有所幫助；接著它可以處理廣泛的常見/低技能任務，但可靠性存疑；然後它在簡單的事情上變得可靠，並開始在困難任務中做出貢獻，產生經濟價值；接著它開始取代整個職位；然後它開始取代整個公司/行業；最後它開始產生新的行業。
AI 就像一名學生。 我們餵給它更多的訓練數據並進行更多次的訓練；它的測試分數變得更高；一旦它的表現像最優秀的學生一樣，它就準備好進行真正的研究了。
我認為這些對於理解 AGI 何時到來是糟糕的直覺泵，因為它們沒有喚起那種「為了製造 AGI，你必須擁有一大塊未知的、可能巨大的複雜性」的感覺。它們掩蓋了 AI 系統「如何」完成其工作的差異。
直覺泵的作用有限。每個領域都有其核心的複雜性，沒有充分的理由要求世界必須為 AGI 的發展提供一個深度正確的類比，事實上我也沒聽說過有這樣的類比。話雖如此，既然我們在討論直覺泵，我想為一項非常複雜任務的進展時間線提出另一個直覺泵：合成生命。我們使用的類比是：
人類心智 : AGI :: 天然細菌 : 合成細菌
具體來說，我們可以將製造 AGI 的一般任務（明確地說，這是一件極其糟糕的事情）類比為：
從零開始人工製造一個類似細菌的物體，它具備生物細菌所有令人印象深刻的能力，例如生長和分裂、自我修復、避開毒素和捕食者、進化出新的複雜特徵以在許多不同的生態位中表現良好、與其他生命競爭空間和資源等，但它與天然細菌「非常不同」/ 產生的過程與天然細菌「非常獨立」。
存在大量的算法複雜性 / 理解 / 想法。 具體來說，有基因組。更抽象地說，有基因組中的想法（例如，從特定酶中抽象出來的化學路徑）。
進化投入了巨大的實驗量才獲得了那一堆想法。
那堆想法對我們來說並非完全可以獲取或使用的，僅僅因為我們可以以某種形式讀取它。
我們可以讀取細菌基因組或大腦連接組，但這並不意味著我們可以設計出另一個使用這些想法的細菌或心智（除非是以一種非常狹隘的作弊方式，充其量如此）。（我認為這對合成生命來說不那麼成立，因為與心智相比，我們對基因組的了解確實多一些，並且與連接組相比，我們可以從基因組中提取更多抽象的想法。這遠非一個完美的類比。）
我們知道進化是通過對 DNA 序列變異的選擇來運作的。但這並不意味著我們可以得到進化的結果：
採用進化的方式慢得離譜且耗費算力。
進化的訓練信號並不容易掌握；訓練信號是複雜、微妙且高算力的。該信號的拙劣替代品可以獲得增量收益，但無法獲得更深層的收益。
那大堆想法包含了一堆多餘的東西： 冗餘機制、隨機損壞/次優設置、功能性但帶有隨機性的選擇（有很多同樣好的替代方案）、具有不必要功能的機制。
因此，我們預期要完成的總工作量比進化產生細菌時要少得多。（AI 研究人員製造人類心智的總工作量也比進化少得多。）
然而，我們預期仍有大量的總工作量要做。
而且，我們無法區分哪些是必要的，哪些不是。
而且，事實上我們可以比進化更抽象、更有效地思考/設計/實驗並壓縮過程，從而避免大量工作，這並不能說明我們離目標有多近，因為預設情況是你仍然必須發明出一大塊核心內容。
僅僅因為我們「可以」繞過一堆算法複雜性，並不意味著我們能神奇地做到。你仍然必須弄清楚如何做到。
退回到「慘痛教訓」（bitter-lesson）類型的論點/計劃，也同樣背離了「我們比進化做得更有效率」的論點。
目前還不完全清楚什麼才算成功，但感覺會有一些重大的成就或一系列重大成就才符合資格，以及一堆雖然酷但稱不上成功的成果。
（我認為這在合成生命的情況下比 AGI 更成立。對於 AGI，我們基本上是指「控制光錐」。對於合成生命，我們可以指各種事情，例如「完全由合成元素製成（相對於僅將合成 DNA 插入活細胞）」或「不使用任何正常蛋白質」或「不使用 DNA」等。這遠非一個完美的類比。）
存在違反直覺的進展曲線。
有些事情聽起來像是巨大的進展，或者已經完成了一大半，但它們並不一定意味著你接近了某個後期的里程碑。
有「作弊」的方法。
目前還不清楚如何指出具體的「阻礙」，但肯定存在阻礙，你可以看得出來，因為我們現在並沒有到處使用在合成外星細菌中製造的藥物，也沒有因為 AGI 而死掉。
人們可以輕易想像在這種情境下熟悉的「移動球門」遊戲。 例如：
它讓人感覺到為什麼基準測試（benchmarks）難以解釋 / 不一定能說明太多問題。
例如，你可以想像有人創造了一種脂質：
它讓人感覺到為什麼「慘痛教訓」並不能說明太多。 當然， (PACE) 非常酷，並且至少在某些情況下優於人類設計者——但這並不真正關係到你是否可以直接將 PACE 對準「製造合成生命」。你仍然感到困惑，只是在更高層次上困惑。
這件事何時會發生確實非常不明朗。 也許明年有人會宣布一些看起來像真正合成生命的東西，但也許不會；或者可能需要 20 年、50 年或更長時間。
有很多方法可以在各種基準測試和子任務上取得實質性的、清晰的、增量的進展。
能力特徵很奇怪。