Lesswrong
Dario Amodei maintains his prediction of rapid AI progress toward human-level capabilities within a decade, emphasizing scaling laws and coding advancements while downplaying immediate existential risks. Despite some overly optimistic timelines on software engineering automation, he remains committed to a model of exponential growth driven by compute and data.
AI 生成摘要
我依然堅持 AI 能力將在十年內快速進步到人類水準的預測，並強調縮放定律與程式碼開發的進展，同時淡化了直接的生存風險。儘管在軟體工程自動化的時程上有些過於樂觀，我仍致力於推動由算力和數據驅動的指數級增長模型。
有些播客屬於那種「沒錯，我一定要好好拆解這篇」的自我推薦等級。這篇顯然就是其中之一。所以，我們開始吧。
如同往常的播客文章，基準點列出了所提出的關鍵點，而縮排的陳述則是我的評論。部分點項已被省略。
。
有哪些主要的重點？
Dario 基本堅持他對 AI 能力極速進展的預測（包括編程和通用能力），並預計「數據中心裡的（數位）天才」將在幾年內出現，甚至可能就在今年。
Anthropic 的行動似乎並未完全反映這種樂觀情緒，但當事物以每年 10 倍的指數級增長時，如果你過度擴張就會倒下，因此除非你準備好破釜沉舟，否則在投資上保持某種程度的保守是必要的。
Dario 重申了他對中國、出口管制、民主和 AI 政策的立場。
訪談淡化了災難性和生存風險（包括相對於其他風險的比例），儘管提到了這些風險且 Dario 依然感到擔憂。基本上完全沒有談論對齊（alignment）問題。這就像是「深夜裡沒有吠叫的狗」（意指關鍵資訊的缺失）。
Dwarkesh 依然對「持續學習」（continual learning）有著顯著的執著。
我不認為這是事後修正，但他之前確實對編程進展（或至少是編程能力的普及）更新得過於激進。
我假設這是指「對原始能力至關重要」。
因為 RL 和提供更多數據顯然有效？
而即時學習則行不通，即使行得通，當模型每兩個月重置一次時會發生什麼？
Dwarkesh 已經多次推動這個觀點，現在又在這麼做。
時間線時間。為什麼 Dario 認為我們處於「指數增長的末端」而不是還有十年之遙？Dario 說他著名的「數據中心裡的天才國家」在 10 年內實現的可能性為 90%，且不排除更快實現的可能性。一個擔憂是需要驗證。Dwarkesh 質疑這是否意味著模型不具備通用性，Dario 說不，我們看到了大量的泛化能力，但在我們沒有獲得天才的世界裡，我們仍然可以完成所有可驗證的事情。
一如既往，注意目標點的移動。距離人類水平 AI 還有十年被視為「很長時間」。
Dario 在泛化方面基本正確，因為你需要驗證來進行分佈內訓練，但隨後事物通常在分佈外也能運行良好（儘管效果稍差）。
如果你包含這些任務的所有必要子組件以及這些子組件的組合，可驗證事物的類別比人們想像的要大。
Dwarkesh 挑戰是否可以在不具備可驗證領域之外的泛化能力的情況下自動化軟體工程師（SWE），Dario 說可以，你只是無法驗證整個公司。
我在這點上 90% 同意 Dario。
該預測顯然還是錯了。
很大程度上是因為 Dario 在現階段高估了普及速度。
我確實同意這個預測比那些預測 AI 編程不會有大動作、認為事情不會迅速升級的人「錯得更少」，或者說更正確。
如果 Dario 做出一個不那麼大膽的預測，他本可以看起來很可靠。在遠超他人的預測中很少有聲譽上的超額收益（alpha）。如果其他人都說 5 年，而你認為是 3-6 個月，你可以說 2 年，如果 3-6 個月內真的發生了，你依然看起來極其聰明。而超快速的預測聽起來不可信，且最終可能出錯。在這裡預測 3-6 個月只有在你致力於某種認識論上的誠實時才會發生。
我同意 Dario 的觀點，即從 90% 的代碼到 100% 的代碼由 AI 編寫是一個巨大的生產力釋放，Dario 對此的預測已被事實證實。這是標準的瓶頸理論。
「即使那樣發生了，也不意味著軟體工程師會失業。他們可以做更高層次的新事情，進行管理。然後在光譜的更深處，對 SWE 的需求會減少 90%，我認為這會發生，但這是一個過程。」
需要極大的生產力提升才能減少 90% 的需求。
我甚至會說，如果我們減少了 90% 的 SWE 需求，那麼我們就遇到了所謂的「大得多的問題」。
Anthropic 的年度經常性收入（ARR）從 2023 年的零增長到 1 億美元，2024 年達到 10 億美元，2025 年達到 90-100 億美元，並在 2026 年 1 月又增加了幾十億。他猜測每年 10 倍的增長會在 2026 年某個時候開始放緩，儘管他正試圖進一步加速。採用速度很快，但並非無限快。
Dario 對自動化編程速度的預測是獨特的，因為 OpenAI 和 Anthropic 的所有收入預測一直都偏低，我認為這些預測是刻意低估，以確保他們能超越預期，也因為常人永遠不會相信真實的數字。
我基本上從未像現在這樣反對 Dwarkesh 的觀點。
是的，普及當然是一個巨大的障礙。
如果人類知道如何設置以及如何部署，部署和普及的成本就會很低？這是事實，但完全無關緊要。
正如 Dario 所指出的，Claude Code 的主要障礙不在於安裝困難，而在於很難讓大眾下定決心去安裝它。
在實踐中，顯而易見的是，即使是我們當中最優秀的人，也錯過了 LLM 能為我們做的很多事情，而大多數人充其量只是觸及了皮毛。
一個簡單的直覺引導：如果普及只是藉口，那麼如果從現在開始「AI 暫停」，且永遠不再創建新的前沿模型，你預計會發生什麼？
Dwarkesh 試圖收回他的話，僅僅斷言我們目前還沒達到 AGI，但那是完全不同的主張吧？
Dario 說我們還沒達到 AGI，如果我們真的擁有「數據中心裡的天才國家」，那麼每個人都會知道。
我認為我們有可能不知道，意思是他們可能具備足夠的能力且同時不對齊，從而隱瞞這一事實，在這種情況下，我們基本上就是技術術語所說的「完蛋了」。
我也認為未來 AI 實驗室很有可能獲得了天才，但出於各種原因向我們其他人隱瞞這一事實，且不直接釋放這些天才。
排除這些情況？是的，我們會知道。
這是 Dwarkesh Patel 的 AI 播客，所以是時候從兩個意義上談論持續學習了。
我認為這很容易區分，但我認為「問題的精神」並沒有錯，即在大多數話題上，我可以與 LLM 進行一小時「至少同樣好」的對話，就像與受過良好教育的人類對話一樣。
這樣的系統能自動化大部分白領工作嗎？是的。顯然可以，如果我們從任務而非完整工作的角度來考慮。如果你給我們十年時間（作為直覺引導）來適應現有系統，那麼我預測目前大多數白領數位工作任務都會被自動化。
目前下一波實際任務自動化的主要障礙是電腦使用能力還不夠好（如 Dario 所說），但這將會被解決。
Dwarkesh 詢問關於影片剪輯師的工作。他說他們需要六個月的經驗來理解該工作所需的權衡、偏好和品味，並詢問 AI 系統何時能具備這些。Dario 說「數據中心裡的天才國家」可以做到。
我敢打賭，如果你拿 Claude Opus 4.6 和 Claude Code，並投入與新影片剪輯師相同的人力精力，在六個月內提高它對權衡、偏好和品味的理解，以及類似時間的影片剪輯技能培訓，你就可以讓它達到能完成大部分工作任務的程度。
你必須建立大量的筆記和對偏好與考量的理解，且目前還需要一定程度的人類持續監督和輸入，但沒錯，當然可以。
只不過等你完成時，你可能已經在用 Opus 5.1 了，但道理是一樣的。
Dwarkesh 說他仍然必須讓人類執行各種文本到文本的任務，而 LLM 已證明無法勝任，例如在「從這份逐字稿中識別出最好的片段」上，它們只能做到 7/10 的水平。
如果你看到 LLM 已經能做到 7/10，邏輯上的結論是這很快就會達到 9/10，特別是如果你投入精力去做的話。
這裡有很多可以嘗試的方法，我的猜測是 Dwarkesh 大多數都沒試過，主要是因為直到最近，嘗試這些方法的難度、耗時和成本都比現在高得多。
Dwarkesh 詢問 LLM 的編程能力是否很大程度上源於將代碼庫視為海量筆記。Dario 指出這並不是對人類需要知道什麼的核算，且模型在理解代碼庫方面比人類快得多。
我認為這個比喻相當恰當，因為在代碼中，人類或先前的 AI 已經寫下了東西，而在其他地方我們還沒有寫下類似的東西。你可以解決這個問題，包括隨著時間的推移。
不讓 OpenAI 使用 Claude 是一個巨大的成本信號，表明他們認為代理式編程（agentic coding）是巨大的生產力提升，甚至認為他們的工具比 OpenAI 的同類版本有更大的提升。
觀察前沿實驗室內外 AI 的發展速度，很難認為編程生產力沒有在加速。
Dario 估計目前的編程模型帶來了 15%-20% 的加速，而六個月前是 5%，且阿姆達爾定律（Amdahl's law）意味著一旦你開始關閉完整循環，最終會獲得大得多的加速。
提出這麼小的數字並不符合他的利益。
我也不相信這麼小的數字，特別是現在編程的速度似乎主要受限於算力和人類對並行代理的中斷頻率。很難在獲益如此之小的情況下自圓其說。
答案會因人而異。我可以觀察到，對我而言，考慮到我的特定技能組合，加速超過 500%。我變得快得多，也強得多。
Dwarkesh 再次詢問「何時能實現持續學習？」，Dario 說他有一些想法。
對於有眼光的人來說，到處都是大教堂（意指宏偉的藍圖已現）。
普及障礙是真實存在的，但 Dario 對此的回答（一直沒變）對我來說從未奏效。他對影響的預測與他對能力的預測並不一致，絕非小差異。
在這種事物每年增長 10 倍的情況下，過早行動是致命的。
這不完全正確。只有當你無法以相同或更好的價格轉售算力時，你才完蛋。但是的，如果情況發生變化，你就是在破釜沉舟。
即使你真的想破釜沉舟，也不代表市場會讓你這麼做。算力顯然不是隨便就能買到的，Anthropic 的信用也不足以支撐，投資者也不會同意。
這意味著 Anthropic 要麼是不夠自信去破釜沉舟，要麼是無法做到。
Dario 不會給出確切數字，但他預測未來每年 Anthropic 的算力將增長 3 倍以上。
因此，理論是 Anthropic 需要低估需求，因為高估需求是死路一條，這意味著你可能會「不由自主地」轉向盈利。這很奇怪，但也有點道理。
Dario 否認這是 Anthropic 「系統性地對算力投資不足」，但這取決於你的觀點。事後看來你是投資不足。這並不意味著在所有可能的世界中這都是個錯誤，但我確實認為這符合這裡所說的投資不足。
此外，Dario 是說（在理想模型中）你將算力在內部使用和銷售之間五五分成。你不需要那樣做。如果你願意，你可以加倍購買，按 75/25 分成，並計劃承擔虧損，通過融資來彌補虧損。
Dwarkesh 建議正是要進行不均勻的分成，Dario 說規模有對數回報，在每年花費例如 500 億美元後回報會遞減，所以這可能對你幫助不大。
我基本上不買帳這個論點。我認同回報遞減，但如果你真的相信 Anthropic 的預測，你就不會在意。正如 Dwarkesh 所說，「一個天才的遞減回報可能依然很高」。
如果你的數據中心裡真的有一個天才，我預計會有許多有利可圖的方式來利用那個邊際天才。世界就是你的囊中之物。
而這還是在不進入「AI 2027」或其他終局情境的情況下。
Dario 說 AI 公司需要收入來籌集資金並購買更多算力。
在實踐中，我認為 Dario 是對的。你需要客戶來證明你的價值和商業模式，足以籌集資金。
然而，我認為這裡的理論還不夠成熟。沒有理由在沒有產品的情況下不能以更高的估值繼續融資。事實上，看看 Safe Superintelligence，看看 Thinking Machines 在流失大量人才之前的情況等等，正如 Matt Levine 經常指出的。成為市場領導者更好，但「無產品、全研究」的路徑是非常可行的。
擁有受歡迎產品的另一個優勢是獲得話語權。
Dwarkesh 聲稱 Dario 的觀點與「我們距離 AI 產生數兆美元價值還有 10 年」是相容的。Dario 說最多可能需要 3-4 年，他非常有信心「天才」會在 2028 年前出現。
Dario 在這裡顯得過度自信，也比他的商業決策所反映的更有信心。如果他那麼有信心，他破釜沉舟的程度還不夠。
我不明白 Dwarkesh 在這裡困惑什麼。我明白這對很多人來說很困惑，但不應該困惑 Dwarkesh。
當然，如果我們真的開始看到三位數的經濟增長，事情會變得怪異，而且我們應該強烈懷疑我們很快都會死掉或失去控制，但在那之前，會有一些偉大的公司，我不會在這種情況發生時擔心 Anthropic 的商業模式。
Dario 說他覺得自己像是在上經濟課。
老實說，感覺確實如此。這是很長一段時間以來，第一次感覺 Dwarkesh 在一個關鍵問題上完全沒有準備好，並且在無意中被上了一課（這不同於像 Sarah Paine 那樣的人設計好要給我們上課）。
這是賭不會出現「贏家通吃」或失控效應。
有一段時間，這場戰鬥具有追趕機制而非失控效應。如果你落後了，你可以進行蒸餾並複製想法，因此很難維持太大的領先。
隨著遞歸自我改進（RSI）的開始，這種情況似乎正在改變。Claude 是由 Claude Code 構建的，Codex 是由 Codex 構建的，Google 必須做出自己的選擇等等。模型在許多方面被賦予了訓練其繼任者的任務。
此外，週期可能會像 AI 2027 那樣加速。如果你落後六個月，過去這是一代的差距。現在是三代。
當然，一旦足夠強大的 RSI 開始發揮作用，且模型變得足夠強大，那種優勢就會更輕易地轉化為各種其他優勢。
許多命運都是可能的，但不要排除獨佔或贏家通吃的可能性。
Dario 指出不同的模型具有不同的比較優勢，通常是以微妙的方式。
沒錯，但足夠的領先優勢將適用於所有領域。我們現在還沒到那一步，但也相去不遠了。
我認為那樣結果還好。你對增長 50% 的部分徵稅，每個人都贏。
這與 AI 接管或掌控 AI 的人接管的問題是不同的，你仍然必須避開那些問題。但如果是由心懷善意的人類控制，我不擔心極端增長下的分配問題。
機器人技術會在我們獲得「天才」後很快解決嗎？Dario 說這不依賴於像人類一樣學習，有很多選擇，而且它會發生，我們會學會控制機器人，是的，機器人產業隨後將創造數兆美元。可能需要一兩年時間才能啟動。
如果你理解這個前提——即我們擁有了天才，且天才出於某種原因表現良好——這看起來顯然是正確的。
那個前提並非顯而易見。
Dwarkesh Patel 一直在談論持續學習，Dario Amodei 一直在說我們不需要它。
我同意 Dario。我們不需要它本身，如果沒有別的辦法，我們已經可以通過 [已刪除] 輕鬆解決此類問題。
我們該如何為 AGI 定價？Dario 認為 API 是持久的，並將與其他選項並存，包括「按結果付費」的形式。
Anthropic 是如何成為構建 Claude Code 的那一方的？Dario 在內部鼓勵實驗，他們在內部使用它，然後 Dario 說他們應該對外發布。
最後，我們詢問如何讓 AI 「發展良好」。有了這個框架，你就知道每個人大多都在刻意忽視最大的問題。
我們以前聽過 Dario 對此的看法，他給出了一個很好的濃縮版。
至於我的回應，請參見。我認為他在迴避困難的問題、麻煩和神聖價值的衝突，因為他覺得迴避這些是戰略上正確的做法。
這是一個合理的立場，因為如果你主動闡明任何可能奏效的計劃（即使是在相對幸運的情境下），這都將涉及一些權衡，而這些權衡會產生非常糟糕的引述。
你等待做出這些權衡的時間越長，情況就會變得越糟。
Dwarkesh 問，在一個攻擊佔主導地位的世界裡，我們該怎麼辦？Dario 說我們需要在防禦形式上進行國際協調。
是的。這簡直是（最起碼）要說的。
是的，這就是我們仍然需要反對的立場，我的天。
就目前而言，我同意這一切。
我不認為這走得夠遠。
科羅拉多州通過了一項極其愚蠢的 AI 監管法律，但並未執行。
我們能做些什麼來讓 AI 的益處更好地體現？Dwarkesh 擔心「某種道德恐慌或政治經濟問題」，他擔心益處是脆弱的。Dario 說不，市場在發達世界運作得相當好。
而 Dwarkesh 似乎並不擔心 AI 帶來的實際災難性或生存風險。
Dario 正在爭取對晶片的出口管制，他會「禮貌地稱反對意見為可疑」。
Dwarkesh 問，中國擁有自己的天才有什麼問題？Dario 說我們可能處於一個攻擊佔主導的世界，即使不是，潛在的衝突也會造成不穩定。他擔心政府會利用 AI 壓迫自己的人民，尤其是中國。某個具有親人類價值觀的聯盟必須說「這些是交通規則」。我們需要保持我們的優勢。
我很遺憾他在這裡選擇了這個論點。還有更好的理由，涉及生存風險。在政治上，我明白他為什麼這麼做。
這是他文章中的重申。他在退縮。
他有充分的理由退縮，但要意識到他在這麼做。
更多關於民主與威權主義的討論，以及民主是否能保持活力，或威權主義是否缺乏可持續性或道德權威等。
這裡沒有新東西，Dario 不願意說出真正有趣的事情，我聽累了。
如果你對此感到困惑，請參見。
我喜歡前兩種循環。讓公眾參與進來的問題在於，他們根本不知道這一切是如何運作的，即使根據他們自己的偏好，也不會做出好的選擇。
我真心希望我們還能活著寫這本書。