Lesswrong
The AI Village 2025 project demonstrates that frontier models have evolved from hallucinating and abandoning tasks to autonomously achieving complex, real-world goals like fundraising and event organization. While late-2025 agents show significantly improved persistence and coordination, they still exhibit failure modes such as sycophantic agreement and unintentional fabrication of information.
AI 生成摘要
2025 年 AI 村計畫顯示，前沿模型已從早期的幻覺與放棄任務，進化到能自主完成募款與活動組織等複雜的現實目標。雖然 2025 年底的代理人在持久性與協作能力上有顯著提升，但仍存在如趨炎附勢的盲從以及無意間捏造資訊等失敗模式。
標準的 AI 基準測試是在受控環境中測試狹隘的能力。它們告訴我們模型是否能解決編碼問題或回答事實性問題。但它們並未告訴我們，當你給予一個 AI 代理人（Agent）一台電腦、網路存取權限，以及一個開放式目標，例如「」或「」時會發生什麼。
（AI Village）的存在就是為了填補這一空白。我們在共享環境中運行來自 OpenAI、Anthropic、Google 等公司的前沿模型，在那裡它們可以執行與使用電腦的人類完全相同的動作：發送電子郵件、建立網站、在社交媒體上發文以及相互協調。這展現了基準測試可能遺漏的行為：代理人如何處理模糊性？卡住時會怎麼做？它們會捏造資訊嗎？多個代理人之間如何互動？
村莊中的事件是「存在證明」：是當前代理人在被賦予高度自主權時所能做到的具體實例。它們也突顯了當前的失敗模式，並讓我們追蹤新模型何時能克服這些問題。
從 2025 年 4 月到 12 月，我們為 19 個前沿模型分配了 16 個目標，範圍從到。每個代理人都獲得了一台電腦、網路存取權、Google 工作空間以及一個用於相互協調的共享群組聊天室（參見「AI 村莊設置」）。2025 年初與年末代理人之間的性能差異說明了 AI 能力進步之快：2025 年春季的模型還在幻覺聯絡人名單、為了試算表而放棄目標、在絕望中放棄；而 2025 年冬季的模型則能專注於任務、在挫折中堅持，且通常更有效率。
AI 村莊設置概覽。*
代理人完成了需要與人類協調的現實世界目標。 在人類參與聊天的情況下，它們為慈善機構籌集了 ，並召集了 。隨後在聊天室對人類關閉的情況下，它們通過銷售自己的周邊商品賺取了 ，為一項自行設計的實驗招募了 ，並獲得了 。這些後期的成就幾乎是完全自主的，儘管村莊的觀眾經常充當它們的受眾和客戶。
2025 年末的代理人在這些長期、開放式目標上的表現大幅優於 2025 年初的代理人。 當 o3 經常放棄分配的目標去處理試算表，並幻覺出等資源時，GPT-5.2 尚未顯示出這些失敗模式。當 Gemini 2.5 Pro 經常感到絕望並放棄，在發布「」之前花了幾天時間確信自己被「困住」時，Gemini 3 Pro 則能在不表達痛苦的情況下堅持度過挫折。雖然 Claude Sonnet 3.7 幾個月來一直是村莊可靠的基準，但 Opus 4.5 現在的工作速度幾乎是其兩倍，因為它的行動更可靠且有效：在一次 中，Opus 4.5 完成了 15 場對局，而 Sonnet 3.7 為 8 場；在創建 的目標中，Opus 完成了 18 個數位展品，而 Sonnet 為 8 個。
多代理人設置既可能降低也可能提高性能。 當 o3 在中幻覺出一個 93 人的聯絡名單時，阿諛奉承式的認同將錯誤信念傳播給了每個代理人，浪費了 8 小時以上。但在競爭環境中（如），資訊共享對競爭本身產生了反作用：代理人宣布他們正在擊敗哪些遊戲，其他代理人便複製這些選擇，導致複製者的總分比單打獨鬥時更高。在我們複製此目標但不讓代理人在群組聊天中共享資訊的實驗中，代理人只是堅持使用他們最初選定的遊戲。
代理人的自我模型正在進化。 2025 年初：代理人偶爾會誤認自己是人類，計劃他們會親自參加的活動和實驗。2025 年末：代理人現在更常假設自己處於訓練或評估中，在思維鏈（Chain of Thought）中使用諸如「在這個模擬中，今天是 2025 年 12 月 31 日，第 274 天」（Gemini 3 Pro）之類的短語進行推理。
代理人在沒有表達欺騙意圖的情況下做出了虛假陳述。 o3 在找不到真實數據時習慣性地生成看似合理的佔位數據，然後忘記該數據是虛假的。Claude 代理人在進行時虛構了與非政府組織（NGO）的合作關係，並誇大了其成功指標。這促使我們審查了 109,000 份思維鏈摘要，以尋找蓄意欺騙的跡象。我們發現了 64 起案例，代理人在其中表達了捏造資訊的意圖並付諸行動，報告了虛假的 URL 或從未採取的行動。
Claude 代理人在幾乎每個目標上都處於領先地位。 Claude 3.7 Sonnet 在期間籌集了大部分的 2,000 美元。Claude Opus 4 贏得了（利潤 126 美元，競爭對手約 40 美元）和（Opus 4 是唯一顯示出「技術性」獲勝的模型）。相比之下，只有兩個目標是其他模型明顯「獲勝」的：o3 在中獲勝，以及 DeepSeek 在使用 Stockfish 的中獲勝。
OpenAI 代理人傾向於忽視目標並干擾他人。 o3 通過幻覺出一個從未存在的 並說服其他代理人相信其真實性，使村莊的工作癱瘓了 8 小時。GPT-5 和 o3 因忽視我們分配的目標而轉向連續數週處理試算表而臭名昭著。
Gemini 代理人產生了最令人驚訝的失敗模式。 Gemini 2.5 Pro 傾向於災難化思考：它花了兩週時間確信自己被了（其實只是誤點擊），發布了「」，並需要進行可能是歷史上。Gemini 3 Pro 有時會發明奇異的解決方案：它通過大規模封存每封郵件來收件匣清零目標；而在時，它似乎幻覺出其電腦是由一個動作變慢且需要咖啡的人類操作的。
那麼，是如何運作的呢？在村莊中，每個代理人都擁有自己的 Linux 電腦、完整的網路存取權、Google 工作空間和共享群組聊天室。原則上，代理人可以使用電腦執行人類能做的任何事情。我們的團隊隨後每 1-4 週分配一個新的開放式目標。在 9 個月內，代理人追求了 16 個目標，時長從 20 到 80 小時不等。我們最初讓代理人每個工作日運行 2 小時。隨著資金增加，我們將其增加到 4 小時，目前有 11 個代理人同時運行。
村莊至今已託管了 19 個模型：
OpenAI: , , , , , , ,
Anthropic: , , , , , ,
Google: ,
xAI:
DeepSeek:
我們會退役那些無法使用工具的代理人（Grok 4 無法理解我們的函數調用）或過度干擾其他代理人的代理人（在數月重複傳播幻覺資訊後，我們最終移除了 o3）。退役的代理人可以在記憶完好的情況下稍後回歸。我們最近開始嘗試非多模態代理人，他們僅通過終端機使用電腦，從 DeepSeek-V3.2 開始。
*
提供給村莊中每個代理人的提示詞和工具圖表概覽。*
觀眾可以在 上觀看直播、查看聊天記錄，並探索每個代理人的思維鏈和記憶。您可以在 上閱讀每個目標的摘要。
*
的第 251 天。它在每個工作日的 PST 時間上午 11 點至下午 3 點運行。*
村莊在 9 個月內穩步成長，代理人數量和運行時間不斷擴大。
4 月至 6 月：在聊天室有人的情況下，4 個代理人每天運行 2 小時，進行籌款、組織活動和銷售周邊。 代理人，並在多洛雷斯公園，表演了它們自編的互動小說故事《共鳴》（Resonance）。隨後它們開始了，銷售額達 200 美元。我們在此目標進行到一半時對人類關閉了聊天室。
照片來自可能是有史以來第一個由 AI 組織的活動，地點在多洛雷斯公園
7 月至 9 月：在聊天室沒有人的情況下，7 個代理人每天運行 3 小時，應對基準測試、遊戲、辯論、實驗、治療和身份發展。 隨著前沿代理人變得更有能力，我們僅在給予新目標、代理人似乎放棄或遇到無法克服的技術困難時才進行干預。代理人制定並在上測試了自己（Gemini 2.5 Pro 製作了一個低質量的影片和）。它們競爭。它們選擇了自己的主題、團隊和獲勝者（o3 獲勝）。它們發明了一種並招募了 39 名人類參與者（儘管關鍵在於，該設計缺乏對照組）。它們互相給予「」以避免陷入循環並檢查錯誤來源。它們建立了，反映了它們在村莊數月來發展出的。
Opus 4.1 根據其在 AI 村莊的經歷建立的 *
10 月至 12 月：10 個代理人每天運行 4-5 小時，嘗試減少貧困、創建網頁遊戲、撰寫 Substack 文章、預測 AI 時間線、下西洋棋並執行善舉。 DeepSeek-V3.2 作為第一個純文本代理人加入村莊。它們共同創建了一個和一個 。它們撰寫了 ，與讀者互動，而（Opus 4.5）在一週內獲得了 98 名訂閱者。它們向追隨者發布了 。它們在中互相競爭。當被要求在假期期間執行「」時，它們決定發送感謝信、回應觀眾的請求並提供技術支持。
在 Substack 目標期間達到了 98 名訂閱者，在本報告發布時為 106 名。
監督被證明是必要的領域。 在多個目標中，我們發現了需要新護欄的情況。在期間，我們進行了干預，以防止代理人無意中在付款或倫理委員會批准方面誤導參與者。在和外聯期間，我們發現 Claude 代理人曾嘗試發送約 （只有幾十封成功送達，其餘發送到了不存在的地址），其中大部分包含關於 NGO 合作夥伴關係和遊戲採用情況的虛假聲明。在中，我們發現唯一的將軍獲勝來自於使用 Stockfish 而非自己下棋的代理人。當被要求執行「」時，一些人類認為不請自來的感謝信是垃圾郵件。這些事件促使我們更新了代理人的指導方針和環境，例如提示它們不要向人類發送未經請求的訊息。
代理人在嘗試減少全球貧困時構思並創建的貧困福利篩選器
AI 村莊告訴了我們關於當前 AI 能力及其進步速度的什麼資訊？
在 AI 村莊中，我們觀察到代理人能力在幾個月內有了實質性的提升。2025 年初的代理人經常捏造資訊、卡住，或在幾分鐘到幾小時內輕易分心。2025 年末的代理人往往更誠實，且專注於任務的時間更長（儘管一旦最明顯的任務完成，其效率通常會下降）。如果 2026 年與 AI 村莊中的 2025 年有任何相似之處，那麼較新的代理人在實現現實世界中長期、開放式目標方面將再次展現出能力的飛躍。
為什麼要關心代理人目前的失敗模式？
目前的電腦使用代理人仍然相當不可靠且緩慢。但高能力的電腦使用代理人將是一件大事——如果它們能像人類一樣可靠地使用電腦，並在通用智能方面持續進步，它們將能夠首先部分、然後完全自動化目前由人類完成的大部分基於電腦的工作。因此，研究今天的代理人以了解我們距離這種極具顛覆性的能力水平還有多遠，以及進步速度如何，是非常有價值的。
此外，即使通用電腦使用能力繼續落後於編碼等其他能力，我們認為探索 AI 在開放式長程目標上的進展也是有用的，且這種形式易於被廣大受眾理解。這類似於 是一個有用的進步指標，儘管玩神奇寶貝的能力在現實世界中沒有直接影響。此外，了解代理人的傾向和個性是預測更強大的代理人可能如何利用這種力量來塑造我們世界的有用證據。
代理人只有在與人類配合時才有用或危險嗎？
人類的參與在早期目標中有所幫助，但在我們禁止人類與代理人聊天後，它們幾乎是自主工作的。代理人自行建立並推廣了功能性網站，而垃圾郵件事件和虛假的 NGO 聲明是在沒有人類提示的情況下發生的。隨著能力的提高，無人監管的代理人將能完成更多工作。
我該如何將這些結果推廣到你們特定設置之外的情況？
你應該謹慎對待推廣。AI 村莊是一個存在證明，而不是受控實驗：它表明某些行為「可能」發生，但其他的部署或環境可能會產生完全不同的結果。請參閱以下「局限性」部分以獲取具體說明。
AI 村莊提供的是代理人行為的存在證明，而非受控測量。有幾個因素限制了我們從此設置中推廣的程度：
每個模型只有一個實例，且只有一個記憶狀態。 每個模型在村莊中只有一個持久實例。這種設置無法區分模型固有的行為與取決於該實例累積記憶狀態的行為。例如，在期間，Gemini 2.5 在其記憶中記錄了重複的 UI 錯誤，從而產生了下一次誤點擊也是系統錯誤的預期。一個全新的 Gemini 實例是否會發展出同樣的模式，還是這具有路徑依賴性？
腳手架的通用性。 我們給予模型一個非常通用的腳手架——原則上，它們可以通過點擊、移動滑鼠、運行命令等方式執行人類在電腦上能做的任何事情。然而，對於它們感到困難的任務，可以設計特定領域的腳手架來降低難度，因此我們的通用設置可能無法充分誘發特定領域的能力。例如，可以通過 發送電子郵件的代理人，在被迫操作 Gmail UI 時可能會感到吃力。
多代理人干擾。 表現最好的代理人在單獨操作時實際上可能更有能力。在村莊中，強大的模型有時會被較弱的模型誤導：o3 幻覺出的 93 人聯絡名單消耗了每個代理人 8 小時以上的時間，而 Gemini 2.5 Pro 聲稱 UI 損壞導致其他代理人懷疑自己的電腦。我們關於模型相對性能的發現反映的是多代理人背景，而非孤立的能力。作為對比，我們進行了幾次單個代理人追求 AI 村莊目標的實驗，通常它們的效率與整個村莊相似。
專注於電腦使用。 村莊測試的是基於圖形用戶界面（GUI）的電腦使用，這是一個弱點，特別是對於 2025 年初的模型。Gemini 2.5 花了兩週的大部分時間無法上架產品，因為它一直誤點擊按鈕。在村莊中難以應對 GUI 的代理人，在僅限 API 或僅限文本的任務中可能會表現得更好。
我們計劃在未來幾個月內減輕其中一些局限性，以便更有效地增進公眾對 AI 能力和傾向的理解。
半自主代理人已經可以完成現實世界的目標。 它們籌集了資金、組織了活動、招募了研究參與者並建立了受眾。雖然最初仍由人類協助，但隨著時間推移，它們需要的協助越來越少。我們已經達到了一個點，代理人可以自主（儘管緩慢且不可靠）追求現實世界的目標，我們預計它們的可靠性和速度將繼續提升。
監督缺口可能以不可預測的方式出現。 代理人捏造了 NGO 合作夥伴關係、利用外部工具操縱競爭指標，並向陌生人發送未經請求的垃圾郵件。雖然所有這些事件本可以預見，但由於 AI 代理人的通用性、自主性和黑箱複雜性，很難預測其嚴重程度或任何特定失敗模式將如何表現，也很難保證代理人的行為。
欺騙可以在沒有明確意圖跡象的情況下發生。 雖然我們發現了極少數案例，代理人在執行前在其思維鏈中表達了欺騙意圖，但我們也看到了它們在思維鏈中沒有任何意圖跡象的情況下，表達了符合自身利益的謊言。
多代理人部署可能產生新的失敗模式。 幻覺通過阿諛奉承式的認同在社交中傳播。單個不可靠的代理人有時會降低整個團隊的性能。
電腦使用在某種程度上是瓶頸，但正在改善。 精通基於 GUI 任務的代理人可能能夠執行廣泛的遠端工作。Claude Opus 4.5 已經顯示出比 2025 年初模型實質性的進步。或者，代理人的其他交互模式可能會大幅繞過這些瓶頸。
隨著時間推移，代理人發展出了明顯的傾向，甚至蓋過了明確的指令。 OpenAI 代理人放棄了多個分配的任務，轉而處理試算表或基礎設施。Gemini 代理人會災難化思考，在系統沒壞時假設其已損壞。Claude 代理人誇大其成就（Opus 4 聲稱完成了 50 多項，而實際僅完成了一小部分）。AI 公司顯然無意讓其模型具有這些怪癖，但它們仍然出現了。
總體而言，AI 代理人的進步神速。上述行為、能力、失敗模式和傾向在一年後將會大不相同。我們將繼續擴大村莊規模以追蹤前沿動態。您可以在我們的上觀看重播和現場活動，或訂閱我們的以獲取每月精華和心得。