Hacker News
This project systematically extracts and analyzes 2,218 testable AI claims made by skeptic Gary Marcus between 2022 and 2026, revealing that while his technical critiques are highly accurate, his market bubble predictions remain largely unproven.
AI 生成摘要
本計畫系統性地提取並分析了 AI 懷疑論者 Gary Marcus 在 2022 年至 2026 年間提出的 2,218 項可驗證主張，結果顯示雖然他在技術缺陷方面的批評極其準確，但關於市場泡沫的預測在很大程度上尚未得到證實。
這份由 David Goldblatt 建立的開源數據集，系統性地分析了知名 AI 懷疑論者 Gary Marcus 自 2022 年以來在 Substack 上發表的 2,218 項可測試主張。該研究利用 Claude 與 ChatGPT 雙模型管線進行交叉驗證，評估這些預測與評論在 2026 年初的準確性，結果顯示 Marcus 在技術缺陷與安全性方面的判斷極其精準，但在市場泡沫與資本崩潰的預測上則顯得過於激進且尚未兌現。
Hacker News 的討論呈現出兩極化的態勢。支持者認為這份數據集平反了 Marcus 長期被視為「無理唱衰」的形象，指出他在 LLM 安全漏洞、幻覺問題及代理程式尚未成熟等技術層面的判斷幾乎全中。部分留言者認為，Marcus 的準確度隨著時間推移不減反增，即便他在市場預測上顯得誇張，但這種修辭上的誇張有其必要性，旨在喚醒大眾對類似加密貨幣泡沫的警覺。他們觀察到，許多 AI 包裝公司（Wrapper products）確實如 Marcus 所言正走向倒閉或被收購的命運，這證明了他的核心邏輯並非全然無據。
然而，反對意見則集中在研究方法論的缺陷上。最尖銳的批評在於「LLM 評分 LLM」的循環論證問題，質疑者認為使用 AI 來評判關於 AI 的主張本質上就是一種「廢料（slop）」，缺乏人類專家的實質驗證。有網友指出，Marcus 的策略是將顯而易見的技術事實與無法證偽的宏大預言掛鉤，這種做法類似於末日傳教士，只要市場還沒崩潰，他就能一直宣稱「崩潰即將到來」。此外，部分開發者對 Marcus 的負面態度感到疲勞，認為他並非在推動負責任的 AI 發展，而僅僅是為了批評而批評，忽視了深度學習在強化學習與世界模型領域仍有巨大的進步空間。
有趣的是，討論中也觸及了對「權力」的思考。有留言者認為，與其分析一個沒有實權的學者，不如將同樣的分析工具應用在五角大廈或擁有實際決策權的政客身上。同時，也有人分享了自己在開發「AI 裁判」遊戲時的挫折經驗，藉此佐證 LLM 在處理道德困境或複雜論證時，其評判標準往往如同擲骰子般隨機，這進一步挑戰了這份數據集作為「真相來源」的權威性。