Hacker News
Andrej Karpathy introduces a project where AI agents autonomously experiment with LLM training code overnight to optimize performance metrics without human intervention. By modifying code and evaluating results within a fixed time budget, the system aims to automate the process of architectural research and model improvement.
AI 生成摘要
這是一個讓 AI 代理程式在小型但真實的 LLM 訓練環境中，於夜間自動進行實驗的構想。它會修改程式碼、訓練 5 分鐘並檢查結果是否改善，透過不斷重複此過程，讓你在隔天醒來時獲得實驗記錄以及一個更好的模型。
由 Andrej Karpathy 發起的 autoresearch 專案，旨在探索 AI 研究自動化的可能性。該專案提供了一個精簡的單 GPU 訓練環境 nanochat，讓 AI 代理（Agent）在無人干預的情況下，自主修改程式碼、執行五分鐘的訓練實驗，並根據驗證指標決定是否保留更改。這項實驗預示了一個未來：研究人員不再直接編寫程式碼，而是透過編寫指導方針來引導 AI 叢集進行自主演化。
Hacker News 的討論圍繞在這種「自動化研究」的實質效益與潛在風險。部分評論者對此持保留態度，認為目前 AI 代理所做的改進大多侷限於超參數調整，例如微調學習率或批次大小，這類工作透過傳統的貝氏優化或參數掃描也能達成，且效率可能更高。他們質疑 AI 是否真的具備「創造力」來推動研究突破，還是僅僅在消耗昂貴的算力來換取微小的性能提升。此外，也有人擔心這種自動化過程會產生大量難以驗證的統計垃圾，增加人類後續審核與反駁的負擔。
針對這些質疑，Karpathy 親自參與討論並指出，AI 代理的研究方式與傳統超參數掃描有本質上的不同。AI 可以任意修改程式碼邏輯，使超參數的界線變得模糊，且 AI 具備序列推理能力，能像人類一樣進行二分搜尋或邏輯推演，而非盲目地進行平行掃描。他坦言目前的模型在面對開放式問題時顯得過於謹慎且缺乏創意，這既是模型能力的限制，也是提示工程的技術瓶頸。他分享了建立「首席科學家」角色的構想，由高階代理負責制定長期計畫與查閱文獻，再交由初級代理執行實驗，這種階層式的架構或許能突破現有的僵局。
社群中也有不少支持者認為這代表了未來生產力的轉型。有人觀察到類似的 AI 自動化競賽已經在其他領域發生，例如程式碼高爾夫比賽中已出現大量由 Claude 生成的優化方案。支持者提議，若 AI 能在固定資源內達成顯著進步，應給予更多算力獎勵以模擬人類開發的迭代過程。儘管有人批評展示圖表的座標軸設計讓進步看起來比實際更誇張，但多數人認同，只要環境具備客觀的驗證機制，任何人類活動最終都可能走向這種自動化循環。
在討論中，網友提到了一些相關的自動化實驗與競賽資源。例如 AdderBoard 是一個針對訓練最小型 Transformer 以完成加法運算的競賽，目前已有許多參賽作品完全由 AI 生成。此外，也有人提到 Modal 平台可用於自動擴展這類實驗的基礎設施，以及針對 Jupyter Notebook 環境進行類似自動優化的需求。