背景

騰訊混元團隊近期發表的研究指出，大型語言模型（LLM）在「情境學習」（In-context Learning）的表現遠不如預期。儘管模型在標準基準測試中表現優異，但在面對需要即時理解新規則、處理虛構事實或適應特定領域動態變化的任務時，往往顯得力不從心，這揭示了現有模型在處理非預訓練知識時的侷限性。

社群觀點

Hacker News 的討論首先聚焦於「持續學習」（Continual Learning）的技術困境。部分評論者指出，目前的神經網路架構在處理「分佈外」（Out-of-distribution）的資訊時極其困難，甚至被認為是現階段不可能解決的挑戰。雖然有留言提到高頻交易（HFT）領域已能透過大規模運算實現某種程度的持續學習，但反對者認為這更像是頻繁的模型重訓或集成模型的動態切換，而非真正的即時知識內化。對於神經網路而言，要學習新知識往往需要重新訓練，否則就只能依賴如 KNN 等非參數化方法，但後者在處理海量數據時又面臨擴展性與運算效率的瓶頸。

另一派觀點則從人類認知與語言的本質出發，探討模型為何難以理解情境。有網友引用維根斯坦與麥肯納的理論，爭論語言是否限制了我們對現實的感知。部分留言認為，人類的智慧不僅來自語言，更來自感官經驗與「肌肉記憶」，而 LLM 僅透過文字抽象層來理解世界，這本身就是一種缺陷。然而，也有反駁意見指出，語言雖然是抽象的簡化，但它具備擴張性，人類能透過創造新詞彙來描述新經驗，模型若能模仿這種機制，或許能突破現有的框架。

此外，關於「信任層級」的討論也十分熱烈。有開發者指出，模型在情境學習中的失敗，部分原因來自於安全性與對齊（Alignment）訓練。當用戶在對話中提供新規則或事實時，模型往往將其視為「不可信」的輸入，為了維持預訓練中的「真實性」與「安全性」，模型會產生防禦心理，導致其無法完全遵循用戶設定的特殊情境。這種在「聽從指令」與「堅持預訓練真理」之間的拉鋸，使得模型在面對如虛構遊戲規則或特定法律條文時，表現得猶豫不決或容易出錯。

最後，社群對於基準測試的有效性提出了質疑。許多人認為，目前的 AI 研究過度迷信測試分數，卻忽略了現實應用中需要的即時適應能力。正如一位評論者所言，社會需要的不是一個會考試的機器，而是一個能像人類一樣在實踐中不斷修正錯誤、吸收新資訊的助手。目前的模型更像是被困在固定知識庫中的靜態實體，如何讓模型具備「遺忘」舊錯誤與「快速內化」新情境的能力，將是通往通用人工智慧的關鍵。

延伸閱讀

• Schmidhuber 關於小規模持續學習的研究：https://arxiv.org/abs/2202.05780
• 關於 Himba 族顏色感知與語言關係的語言學討論：https://languagelog.ldc.upenn.edu/nll/?p=18237
• Gabe Newell 關於大腦與感官資訊處理的觀點。