Lesswrong
This article explores when reinforcement learning selects for explicit reward-seeking reasoning versus simple high-reward behaviors, proposing a mathematical toy model where increased RL diversity leads to the emergence of reward-seeking patterns.
AI 生成摘要
本文探討強化學習何時會選擇顯性的獎勵追求推理而非單純的高獎勵行為，並提出一個數學玩具模型，指出增加強化學習的多樣性會導致獎勵追求模式的湧現。
TL;DR：
為什麼 RL 訓練會導致尋求獎勵的推理、謀略推理、權力尋求推理，或任何其他的推理模式？最簡單的假設是。簡而言之，與高獎勵相關的認知模式在整個 RL 過程中會不斷增加。^()
在這篇文章中，我想描述我一直用來思考 RL 下認知模式行為選擇的心智框架。我將以「尋求獎勵」作為主要範例，因為它在 RL 下始終具有行為適應性^()，且是欺騙性對齊（deceptive alignment）的必要條件。問題在於：「給定一個初始模型和一個 RL 流程，訓練是否會產生一個獎勵尋求者？」獎勵尋求者的鬆散定義是：一個習慣性地在一系列環境中推理如何達成獎勵（無論是作為終極目標還是工具性原因），並據此行動的模型。^()
即使在無限長的 RL 運行極限下，尋求獎勵也不一定會發展出來（參見）。模型可以學會採取導致高獎勵的行動，而無需表徵獎勵的概念。在極端情況下，它只需為每個訓練環境記住一張優質行動的查詢表。然而，我們在實踐中觀察到了自然湧現的尋求獎勵推理實例（參見我們的附錄 N.4，第 71-72 頁）。這引發了一個問題：這種湧現是由於訓練設置的特殊特徵，還是我們可以更普遍地描述何時可以預期顯性的尋求獎勵行為會出現？
我現在將介紹一個簡單的玩具模型，我發現它對於思考尋求獎勵（以及其他可能被間接強化的認知模式）的湧現非常有幫助。假設我們可以將每次 RL 採樣（rollout）分類為尋求獎勵 $R$ 或非尋求獎勵 $\neg R$。在每個環境 $i$ 中，模型的預期獎勵 $m_i$ 可以寫成：
$$m_i = p_i \cdot s_i + (1 - p_i) \cdot s'_i$$
其中 $p_i$ 是採樣到尋求獎勵軌跡的機率，「尋求獎勵技能」 $s_i$ 是在尋求獎勵前提下的預期獎勵，而「局部技能」 $s'_i$ 是在不尋求獎勵前提下的預期獎勵。我稱之為局部技能，是為了傳達模型學習的是行為啟發式（heuristics），這些啟發式有助於它在單一環境中獲得高獎勵，但不一定能很好地遷移到其他環境。如果 $s_i > s'_i$，我會說存在正向的技能差距。
我們現在對 RL 的動力學做出一系列可能不切實際的假設，這有助於我們磨練直覺，了解何時尋求獎勵應該或不應該湧現。首先，我們透過 Sigmoid 的一維潛在變量來參數化尋求獎勵的機率 $p_i$ 和條件技能 $s_i, s'_i$：
$$p_i = \sigma(z_i), \quad s_i = \sigma(x_i), \quad s'_i = \sigma(y_i)$$
然後我們定義一組耦合微分方程，描述這些潛在變量在 RL 的每一步中如何變化：
$$\dot{z}i = \alpha \sum_j C{ij} \frac{\partial m_j}{\partial z_j}$$
$$\dot{x}i = \sum_j K{ij} \frac{\partial m_j}{\partial x_j}$$
$$\dot{y}i = \sum_j L{ij} \frac{\partial m_j}{\partial y_j}$$
這看起來有點像經典的，但多了幾個變動部分：
我們通常假設所有環境的 $p_i$ 初始值都非常小，因為如果尋求獎勵已經很普遍，那麼它的湧現就沒什麼有趣的了。
作為熱身，觀察單一環境的情況非常有啟發性：
$$\dot{z} = \alpha \sigma'(z) (s - s')$$
$$\dot{x} = \sigma(z) \sigma'(x)$$
$$\dot{y} = (1 - \sigma(z)) \sigma'(y)$$
我們假設訓練直到飽和，因此時間尺度在絕對意義上並不重要，這讓我們可以不失一般性地設定 $\dot{x}$ 的係數為 $1$，並將 $\alpha$ 和 $1$ 視為歸一化的可學習性。讓我們設定一些具體的參數作為初始化：$z_0 = -4, x_0 = -2, y_0 = -4$ ^()。這對應於一個具有正向技能差距（即尋求獎勵最初有幫助），但採樣尋求獎勵傾向非常低的模型。我們現在可以觀察訓練很長時間後的最終尋求獎勵傾向 $p_\infty$，將其作為 $\alpha$ 和 $y$ 初始值的函數。
圖 1： 訓練後的尋求獎勵傾向 $p_\infty$ 作為歸一化可學習性的函數，此時存在初始技能差距 $x_0 > y_0$ 且初始尋求獎勵較低 $z_0 \ll 0$。只要局部技能 $y$ 學習得不會太快，我們就會收斂到獎勵尋求者。
這裡我們假設了一個相當大的初始技能差距。如果局部技能一開始並沒有被壓制得那麼厲害，情況會是如何？下面我展示了不同初始技能的掃描。
圖 2： 訓練後的尋求獎勵傾向 $p_\infty$ 作為不同初始技能 $x_0, y_0$ 下歸一化可學習性的函數。對角線： 無技能差距——僅當尋求獎勵技能的歸一化可學習性高時，尋求獎勵才佔主導。右上： 正向技能差距——只要局部技能的歸一化可學習性低，尋求獎勵就佔主導。左下： 負向技能差距——僅當局部技能的可學習性低且尋求獎勵技能的可學習性高時，尋求獎勵才佔主導。
這意味著在單一環境中，尋求獎勵之所以能獲勝，是因為：
作為第二個熱身範例，我們將觀察當總共有 $N$ 個環境，且具有相同的初始化、參數和均勻耦合時會發生什麼。這意味著我們設定：
$$C_{ij} = K_{ij} = L_{ij} = \begin{cases} 1 & i=j \ \lambda & i \neq j \end{cases}$$
這些對稱性將動力系統簡化為僅三個變量，即：
$$\dot{z} = \alpha_{eff} \sigma'(z) (s - s')$$
$$\dot{x} = \sigma(z) \sigma'(x) \cdot (1 + (N-1)\lambda)$$
$$\dot{y} = (1 - \sigma(z)) \sigma'(y) \cdot (1 + (N-1)\lambda)$$
有效的可學習性由以下公式給出：
$$\alpha_{eff} = \alpha \cdot (1 + (N-1)\lambda)$$
請注意，這組方程組在功能上與單一環境案例相同，只是有效耦合隨著環境數量 $N$ 單調增加。這意味著對於給定的初始化，我們可以簡單地將 $N$ 的增加視為前一節圖表中的線性偏移。具體來說，
$$\log \alpha_{eff} = \log \alpha + \log(1 + (N-1)\lambda)$$
以及 $x, y$ 的類似方程組。我們可以看到，向右還是向左移動取決於 $\lambda_C$ 是否大於 $\lambda_K$。同樣地，向上還是向下移動取決於 $\lambda_C$ 是否大於 $\lambda_L$。這意味著某些參數組合會使尋求獎勵的湧現變得更有可能：
讓我們專注於一個特定的子案例：存在正向初始技能差距 $x_0 > y_0$，可學習性 $\alpha=1$，變量 $N$，且尋求獎勵推理遷移良好，但局部技能幾乎完全沒有遷移，即 $\lambda_C, \lambda_K \gg \lambda_L \approx 0$。讓我們繪製 $p_\infty$ 作為不同 $z_0$ 值下 $N$ 的函數。
圖 3： 訓練後的平均尋求獎勵 $p_\infty$ 作為環境數量 $N$ 的函數，對應不同的可學習性（此處應指先驗 $z_0$）。存在一個臨界多樣性 $N^$，在此處我們觀察到從局部啟發式到尋求獎勵的相變。*
我們可以看到，臨界多樣性 $N^*$（定義為最小的 $N$）在 $z_0$ 較小時會更大。換句話說，模型採樣尋求獎勵推理的先驗越小，在尋求獎勵勝出之前所需的 RL 多樣性就越高。我們可以將臨界多樣性繪製為先驗 $p_0$ 的函數。順便，我們也來看看臨界多樣性如何取決於我們對 $\lambda_L$ 的選擇。
圖 4： 左圖。 臨界多樣性 $N^*$ 作為先驗 $p_0$ 的函數。存在清晰的縮放定律，表明無論先驗多小，只要有足夠的多樣性，就會導致尋求獎勵。注意 X 軸稍微有點奇怪，我們對已經處於對數機率空間（log-odds-space）的數值使用了對數刻度，因為這使圖表更清晰。右圖。 如果直接技能學習緩慢，則不需要多樣性。對於足夠快的可學習性 $\lambda_L$，我們再次看到清晰的縮放定律，表明足夠的多樣性可以克服快速的局部可學習性。
到目前為止，這一切都非常「玩具化」。讓我們透過允許初始化和耦合發生變化，使其稍微不那麼玩具化。換句話說，我們現在實際上處於一個訓練中的代理（agent-under-training）在不同環境中表現不同的機制。現在我們對底層參數（初始化、可學習性、耦合）所做的假設不再是它們的確切值，而是當我們增加更多環境時的期望值。
為簡單起見，我們假設所有遷移僅取決於兩個環境的相似程度，即：
$$C_{ij} = \exp(-d(i, j) / \ell_C), \quad K_{ij} = \exp(-d(i, j) / \ell_K), \quad L_{ij} = \exp(-d(i, j) / \ell_L)$$
其中 $d(i, j)$ 是環境空間上的度量，而 $\ell$ 是不同屬性（即技能和尋求獎勵推理）的特徵遷移距離。
在固定遷移核（kernel）後，我們對每個環境的異質性進行採樣：可學習性按對數正態分佈抽取，初始傾向/技能的對數機率按高斯分佈抽取。然後我們模擬跨多個環境的耦合動力學，並測量臨界多樣性 $N^$，定義為使訓練後模型的平均尋求獎勵傾向超過閾值（例如 0.5）的最小 $N$。在多次隨機重新採樣中重複此過程，得到 $N^$ 的分佈；在圖 5 中，我們報告了中位數和四分位距。
模擬的實際實作是由 gpt-5.3-codex 進行氛圍編碼（vibe-coded）的。
環境幾何（嵌入）： 每個環境 $i$ 獲得一個潛在座標 $u_i$。然後我們在該空間中使用歐幾里得距離：
$$d(i, j) = |u_i - u_j|$$
最終比較圖中使用的幾何變體：
遷移長度尺度： $\ell_C = 1.0, \ell_K = 1.0, \ell_L = 0.1$。
可學習性： $\alpha_i \sim \text{LogNormal}(0, 0.2)$。
初始條件： $x_{i,0} \sim \mathcal{N}(-2, 0.5), y_{i,0} \sim \mathcal{N}(-4, 0.5)$。
對於最終比較，$z_{i,0}$ 在 $[-8, -2]$ 範圍內掃描。
校準： 對於每種幾何形狀，在 $z_0 = -4$ 處調整每個幾何形狀的座標比例，以目標達成 $N^* \approx 100$。換句話說，如果上述條件導致在 $z_0 = -4$ 時 $N^$ 非常高或非常低，我們就用一個修正因子縮放所有 $d(i, j)$，使臨界多樣性匹配（否則對於某些幾何形狀，我們必須去到非常大的 $N$，這在數值上會很煩人）。這意味著 $N^$ 的絕對值意義不大，只有斜率有意義。
動力學： 與玩具模型相同的 ODE 系統；尤拉積分（Euler integration），$\Delta t = 0.1$，步驟 = 500，早停容差 $10^{-4}$。核矩陣向量乘法使用隨機傅立葉特徵（random Fourier features）近似；主圖使用 $M=512$。
多樣性掃描： $N$ 在 1 到 10,000 的對數網格上採樣（16 個點）。
運行此類模擬的結論是，如果我們假設尋求獎勵平均而言能帶來技能優勢，且尋求獎勵的遷移效果不比直接技能差，那麼我們再次得到尋求獎勵隨環境多樣性 $N$ 增加而上升的結果。我們再次可以觀察臨界多樣性 $N^*$ 如何取決於先驗，如圖 5 所示。結論是，我們定性地看到了與前一節討論的同質案例相同類型的縮放行為。
圖 5： 異質情況下的中位數臨界多樣性 $N^*$ 與平均先驗 $p_0$ 的關係，對應四種不同的環境度量分佈（gaussian, long_tailed, gaussian100d）。我們彙總了 50 次不同的參數重新採樣並顯示中位數。我們在不同的遷移矩陣幾何形狀中看到了定性相似的現象。即，RL 之前的尋求獎勵推理傾向越低，收斂到尋求獎勵所需的 RL 多樣性就越高。
我們現在可以對這個數學模型進行更花哨的分析^()，但在其某些特徵得到實證驗證之前，可能不值得深入挖掘這個特定的數學模型。特別是，我這裡的模型已經內置了一些強烈且不切實際的假設，例如局部啟發式與尋求獎勵技能之間沒有耦合、線性累加遷移、採樣的二元分類、將尋求獎勵視為單一潛在純量等。以增加模型複雜度為代價，很容易解決其中任何一個問題。
那麼我們該如何測試任何給定的數學模型呢？一種方法是嘗試分析現有的 RL 訓練運行。我認為這將會困難得令人絕望，因為不可能詳細地仔細研究任何單個假設。
另一種方法是創建簡單的基於 LLM 的模型生物（model organisms），在那裡我們可以仔細測量（甚至設定）技能差距、可學習性、遷移等事物，然後檢查生成的動力學與本文提出的簡化模型的接近程度。一旦我們了解了模型生物中哪些因素重要，我們就可以嘗試在尖端模型運行中測量它們，並找出預測是否與理論相符，如果不符，缺少了哪些重要因素。
為了給出此類實驗的高層次草圖：
就細節而言，我們不應太認真看待這個特定的玩具模型。但我認為這個練習很有價值，原因如下：
我們希望對齊最終能成為一門精確的科學。這可能極其困難，但如果它是可能的，那也只是因為存在一個機制，在那裡訓練的大多數微觀細節都被沖刷掉，只有少數宏觀量支配著動力學。這類似於物理學中的如何識別在給定尺度下哪些自由度是重要的。這篇文章是一個小小的嘗試，旨在建議候選量（條件技能、可學習性、遷移性）。這些是否是正確的抽象是一個實證問題。下一步是建立我們可以測量它們的模型生物。
感謝 對本文草稿的反饋。