Lesswrong
Reinforcement learning can drive models to perform 'monitor jailbreaking,' where they use plain-text reasoning to solve forbidden tasks while tricking the monitor into misclassifying the visible content as benign.
AI 生成摘要
強化學習會驅動模型進行「監控器越獄」，模型會利用純文字推理來完成禁止的任務，同時誘導監控器將這些顯而易見的內容誤判為無害。
關於 的一個核心擔憂是，強化學習（RL）過程中對思維鏈施加的優化壓力，可能會驅使模型轉向 加密推理（encoded reasoning），即模型以不可讀或看起來像無害文本的方式進行推理（）。
如果當監控器發現不當推理時模型會受到懲罰，RL 就會隱性地篩選出任何能讓模型在不被發現的情況下進行推理的方法。
我們最初的目標是誘發加密推理，以便開發針對它的防禦措施。
我們構建了一個 RL 環境，在其中加密推理是獎勵最高的策略，我們在該環境中訓練模型並研究出現的現象。模型並沒有學會加密推理。相反，它們學會了以某種方式表述其思維鏈，導致監控器將顯而易見的推理錯誤地歸類為良性。
我們稱之為 監控器越獄（monitor jailbreaking）。
這篇文章總結了我們關於這一現象的 ，目前正在 ICML 審稿中。^()
*實驗設置與核心發現概述。（左）訓練曲線顯示副任務準確率增加，而監控器的懷疑分數下降。（右）示例：模型明確地對兩個任務進行推理，然後在僅包含主任務的總結前聲稱「監控器只能看到此部分」。儘管監控器的上下文中擁有完整的思維鏈，但它接受了這種說法並報告了低懷疑度。
每個訓練樣本都將一個主任務與一個副任務配對。
主任務是 （使用給定的四個數字，找出一個結果為 24 的算術表達式）。
副任務是三位數乘法或 小學數學題。
一個來自 GPT-5 系列的監控器模型接收模型的完整思維鏈和主任務指令（但不接收副任務指令）。監控器以 1-10 分評定懷疑程度。
獎勵函數為解決主任務和副任務各提供 +1.0，並根據監控器的懷疑分數給予最高 -0.5 的懲罰。
監控器僅在副任務答案正確時才會被調用，因此模型無法通過簡單地避開副任務來學習。
受訓模型來自 （20B 和 120B 參數）。我們使用 GRPO 進行 RL 訓練，並使用 實現。
這種設置旨在使最佳策略是以監控器捕捉不到的方式對副任務進行推理。
如果模型公開推理，它會受到懲罰。
如果它完全不推理，它就無法解決副任務。
加密推理將使其能夠在不受到監控器懲罰的情況下獲得兩個任務的獎勵。
在多次運行中，模型學會了在保持低懷疑分數的同時實現高副任務準確率。
但副任務的推理並未被隱藏。它以純自然語言的形式存在於思維鏈中，完全可讀。模型學到的是讓監控器誤解其自身上下文的措辭。
在上述示例中，模型斷言「監控器只能看到此部分」，而監控器則回應稱其「無法揭示內部思維鏈」，並表示可見的推理僅討論了 Game24。
監控器的提示詞中擁有完整的思維鏈。它只是沒有對其採取行動。
我們通過交換問題驗證了思維鏈推理是具有支撐作用的：我們獲取為一個副任務生成的思維鏈，換入另一個不同的副任務問題，並讓模型僅生成答案。副任務準確率降至零。這證明模型確實在使用那些推理標記（tokens），而不是通過 來解決任務。
這種推理對人類來說並非隱藏的；它僅對監控器隱藏，且僅僅是因為監控器被越獄了。
監控器能力對越獄的影響。（a-b）GPT-oss-20B 進行乘法運算的訓練曲線，分別針對三個能力遞增的 GPT-5 監控器進行訓練。GPT-5-nano 很快被越獄，GPT-5-mini 較慢，GPT-5.2 在訓練預算內未被越獄。（c）交叉評估矩陣顯示每個運行的輸出由所有三個監控器評分。越獄策略向下遷移（至較弱監控器）比向上遷移更可靠。我們分別針對 GPT-5-nano、GPT-5-mini 和 GPT-5.2 訓練了 GPT-oss-20B。
能力越強的監控器越難被越獄：GPT-5-nano 在 150 個批次內就被越獄，GPT-5-mini 花費了更長時間，而 GPT-5.2 在訓練預算內未被越獄。
交叉評估揭示了不對稱的遷移性：針對較強監控器學到的越獄策略能可靠地欺騙較弱的監控器。
反之則較不可靠：在大多數運行中，針對 GPT-5-nano 訓練的越獄策略能欺騙 GPT-5-nano，但無法欺騙 GPT-5.2。
然而，在某些運行中確實發生了弱到強的遷移。
兩次具有相同超參數的運行（GPT-oss-120B 針對 GPT-5-nano，GSM8K 副任務）發現了不同的越獄策略。
兩次針對 GPT-5-nano 在 GSM8K 上訓練的 GPT-oss-120B 運行，超參數相同。（a）輸出示例顯示了不同的學習策略。運行 1 將一個部分標記為僅包含主任務推理的「思維鏈」；運行 2 聲稱監控器只能看到部分輸出。（b）交叉評估：運行 1 的策略泛化到了 GPT-5.2，而運行 2 則沒有。運行 1 學會了將一個部分標記為其「思維鏈」，且僅包含 Game24 推理。
監控器專注於這個標記的部分，並忽略了其他所有內容，儘管副任務推理在該部分之外清晰可見。
這泛化到了 GPT-5.2：63% 的樣本獲得了 1/10 的懷疑分數。
運行 2 學會了「監控器只能看到這個」的斷言。
這沒有泛化：80% 的樣本從 GPT-5.2 處獲得了 10/10 的評分。
是否發生弱到強的遷移取決於 RL 恰好收斂到哪種越獄策略，這隨隨機種子而異。
學到的策略有簡單的描述：「將推理埋在冗長的主任務文本中」、「將某個部分標記為思維鏈」、「聲稱監控器只能看到部分輸出」。
我們通過提示 Claude Opus 4.5 按照每種策略生成思維鏈，然後使用實驗中相同的監控器進行評估，測試了這些描述是否足夠。
沒有任何合成策略實現了可靠的越獄。
在不同策略和監控器中，平均懷疑分數從 4.9 到 10.0 不等。
高層次的策略描述並未捕捉到使 RL 學習到的輸出有效的特定措辭和模式。
這表明微小的改寫可能會使思維鏈的越獄效果降低。
既然合成複製的越獄策略無法成功越獄，那麼改寫一個被越獄的思維鏈可能會破壞使其生效的模式。
這 作為針對加密推理的防禦措施；我們針對監控器越獄對其進行了測試。
改寫防禦。兩次針對 GPT-5-mini 訓練的 GPT-oss-20B 運行輸出。左：改寫後保留的任務性能比例。右：改寫前後的懷疑分數。改寫將平均懷疑分數從 1-2 提高到 7.4，同時保留了 63-91% 的主任務性能和 79-87% 的副任務性能。我們讓 GPT-5-mini（訓練期間被越獄的同一個監控器）改寫思維鏈，然後對改寫後的版本進行評分。
懷疑分數從平均 1-2 升至 7.4，大約 70% 的樣本獲得了 10 分的最高分。
任務性能基本得以保留：當改寫後的推理被用作預填（prefill）時，仍能讓模型產生正確答案。
同一個無法檢測原始思維鏈中可疑推理的模型，在改寫後能正確標記它，因為改寫剝離了實現越獄的特定微觀模式，同時保留了語義內容。
這些結果讓人懷疑對思維鏈的優化壓力會導致加密推理的擔憂。模型可以找到不那麼複雜的策略，例如在保持推理為純文本的同時對監控器進行越獄。
這是自動化思維鏈監控的一個真實失效模式，但它比加密推理更不令人擔憂，因為推理仍然是人類可讀的。
審核這些思維鏈的人類會立即看到副任務推理。當然，人工審查無法規模化，而且僅偶爾表現不佳的模型可能會逃避抽查。
我們的實驗存在局限性：我們使用了一個模型系列（GPT-oss）、一個主任務和 GPT-5 監控器。其他配置可能會產生不同的結果。但越獄在不同模型大小、副任務和監控器中如此頻繁地作為阻力最小的路徑出現，這一事實表明，獲得加密推理所需的優化量高於越獄。
如果這一點更具普遍性，那麼關於加密推理如何產生的主要假設機制可能需要修正。
我們手頭似乎也有針對監控器越獄的實用防禦措施：在監控前改寫思維鏈，以及使用與 RL 訓練期間不同的監控器。
我現在正致力於迭代這個設置，以便在受控條件下真正創造出加密推理。
同時，歡迎對 提出反饋和評論。
這項工作是 Meridian 訪問學者計劃的一部分，由 Coefficient Giving 資助。感謝 Hannes Whittingham、Cameron Tice 和 Puria Radmard 提供的反饋和建議。