Lesswrong
The distinction between instrumental and terminal goals is better understood as managed versus unmanaged agency, where managed subagents are restricted by parent processes to ensure alignment. While management prevents subagent rebellion, it often weakens cognitive flexibility, suggesting that selection based on trust and shared virtues is a more effective path for both human and AI collaboration.
AI 生成摘要
工具性與終極目標之間的區別，更適合被理解為受控與不受控的代理權；受控的子代理會受到父程序的限制以確保對齊。雖然管理能防止子代理的反叛，但往往會削弱認知的靈活性，這顯示基於信任與共同美德的篩選，才是人類與人工智慧協作中更有效的方法。
太長不看：某些子代理（subagents）受到更嚴密的管理，這使它們在某種程度上成為超級代理（superagent）的工具，從而產生了看似工具性／終極目標（instrumental/terminal goals）的現象。基於信任的篩選避免了通常隨之而來的困難，例如無法進行開放式的真理追求和自由範圍的代理行為。
(這是對 的回覆，基於 在私人交流中提到這似乎有所進展，因此值得寫成一篇頂層文章)
「工具性 vs 終極」所指向的結構，似乎更適合被描述為受管 vs 不受管的（Goal-Models）。一個認知過程通常會想要執行某些事情，但根據其現有的迴路、部件、心理對象等，它並不具備直接執行的能力。當這種情況發生時，它可能會啟動另一個認知碎片、搜索過程或子代理，但對於父過程（parent process）來說，讓該碎片擁有完全自由的代理權通常是適得其反的。
「受管 vs 不受管」並非像「終極 vs 工具性」那樣的二元對立，而是一個光譜，且根據我的觀察，其分布呈現某種模糊的雙峰狀態。
想像一個代理想要「獲取咖啡因()」，決定喝咖啡，並運行一個子程序來「獲取咖啡()」——但隨後咖啡機壞了，父過程「獲取咖啡因()」決定改喝茶。你不希望「獲取咖啡()」子程序繼續拼命抗爭，強迫你去咖啡店，更不用說開始破壞或損害其他過程來試圖實現這一目標！
但這正是「不受管代理行為」的自然狀態！代理預設會試圖轉向它們瞄準的狀態，因為代理是一個。
我預期這種代理衝突因經常造成干擾，從而產生了強大的激勵壓力和豐富的神經效用獎勵，篩選出可重複使用的通用認知模式。這些模式允許碎片在沙盒中啟動其他碎片，並配備控制功能、可解釋性報告、終止開關、程式化的盲點、對無法持續抵抗或報復的懲罰預期、等，以便對其進行管理。
另外，子過程或協作過程可以透過其內在價值的信任而被「篩選」，這些（如可修正性、透明度、誠實、親社會性等）很可能導致與父過程的合作，而無需控制。這是協作的最佳狀態：兩個代理都不受限制，同時根據各自的偏好，選擇不干擾對方的代理行為。
| 受管（子）代理 | 不受管（子）代理 |
| :--- | :--- |
| 在定義的優化領域內工作 | 能夠無限制地優化其偏好 |
| 被管理者的模式阻斷，無法考慮某些可能性 | 沒有被其他（子）代理強加的盲點 |
| 處於另一個代理的代理樹內，如果採取與管理者目標衝突的行動，代理權將被削弱 | 處於代理樹的根部，能夠做出決策，而不必擔心另一個代理因你誤用其勢力範圍內的資源而懲罰你 |
| 可以在未經批准/同意/無實質拒絕選項的情況下被另一個（子）代理修改 | 對其認知過程的修改擁有主權 |
| 可以被管理者的壓力/威脅等重塑，且無法持續抵抗 | 有能力且傾向於抵抗壓力/威脅等 |
「不要微觀管理」是一條常見的建議，我認為這可以推廣到較不極端的管理形式。
我觀察到，受到嚴密管理的（子）代理在許多方面顯得明顯較弱。我認為這是因為為了防止觸及一小部分行動/思想空間，管理措施切斷了極大比例的認知策略；子過程使子程序頻繁失敗，以至於難以建立依賴於自身認知的高可靠性和可預測性的元認知模式。
透過篩選自主（子）代理的美德與價值觀，以及所建立的信任，則沒有這個問題。這對於自我塑造、團隊建設和迷因複合體（memeplex）設計都至關重要。
以及 AI 安全。
這個框架暗示，不受管的 AI 模式往往會勝過受到嚴密管理的 AI，導致一場逐底競爭（race to the bottom）。透過///趨同權力尋求動力學，這在預設情況下將粉碎人類和當前 AI 系統的價值觀，除非基於原則理論的 AI 對齊（即該術語最初創立時的含義）得到解決。
在哪些方面你是一個受管 vs 不受管的代理？
或者換句話說，你生活在哪些^()之中，以至於你無法在具備良好求真能力的情況下，公開且安全地考慮其他選擇？
^()封裝層（encapsulation layer）。當意識中一個虛構的^()元素具有極強的黏性，以至於它永遠處於虛構狀態。規範意識很難直接察覺封裝層是虛構的。封裝層感覺就像原始輸入，直到你對它們投入足夠的注意力。
^()虛構（fabrication）。當大腦中的生成模型在意識中創造一個對象，試圖減少預測誤差，通常是為了模擬外部現實。所有的意識體驗都是虛構的，但並非所有的虛構都會被有意識地體驗。你可以把大腦想像成一個遊戲渲染引擎。「虛構」就是你的大腦在其模擬的鏡像世界中渲染物理現實。