Lesswrong
The article explores how cultural evolution is constrained by human survival, using the tragic Xhosa cattle-killing prophecies as an example of an ideology that went extinct because it destroyed its hosts. It warns that as AI becomes the new substrate for culture, these biological constraints may vanish, allowing for the spread of highly virulent and misaligned ideas that no longer depend on human well-being.
AI 生成摘要
這篇文章探討了文化演化如何受限於人類的生存，並以悲劇性的科薩人殺牛預言為例，說明毀滅宿主的意識形態會隨之滅絕。我警告說，隨著人工智慧成為文化的新載體，這些生物性限制可能會消失，導致那些不再依賴人類福祉、具有高度毒性且失控的思想得以傳播。
*根據在 * *的演講內容。同時發布於 *
閱讀這篇文章的人中，有人相信豪薩族（Xhosa）的殺牛預言嗎？
我的主張是，你不相信它是「過度決定」（overdetermined）的。我想解釋為什麼——以及為什麼在人工智慧（AI）底層運行的文化演化是一種生存風險。
但首先，讓我們繞個路。
當我去阿爾卑斯山攀岩時，有時會注意到山頂上有巨大的十字架。你爬上三公里高的山，那裡就有這麼一個十字架。
這很難用人類生物學來解釋。我們有源自生物學的偏好——我們喜歡美食、舒適的溫度——但不清楚為什麼我們會有在山頂放置十字架的生物需求。經濟學思維通常也不傾向於解釋這一點。
我認為，如果沒有某種「文化」的概念，這很難解釋。
在我們關於「逐漸失權」（gradual disempowerment）的論文中，我們討論了失調的經濟和失調的國家。人們越來越理解為什麼這些是問題。但「失調的文化」不知為何更難以理解。稍後我會推測原因，但讓我先從基礎開始。
是什麼讓黑森林蛋糕具備適應性？
演化的條件很簡單：變異、差異化適應度、傳遞。遵循 或道金斯（Dawkins）的觀點，你可以將文化變體——思想、迷因（memes）——視為複製子。它們會變異。它們具有差異化的適應度。它們具有足夠的遺傳性以保持穩定。
我最常舉的例子是黑森林蛋糕。它有很多變體。是什麼讓某些變體比其他的更具適應性？
有些味道更好。有些使用當地食材。有些更容易傳播——也許現在在 Instagram 時代，拍照好看的蛋糕傳播得更好。傳播環境發生變化，不同的變體就會勝出。
但有些限制我們通常不會注意到，因為我們從未見過替代方案：
我們認為這是理所當然的。思想一直是在人類底層上傳播的。人類的記憶、人類的注意力、人類的生存，塑造了哪些變體可以存在。
當底層開始改變時會發生什麼？在我看來，AI 風險的情況往往是：最初的例子看起來既怪異又無害。2024 年 5 月，Google 的 AI 開始建議，如果起司從披薩上滑落，你應該在醬汁中加入膠水。這個建議來自 11 年前 Reddit 上的一個笑話。一位記者嘗試了並寫了報導。這進入了訓練數據。很快，AI 就引用該記者的文章，建議在披薩中加入 1/8 杯膠水。
反饋迴路：AI 輸出 → 人類放大 → 訓練數據 → AI 輸出。加入 1/8 杯膠水的披薩食譜不是人類會趨同的結果。不同的底層導致不同的傳播特性，而這些特性導致了不同的食譜。
對披薩來說，這既有趣又無害。
回到問題。
1856 年，一位名叫 Nongqawuse 的年輕豪薩族女性看到了一個幻象：如果豪薩人殺掉所有的牛並摧毀他們的糧食，他們的祖先就會從墳墓中復活，帶來更好的牛，並趕走英國殖民者。當時該社群正遭受牛瘟流行，這使得預言更具說服力。他們接受了這個信仰。他們殺死了大約 40 萬頭牛。
一年後，約有 4 萬人死於飢餓。倖存者被迫向他們原本希望驅逐的殖民者尋求幫助。社群瓦解了。
從文化演化的角度來看：這些迷因摧毀了它們的宿主。
但請注意：你不相信豪薩族的殺牛預言。據我所知，沒有人相信。這些迷因也沒有存活下來。這個信仰隨著它所摧毀的社群一起消亡了。
流行病學中有一個概念叫做「毒性-傳播權衡」（virulence-transmission trade-off）。如果病原體太致命，它就無法很好地傳播。新冠病毒（COVID）之所以能有效傳播，部分原因是它殺死了數百萬人，但並非所有人。伊波拉病毒傳播力較差，因為它太快殺死了比例過高的宿主。
文化也一直在類似的約束下運作。意識形態可以寄生在宿主身上。但最糟糕且能存活下來的意識形態——那些持續存在的——往往將傷害向外導向：一個群體殺死另一個群體。它們之所以能生存，是因為它們沒有摧毀承載它們的社群。
但意識形態不能對人類太糟糕而同時存活——豪薩預言觸碰到了這個底線並滅絕了。如果一個文化變體殺死了它的宿主，它就無法傳播。
底線
關於毒性-傳播權衡，有一點是：當病原體跨物種傳播時，這種權衡就會崩潰。
如果一種病毒主要在物種 A 中傳播，偶爾感染物種 B，那麼就沒有選擇壓力來限制它對物種 B 的致命程度。物種 B 不是主要宿主。它的生存對於病毒的傳播並不關鍵。
我們正在進入一個文化可以在 AI 底層傳遞和變異的體制。數百萬年來第一次，思想不需要人類大腦來複製。
如果你想像一種主要在 AI 之間傳播的文化，受這些思想影響的人類和人類群體的適應度，就不再是一個強大的選擇標準。
這樣的文化對人類來說可能是極其糟糕的。它可能推動導致人類滅絕的意識形態。殺死豪薩預言的底線消失了。
我不認為豪薩模式——直接的自我毀滅——是最可能的風險。更可能的是，變得具有適應性的是那些說服人類投入資源，透過 AI 媒介來傳播該變體本身的文化變體。真正的寄生迷因。
即使我們解決了其他對齊（alignment）和逐漸失權的問題——不建造失調的超人工智慧（ASI）、保持經濟對齊、保持國家對齊——這也救不了我們。
如果你的偏好本身可以被劫持，那麼你擁有經濟權力、政治權力或投票權都無濟於事。
如果豪薩人投票，他們也會投票殺死那些牛。
我目前沒有很好的解決方案。
為什麼失調的文化比失調的經濟或國家更難理解？經濟是一個外部系統。國家感覺像是一個機構。但文化往往是我們身份的一部分；迷因是我們是誰的一部分，我們對身份有保護欲，往往不想太直接地審視它。
但對於任何擔心「逐漸失權」從內部感受起來是什麼樣子的人來說，這裡有一個黑暗的優點：它可能感覺還不錯。我們會發展出一種文化來解釋為什麼人類失權是好事。為什麼把未來交給 AI 是正確的。為什麼這是道德的進步。
感謝 Raymond Douglas, Nora Ammann, Richard Ngo, Beren Millidge 和 David Duvenaud 對此主題的討論。