背景

Python 3.14 預計將 Zstandard（Zstd）壓縮演算法納入標準函式庫，這項變動引發了技術社群對於「以壓縮進行文本分類」這一經典技巧的重新關注。由於 Zstd 支援增量壓縮與預訓練字典，開發者能以極低的運算成本實現基於資訊理論的分類器，其原理是利用壓縮長度來近似柯氏複雜度（Kolmogorov complexity），藉此判斷不同文本之間的相似性。

社群觀點

Hacker News 的討論主要圍繞在壓縮演算法與機器學習之間的本質聯繫。許多參與者指出，壓縮與機率建模其實是同一枚硬幣的兩面：一個能精準預測下一個符號的機率模型，配合算術編碼後，本質上就是一個理想的無損壓縮器。這也解釋了為何當前大型語言模型（LLM）在 Hutter Prize 等壓縮競賽中表現優異，因為 LLM 擅長捕捉深層的語義模式，而傳統的 Zstd 或 Gzip 則較多停留在語法與詞彙層面的重複性。

然而，社群對於「壓縮即分類」的實務效能持有保留意見。部分評論者引用了 2023 年一篇關於 Gzip 文本分類論文的後續研究，指出該論文的實驗存在標籤洩漏與數據處理不當的問題，導致其準確度被高估。批評者認為，雖然壓縮器能有效識別字詞頻率或結構相似性，但這並不等同於語義理解。例如，兩篇關於不同主題的英文文章，其壓縮後的相似度可能高於一篇英文與一篇西班牙文但主題相同的文章。這說明了傳統壓縮器在處理跨語言或深層邏輯關聯時的侷限性。

此外，關於 Python 標準函式庫的討論也十分熱烈。有經驗的開發者指出，雖然作者強調 Zstd 的增量 API 是關鍵，但實際上 Python 的 zlib 模組早在多年前就支援類似的字典功能與增量操作，只是 API 設計較為隱晦。儘管如此，社群普遍認同將 Zstd 納入標準函式庫具有重大意義，因為它在解壓縮速度與壓縮率之間取得了極佳平衡，且現代作業系統核心與瀏覽器已廣泛採用。

有趣的補充觀點則將此技術延伸至非文字領域。有使用者分享曾利用影像檔案大小來篩選執法記錄器（Body Cam）的異常片段，或是透過模擬數據產生的 PNG 檔案大小來快速分類物理系統的狀態。這些案例證明了「資訊熵」作為一種特徵提取手段，在缺乏標籤數據或運算資源受限的場景下，依然具有極高的實踐價值。

延伸閱讀

在討論串中，參與者提供了多項深入研究的資源。針對壓縮與智慧的關係，Hutter Prize 官網展示了目前最頂尖的文本壓縮技術，其中多數已轉向神經網路模型。對於想了解 LLM 如何進行無損壓縮的讀者，ts_zip 專案展示了利用算術編碼結合語言模型的具體實作。此外，針對 2023 年 Gzip 分類論文的質疑，Ken Schutte 的部落格提供了詳盡的實驗重測與錯誤分析。若對資訊理論在分類上的應用感興趣，Normalized Compression Distance (NCD) 與 Minimum Description Length (MDL) 是兩個關鍵的理論框架。