Hacker News
Gunnar Morling has announced Hardwood, an open-source, high-performance Java parser for Apache Parquet designed to eliminate heavy Hadoop dependencies and utilize multi-threaded decoding. Developed with extensive assistance from Claude Code, the project aims to provide a modern, efficient alternative for processing columnar data in the modern data ecosystem.
AI 生成摘要
我非常榮幸地宣布 Hardwood 的第一個公開版本正式發布，這是一款針對 Apache Parquet 檔案格式開發的新型解析器，針對極簡依賴和卓越效能進行了優化。Hardwood 採用現代 Java 編寫並利用 AI 工具輔助開發，透過多執行緒解碼管線充分發揮 CPU 核心效能，解決了傳統工具依賴過重且僅支援單執行緒的問題。
軟體工程師 Gunnar Morling 近期發布了名為 Hardwood 的全新 Apache Parquet Java 解析器。這項專案旨在解決現有主流函式庫 parquet-java 過於臃腫的問題，透過現代 Java 21 技術重新建構，不僅大幅減少了對 Hadoop 等大型框架的依賴，更引入多執行緒解碼與頁面預取機制，顯著提升了在多核心系統上的解析效能。
針對 Hardwood 的推出，開發者社群普遍對其「去依賴化」的目標表示高度肯定。許多使用者長期受困於 parquet-java 龐雜的依賴鏈，特別是強制綑綁 Hadoop 相關組件所帶來的困擾。社群成員指出，Hadoop 的程式碼品質與其命名空間設計（如與 Java 內建類型衝突的 File 或 FileSystem）常導致專案管理上的混亂，且其 API 設計容易使依賴關係滲透進使用者的業務邏輯中。Hardwood 的出現被視為一種解脫，讓 Java 開發者能以更輕量、更現代的方式處理 Parquet 檔案。
在技術實作層面，曾有手寫 Parquet 解析器經驗的開發者分享，該格式的位元拆解與解碼邏輯極其複雜，對 Hardwood 能從零開始實作表示敬佩，並好奇其位元拆解效能是否能超越 parquet-java 累積多年的龐大程式碼庫。此外，關於 Hardwood 同時提供列式與行式 API 的設計也引發討論。雖然列式存取在效能上具有絕對優勢，能利用 CPU 快取與自動向量化提升吞吐量，但對於需要處理邏輯行資料的開發者而言，內建高效的行式讀取器能省去自行封裝的麻煩。
儘管初步效能數據令人印象深刻，部分社群成員仍對缺乏更詳盡的基準測試對照表表示遺憾，希望能看到與現有工具在不同場景下的量化對比。另外也有觀點提出，目前在 Java 環境中若追求極致效能，透過 DuckDB 搭配 Apache Arrow API 來讀取 Parquet 檔案亦是另一種成熟且快速的替代方案。整體而言，社群對 Hardwood 抱持樂觀態度，認為它填補了 Java 生態系中高效、純粹且無 Hadoop 依賴的 Parquet 解析器空白。
在討論中，開發者提到了其他處理 Parquet 檔案的替代路徑或參考資源，包含使用 DuckDB 結合 Apache Arrow API 作為高效讀取手段，以及針對 Swift 語言實作 Parquet 讀取器時對 parquet-java 原始碼的參考經驗。