背景

隨著人工智慧公司大規模抓取網頁數據進行模型訓練，許多新聞出版商如《衛報》、《紐約時報》與社群平台 Reddit 開始限制 Internet Archive（網際網路檔案館）的爬蟲存取。這些機構擔心其數位圖書館的 API 與 Wayback Machine 會成為 AI 公司獲取結構化數據的「後門」，導致原本旨在保存人類歷史紀錄的公益組織，在版權保護與商業競爭的夾擊下成為無辜的受害者。

社群觀點

Hacker News 的討論聚焦於網際網路「不可存檔性」對未來社會的深遠影響。許多參與者對此趨勢感到憂心，認為如果新聞與公共資訊無法被第三方機構保存，未來的歷史學家、法律從業人員與公眾將失去查證事實的基準。有人指出，過去圖書館會保存報紙的微縮膠片，使歷史難以被抹除，但在數位時代，一旦網站封鎖存檔工具，歷史紀錄將變得支離破碎。部分網友甚至提議，應將「可存檔性」視為公共服務的法律義務，只要網站是對公眾開放的，就應該允許被存檔。

然而，另一派觀點則從商業競爭與版權角度出發，理解出版商的防衛性舉措。支持封鎖的意見認為，AI 模型在不支付報酬的情況下掠奪內容產權，直接摧毀了原創者的商業模式，封鎖爬蟲是無奈之下的自保手段。更有激進的觀點認為，網路上充斥著大量 AI 生成的垃圾內容，這些內容是否值得耗費頻寬與儲存空間去保存令人存疑，甚至有人主張「讓事物隨時間消失」並非壞事，過度執著於數據囤積反而是一種對死亡的逃避。

討論中也出現了技術性的反思。有開發者指出，封鎖 Internet Archive 這種「守法」的爬蟲其實是治標不治本，因為真正具侵略性的 AI 抓取者會偽裝成一般用戶流量，最終結果反而是只有「壞人」能擁有完整的網頁副本，而公眾利益的守護者卻被排除在外。此外，企業合規專家提到了一個被忽視的實務問題：許多法律合規與審計流程（如 SOC 2 或 HIPAA）依賴 URL 作為證據，當網頁變得不可存檔且連結失效時，企業將面臨嚴重的合規風險，這可能迫使保險公司未來要求企業必須保留紙本或數位簽章的副本，而非僅僅依賴網址。

最後，社群也探討了替代方案，例如開發基於瀏覽器擴充功能的群眾外包存檔工具，或是建立僅供學術與研究用途、不對外公開原始數據的私人存檔服務。儘管技術上存在對抗手段，但多數人共識在於，這場 AI 訓練引發的版權戰爭，正意外地侵蝕著網際網路作為人類共同記憶載體的功能，使數位世界陷入一種「集體失憶」的危機。

延伸閱讀

• ArchiveBox：開源的自我託管網頁存檔解決方案。
• ArchiveTeam Warrior：一個讓志願者貢獻頻寬與運算能力來保存瀕危網站的專案。
• Marginalia Search：一個旨在重新挖掘由真實人類創作、非 SEO 導向內容的搜尋引擎。
• Perma.cc：由圖書館與學術機構開發，專為法律與學術引用設計的永久連結工具。
• Common Crawl 的回應：針對《大西洋月刊》指控其不尊重 robots.txt 的官方澄清說明。