背景

這篇文章源於一位長期堅持自架 Git 伺服器的開發者，宣布因不堪 AI 爬蟲（Scrapers）的暴力抓取而決定結束長達十餘年的自架生涯。作者指出，這些爬蟲以極低效的方式頻繁請求 cgit 前端介面，不僅癱瘓了伺服器效能，甚至因產生海量 404 錯誤日誌而填滿硬碟空間，迫使他最終將專案遷移至 GitHub 與 GitLab 等大型託管平台。

社群觀點

Hacker News 的討論串反映出開發者社群對當前網際網路環境惡化的集體焦慮。許多留言者深有同感，認為這標誌著「數位荒漠化」的開始。過去自架服務是網際網路去中心化的核心精神，但如今 AI 爬蟲為了獲取訓練數據，往往無視 robots.txt 規範，甚至在被封鎖後變換 User-Agent 或透過住宅代理伺服器（Residential Proxies）繞過限制。這種行為被社群視為一種「低強度的分散式阻斷服務攻擊（DDoS）」，對於資源有限的個人伺服器或動態網站而言，維護成本已高到令人難以承受。

針對解決方案，社群內產生了激烈的辯論。部分網友建議使用 Cloudflare 等 CDN 服務來過濾流量，認為這是目前最有效的防禦手段。然而，這種觀點遭到許多自架愛好者的強烈反對。批評者指出，為了解決由大企業 AI 爬蟲引起的問題，卻必須將數據交給另一家中心化大企業保護，這本身就是一種諷刺，且進一步加劇了網路權力的集中化。更有使用者分享經驗表示，即便使用了 Cloudflare 的付費防護，依然有大量偽裝成真實用戶的爬蟲能穿透防線，顯示這場攻防戰的技術門檻正在不斷提高。

關於這些爬蟲的真實身份與動機，社群也有多樣化的推測。有人認為這不僅是為了模型訓練，更多是來自於「檢索增強生成（RAG）」的即時需求，導致同一個頁面被反覆抓取。討論中也提到，許多新興 AI 新創公司缺乏編寫優雅爬蟲的技術能力或道德自律，他們傾向於使用「散彈槍式」的抓取策略，只要能拿到數據，並不在乎是否會壓垮目標伺服器。這種「先破壞再說」的開發文化，正逐漸摧毀原本互信的網路生態。

此外，一些開發者分享了具體的對抗策略。除了將網站轉為靜態頁面以增加韌性外，有人提議利用「蜜罐」技術，向偵測到的爬蟲回傳垃圾數據或有毒標籤（Poisoning），試圖從源頭污染訓練集。也有人採取更激進的手段，例如對產生 404 錯誤的 IP 直接實施長達一年的封鎖，或是加入特定的敏感關鍵字觸發爬蟲內部的過濾機制。儘管這些方法各有利弊，但社群普遍達成共識：在缺乏法律約束與技術規範的現狀下，個人開發者在與 AI 巨頭的資源不對等競爭中，正被迫放棄對網路主權的掌控。

延伸閱讀

• ai.robots.txt: 一個由社群維護的 GitHub 專案，旨在收集並整理所有已知的 AI 爬蟲 User-Agent，幫助站長在 robots.txt 中進行封鎖。
• Anubis: 一款開源的爬蟲防護工具，提供蜜罐功能，能向惡意爬蟲發送偽造數據。
• Cloudflare Pay-per-crawl: Cloudflare 推出的一項實驗性功能，試圖讓爬蟲為抓取行為支付費用。