open claw 噴騰訊“白嫖”背後：被誤解的鏡像站「簡史」

最近出現了一件事

3月12日，OpenClaw創始人Peter 在 X 平臺公開發文直言：“Kinda... I got an email once from folks complaining that my rate limits block them from scraping fast enough. They copy yet they don't support the project in any way.”（差不多吧…… 我曾經收到過一封郵件，有人抱怨我的速率限制讓他們沒法足夠快地抓取數據。他們抄襲，卻不以任何方式支持這個項目。）

隨後他直接 @騰訊混元官方賬號喊話：“@TencentHunyuan would you be up for helping out a bit, instead of driving my server costs into 5 digit?”（@騰訊混元 你們能不能搭把手幫襯一下，而不是把我的服務器成本硬生生推高到五位數？）

騰訊則表示否認抄襲，表示SkillHub始終公開透明地以本地鏡像站點的身份運營，且一直將ClawHub標註爲內容來源。

上線首周，SkillHub爲用戶承載了180GB的訪問流量（對應87萬次下載），而僅從官方源站拉取1GB內容。

對於這件事情我的評價就是離譜到家了

Clawhub採取MIT開源協議，該協議允許商業使用和無限制分發，只需保留版權聲明。這意味着騰訊在遵守協議條款的前提下，利用開源內容構建本土化服務，是合規的。

MIT 許可協議

版權所有 (c) 2026 Peter Steinberger

特此免費授予任何獲得本軟件及相關文檔文件（以下簡稱“軟件”）副本的人士， 無限制地處理該軟件的權利，包括但不限於使用、複製、修改、合併、發佈、 分發、再許可和/或出售軟件副本的權利， 並允許軟件的接收者進行上述操作，但須遵守以下條件：

上述版權聲明及本許可聲明應包含於 本軟件的所有副本或實質性部分中。

本軟件按“原樣”提供，不作任何明示或 默示的保證，包括但不限於對適銷性、 特定用途適用性及不侵權的保證。在任何情況下， 作者或版權持有者均不對因本軟件、 本軟件的使用或與本軟件相關的 任何索賠、損害或其他 責任承擔責任，無論該責任是基於合同、侵權或其他原因產生。

如果騰訊沒在流量上撒謊的話

他甚至還算幫Clawhub一把了

針對騰訊的回應和網友 “鏡像站已幫你降低 99.4% 帶寬成本” 的提問，Peter 又來了一句：“這不是重點。我們可以同步數據，讓這件事正式化，同步下載統計數據。但禮貌的做法是主動詢問。”

那到底是誰先說的自己的賬單超過五位數呢？

好難猜啊

再結合他對百度說的話

我的評價是

Peter：我沒錢，打錢

騰訊和百度都不是什麼好鳥，但是非得選一個

應該所有人都會選騰訊吧

這件事告一段落

互聯網前夜的黑暗與帶寬飢渴

人類對於“鏡子”（Mirror）貫穿了從遠古冶金到現代賽博空間的漫長曆史。

在的數千年裏，鏡子僅僅是日常起居的工具

鏡子能照出你的樣貌

那麼，鏡像站到底是什麼？

鏡像站的誕生，並非靈光一現，而是早期互聯網發展過程中，爲解決核心痛點而逐步演化的必然結果。

它的需求，早在互聯網的前身 ARPANET 時代就已經埋下。

ARPANET由美國國防部高級研究計劃局（ARPA）於20世紀60年代末至70年代初開發，旨在連接計算機與各大學及研究機構的研究人員。

ARPANET 的建立旨在實現資源共享，讓不同地理位置的研究者能夠共享昂貴的計算機算力。同時，它也帶有意識形態戰爭背景下的軍事考量，即構建一個分佈式架構

Apache 項目與第一個官方鏡像系統

低帶寬時代的通信壁壘

1971年4月16日，由 Abhay Bhushan 編寫的 RFC 114 正式發佈，定義了FTP的最初規範。

這是互聯網歷史上最早的應用層協議之一，它的核心目標是實現計算機之間的文件高效共享，爲後來的鏡像站提供了最核心的技術基礎。

在 ARPANET 時代，網絡的核心用途是學術與軍事研究，文件傳輸是最核心的需求之一。

但早期的 FTP 操作複雜，僅能在少數科研機構的計算機之間使用，直到 80 年代，匿名 FTP的出現徹底改變了這一局面 —— 用戶無需賬號密碼，即可通過 FTP 協議訪問遠程服務器，免費下載公開的文件與資源。

注意是公開的文件

這一創新讓全球用戶自由獲取數字資源成爲可能，也催生了對 “分佈式文件副本” 的強烈需求。

20世紀80年代末至90年代初，互聯網正處於從封閉的學術軍工網絡向商業和公衆過渡的關鍵時期。

早期的硬件條件極大地限制了大型數據的流動。

在1994年左右，普通個人計算機用戶通常面對的是笨重的大頭顯示器，並通過傳統的電話線和調制解調器撥號上網。

當時的標準撥號連接速度僅爲14.4 kbps（千比特每秒） 。在這種極其微弱的帶寬下，即便是傳輸一張1 MB大小的普通文件，在沒有任何網絡擁堵的理想狀態下，也需要大約 10 到 15 分鐘

1990年，運行了20年的ARPANET正式退役，美國國家科學基金會網絡（NSFNET）接管了骨幹網 。

儘管NSFNET骨幹網的速度宣稱比ARPANET快至少25倍，但在面對多媒體內容和不斷膨脹的軟件體積時，依然顯得力不從心 。

1990年時，全球僅有約0.05%的人口連接到網絡 。

在這樣脆弱的基礎設施之上，跨大西洋或跨太平洋的數據請求通常會“三高”

高延遲、高丟包、高擁堵

這種帶寬瓶頸對於早期軟件開發者而言是致命的。

早期開源分發的物理極限

Linux內核的創始人Linus Torvalds曾回憶道，在1991年9月他開始搗鼓Linux時，芬蘭與美國之間只有一條區區64 kbps的跨洋鏈路 。

幸運的是，當時的Linux 0.11版本源代碼極其精簡，僅有93 KB大小。

但即便如此，由於全歐洲的研究者都必須共享這條極其狹窄的鏈路，下載時間依然受到嚴重影響 。

如果所有的全球用戶都直接向美國或歐洲的單一源服務器發起下載請求，不僅源服務器會瞬間起飛，高昂的國際流量結算費用也燃爆他們的錢包。

因此，突破地理與帶寬的物理極限，將數據提前複製到靠近用戶的本地網絡，成爲了早期互聯網得以繼續發展的唯一技術出路。

協議之爭與信息分發雛形

FTP

在90年代，Wu-ftpd（由華盛頓大學開發）是互聯網上最受歡迎的FTP守護進程，被廣泛應用於各地的匿名FTP站點和Linux發行版的軟件庫託管中 。

儘管Wu-ftpd後來暴露出極差的安全歷史（如著名的"Site Exec"漏洞），促使後人開發了ProFTPD等更安全的替代品，但FTP協議本身長達幾十年的生命力，構成了早期鏡像站生態的絕對底層通信基石 。

Gopher

在FTP之外，1991年由明尼蘇達大學（其吉祥物正是Golden Gopher）的Mark P. McCahill團隊開發的Gopher協議，提供了另一種革命性的信息分發範式 。

Gopher是一個基於菜單驅動的通信協議，它施加了嚴格得多的層級結構，極其適合當時廣泛使用的遠程文本終端 。

但，Gopher的輝煌是短暫的。

1989年，Tim Berners-Lee在CERN使用一臺貼着“不要關機”標籤的NeXT計算機寫出了萬維網的第一個提案 。

1994年4月，萬維網的HTTP協議在NSFnet骨幹網的數據包傳輸量上首次超越了Gopher（Web升至第9位，Gopher降至第11位）；

1995 年初，Apache Group（Apache 軟件基金會的前身）發佈了 Apache HTTP Server，這款開源的 Web 服務器軟件憑藉其穩定性、靈活性，迅速取代了 NCSA HTTPd，成爲全球最流行的 Web 服務器軟件。

但隨之而來的，是全球用戶爆發式的下載需求。

Apache 團隊很快發現，單臺主下載服務器完全無法承載來自全球的流量。

跨洋訪問更是卡到起飛

爲了解決這個問題，Apache 團隊開始聯合全球的高校、科研機構與科技公司，邀請它們貢獻服務器與帶寬，建立全球統一的官方鏡像系統

1995 年 4 月，Apache 的第一批鏡像站正式上線。這是互聯網歷史上第一個系統化、標準化、有完整管理體系的鏡像站網絡，標誌着鏡像站從零散的副本，正式成爲一種成熟的互聯網服務。

所有鏡像站定期從主站同步最新的軟件安裝包，確保內容與主站一致，同步延遲通常不超過 24 小時；

鏡像站分佈在全球不同的國家與地區，用戶可以根據自己的地理位置，選擇就近的鏡像站下載，大幅降低訪問延遲；

所有鏡像站的帶寬與服務器由合作機構自願贊助，Apache 團隊無需承擔高昂的帶寬成本，同時實現了全球流量的負載分流。

Apache 鏡像系統的成功，徹底證明了鏡像站模式的可行性。

到 1997 年，Apache 的全球鏡像站已經達到 66 個，Apache 團隊專門成立了 mirror@郵件列表，制定鏡像同步的標準，優化鏡像站的服務質量。

而 Apache HTTP Server 也憑藉完善的鏡像網絡，實現了全球範圍的快速普及，從 1996 年 4 月開始，一直保持着全球 Web 服務器市佔率第一的位置，鏡像站功不可沒。

李·麥克勞克林的 mirror.pl 腳本

在90年代初期至中期，由倫敦帝國理工學院的Lee McLoughlin編寫的Perl腳本——mirror是全球鏡像站點的絕對統治者 。

mirror.pl 的工作原理相對直接：它調用系統本地的FTP客戶端工具，連接到遠程FTP服務器，通過遞歸讀取遠程目錄列表，比對本地文件與遠程文件的大小和修改時間戳 。

如果遠程文件較新或大小不一致，mirror.pl就會觸發下載，並在本地執行復雜的正則表達式重命名、壓縮甚至權限修改 。

站點管理員通常通過定時任務，在網絡負載最低的深夜自動運行該腳本 。

雖然mirror.pl使鏡像站的自動化管理成爲可能，但基於傳統FTP的同步存在一個致命缺陷：缺乏文件級別的差分更新能力。

如果一個幾十兆字節的大型歸檔文件中只有幾個字節發生改變，FTP協議依然需要重新傳輸整個巨型文件，這在低帶寬時代造成了極大的資源浪費。

Rsync的誕生

1996年6月，Andrew Tridgell與Paul Mackerras發佈了rsync

Andrew Tridgell

這場底層技術的革命徹底顛覆了文件同步的範式 。

rsync 是一個用C語言編寫的單線程應用，其最偉大的創新在於其獨創的差分傳輸算法 。

與mirror.pl粗暴的整體文件替換不同

rsync 在發現源文件與目標文件存在差異時，會將文件劃分爲多個塊，並在兩端分別計算這些塊的校驗和。

通過交換校驗和，兩端的rsync進程能夠精確鎖定文件中發生變化的部分 。

最終，在網絡鏈路上實際傳輸的僅僅是那些發生更改的字節數據，而不是整個文件 。

這使得需要幾個小時的同步，在幾分鐘之內就能完成

除了網絡開銷優化，rsync 還引入了諸多爲現代鏡像站量身定製的特性：

1. 透明隧道支持：能夠無縫搭載於SSH等加密遠程Shell協議之上執行同步 。

2. 多層壓縮算法：支持Zstandard、LZ4或Zlib進行額外的數據壓縮 。

3. 原生守護進程（rsyncd）：允許服務器在後臺運行，並通過原生的**rsync://**協議對外提供匿名的模塊化數據推送與拉取服務，這成爲了現代Linux發行版架設公開鏡像站的標配模式 。

4. 原子操作保證：對於像Yum、Apt這樣的包管理器，倉庫的元數據（Metadata）與實際包文件的一致性至關重要。舊版的同步工具往往在同步進行一半時被客戶端訪問，導致解析錯誤。而rsync可以通過複雜的目錄處理順序調整以及後臺原子級別的延遲重命名機制，確保鏡像站在任何瞬間對外呈現的數據狀態都是一致且不可分割的 。

至今，rsync 依然是絕大多數Linux鏡像站以及系統備份任務中最核心的工具。

即便後來出現了Rclone、Restic等針對現代對象存儲的雲同步工具

rsync 在點對點文件樹克隆領域的效率和可靠性依然無法被撼動

成爲互聯網基礎設施

Linux

隨着Linux的崛起

Linux 從極客的玩具，變成了服務器、桌面端的主流操作系統

沒有人會用Windows建服務器

Linux 的核心優勢之一，是用戶只需一行命令，即可從軟件源中下載、安裝、更新軟件。

而這些軟件源的底層，就是全球分佈的鏡像站網絡。

對於 Linux 發行版來說，鏡像站不是 “錦上添花” 的加速工具，而是整個系統正常運行的必需基礎設施。

從軟件分發到全數字領域覆蓋

在 Linux 發行版的推動下，鏡像站的應用場景快速擴展，覆蓋了互聯網的幾乎所有數字資源領域：

中國開源鏡像生態的崛起

國際出口帶寬的掣肘

20世紀90年代初，中國接入國際互聯網的通道極其狹窄。

1993年3月2日，中國科學院高能物理研究所與斯坦福大學直線加速器中心（SLAC）正式開通了一條64K專線，由中國國家自然科學基金委員會出資30萬元人民幣支持，這才使得中國數百名科學家能夠使用國際電子郵件 。

國內的第一臺Cisco路由器

《中國 Internet 發展年表》：“1993 年 3 月 2日，中國科學院高 能物理研究所租用AT&T公司的國際衛星信道建立 的接入美國 SLAC 國家實驗室的 64K 專線正式開 通，成爲我國部分連入 Internet 的第一根專線。這 根專線在1994年4月中國正式連入Internet後，也實現了 Internet 的全線連通。”

1994年，清華大學領頭建立了中國教育和科研計算機網（CERNET），這是中國首個採用TCP/IP協議的全國性互聯網骨幹網，並於1995年11月正式建成CERNET骨幹網 。

然而，在當時的中國，由於國際海纜帶寬極度稀缺且費用極其昂貴

各大高校和科研機構面臨着嚴峻的錢包危機

如果中國開發者和學生試圖直接跨洋從美國或歐洲的源服務器下載Linux發行版源代碼、大型編譯器集或科研數據集

不僅下載速度常以數KB/s計算

且很容易因網絡不穩定而中斷

同時還會消耗學校極其寶貴的國際出口帶寬

爲了打破這種物理限制與經濟壁壘

將海外龐大的開源倉庫整體“搬運”回國內

並利用相對充裕且免費的CERNET教育網內網帶寬進行高速分發

成爲了中國學術界唯一的突圍之路

在過去二十多年裏，這些默默運行在各大學數據中心、日夜通過rsync與海外源站進行字節級對齊的高校鏡像站，構成了中國龐大的IT從業人員的底層代碼溫牀。

GeoDNS技術的引入

隨着各大開源項目在全球範圍內部署了數十乃至上百個鏡像站點，如何將終端用戶的下載請求智能地路由到距離其物理位置最近、網絡狀況最佳的服務器上，成爲了網絡工程的新挑戰。

早期的做法非常原始——在項目官網列出一張長長的超鏈接列表

由用戶根據自己的國家手動、選擇

這種方式體驗極差

畢竟你更可能點的是著名的

而不是更適合你的

DNS層面的地理尋址

爲了解決全球請求的負載均衡問題，GeoDNS（地理位置域名系統）應運而生。

GeoDNS通常作爲DNS服務器軟件的補丁包實現

它深度集成了GeoIP或GeoLite等地理位置數據庫

提取發出請求的客戶端IP地址

並與GeoIP數據庫進行比對

以確定該IP所在的國家或經緯度

基於這種地理位置匹配

GeoDNS會動態生成並返回一個距離用戶最近的服務器IP地址

災難恢復

鏡像站與傳統備份的本質區別

鏡像不再侷限於公共軟件庫的文件下載中轉站

而是演變爲確保業務連續性的模式

備份和鏡像是兩種常見的數據保護和管理方式，它們在概念、用途和應用場景上存在顯著差異。

備份是將雲服務器或硬盤在某一時間點的狀態、配置和數據保存下來，主要用於數據恢復和安全保障。它的目標是防止數據丟失，提升系統的高可用性。備份的數據通常存儲在與服務器分離的對象存儲中，即使刪除原始硬盤，備份仍然保留。備份可以用於恢復數據到原始服務器，也可以創建新的磁盤或鏡像。

當主數據中心遭遇網絡攻擊、停電或自然災害而徹底癱瘓時

鏡像站點可以在無需冗長重啓與數據恢復的情況下

實現瞬時故障轉移

直接接管用戶流量

從而將業務中斷時間降至最低

滿足高可用性的嚴苛要求

接下來我們來看看幾個倒黴蛋

倒黴蛋

Ma.Gnolia

請問Ma.gnolia是啥(o**O)？

從 2005 年到 2009 年，Ma.gnolia是一個新興的社交書籤網站。在當時，它憑藉能夠存儲書籤網頁快照以及在不同用戶間分享書籤羣組的能力，與其競爭對手區分開來。

作爲開放標準的早期採用者，它在領域內是先驅，所有人都期待它能佔據並保持社交書籤市場的大部分份額。

然而，2009 年 1 月，災難降臨。

Ma.gnolia服務器在完全宕機中丟失了所有數據。

由於數據損壞，所有用戶數據都無法恢復，導致網站實際上已經死亡。

儘管他們有一個現場備份，但備份也重複了損壞，並且沒有異地備份可以用來恢復服務器。

該企業最終在 2010 年永久關閉，僅因一次宕機就被徹底淘汰。

英國政府丟失囚犯數據

你會認爲監獄是安全的地方。尤其是由英國政府運營的監獄。

但在2009年，英國內政部丟失了全國所有囚犯的機密信息，包括超過40,000名犯有暴力犯罪和性犯罪的嚴重罪犯。

那麼他們最初是如何丟失罪犯數據的呢？一名員工將所有數據從安全服務器傳輸到 U 盤上。然後，他們丟失了 U 盤。U 盤中的數據未加密。這絕對值得被列入最嚴重的數據丟失災難名單。

一塊包含2500萬人個人信息的磁盤，在郵寄途中丟失

你會以爲英國政府丟失囚犯信息已經夠糟糕了。

但更糟糕的是， 2008 年，他們發佈了一塊包含 2500 萬個人記錄的磁盤……然後在運輸途中丟失了

這些信息包括出生日期、地址、銀行賬戶和全國保險號碼。更糟糕的是，它還包含了所有英國申領兒童福利的家庭信息，包括1550萬兒童的信息。而且它也沒有被安全加密。

2600萬美國退伍軍人數據丟失，多年聯邦訴訟

美國政府也並非不受數據丟失之害。2006年，美國退伍軍人事務部的一名數據分析員家中，筆記本電腦和外接硬盤被盜。

這本來可能不是什麼大事，但偏偏上面有 2650 萬 名軍事退伍軍人和軍事人員的個人信息。這意味着姓名、出生日期、社會保障號碼等。這是美國政府歷史上最大的安全漏洞——也是現代最嚴重的數據丟失災難之一。

整個事件引發了全國範圍的搜尋。最終，在公開提供 5 萬美元懸賞後，筆記本電腦被找到了。

雖然 FBI 宣佈數據幸運地未被訪問，但該事件導致代表那些筆記本電腦上有數據的男男女女提起集體訴訟。

經過三年的訴訟，退伍軍人事務部不得不支付 2000 萬美元，以解決這起數據丟失事件。

三星

你以爲像三星這樣的電信巨頭會知道備份數據。

但在 2014 年 4 月，當韓國的三星數據中心被燒燬時，人們才意識到三星並沒有這樣做。

起初，人們以爲幾小時的手機停機是最糟糕的後果……直到三星意識到它沒有備份僅存儲在韓國服務器上的某些數據。

中心化網絡與去中心化鏡像

向CDN前進

2021年10月，Apache軟件基金會正式宣佈終結其運行了長達20多年的全球鏡像站點系統，全面擁抱商業CDN來分發其包括Hadoop、OpenOffice等在內的超350個開源項目軟件 。

CDN（Content Delivery Network，內容分發網絡）是一組分佈在不同地理位置的服務器網絡，旨在通過將內容緩存到離用戶更近的地方，提高網站的加載速度、穩定性和安全性。

ASF表示，鏡像站在56k撥號時代是唯一可行的分發手段，但在當今寬帶時代，由Fastly或Cloudflare等提供的現代CDN技術能夠爲用戶帶來更低的延遲、更穩健的連接以及更好的安全保障 。

不可替代

完整存檔

CDN 雖然替代了鏡像站的加速功能，但並沒有讓鏡像站消失。

相反，在開源生態、學術存檔、信息安全等領域，鏡像站的價值反而更加凸顯，因爲它有着 CDN 無法替代的核心優勢：

CDN 的核心是緩存，只會保留高頻訪問的內容，而鏡像站是主站的完整副本，會長期保存所有的歷史版本、歷史資源。

對於學術資源、數字存檔來說，完整的長期存檔是核心需求，鏡像站是不可替代的。

比如古騰堡計劃、arXiv 的鏡像站，依然在全球範圍內運行，確保了數字資源的永久可訪問。

公益基礎設施

絕大多數開源項目、社區都沒有足夠的預算支付商業 CDN 的費用，而全球高校、機構、社區自願維護的鏡像站，完全公益免費，是開源生態最核心的基礎設施。

對於 Linux 發行版、PyPI、npm、Maven 等開源軟件倉庫來說，鏡像站依然是它們向全球用戶提供服務的核心渠道。

信息自由

就比如說某圖書館，和某檔案

鏡像站的未來

鏡像站的本質是互聯網 “開放、平等、協作、共享” 精神的具象化體現。

從誕生之初，鏡像站就不是由商業公司驅動的，而是由全球的高校、科研機構、志願者社區自願維護，免費向所有用戶提供服務 —— 它們貢獻自己的服務器、帶寬、人力，只爲了讓數字資源能夠更平等、更穩定、更廣泛地傳播給全球的每一個用戶，沒有商業盈利，沒有流量變現，只有純粹的共享精神。

面向未來，鏡像站並不會被新技術淘汰，而是會以新的形式持續演進

IPFS（星際文件系統）等分佈式存儲技術，本質上就是鏡像站理念的延伸 —— 它通過全球的節點，將文件的副本分佈式存儲，實現內容的永久保存、全球可訪問，與鏡像站的核心目標一脈相承。

結語

在當今雲計算時代

儘管集中化的商業CDN架構在企業數據分發上已經勢不可擋

但鏡像站作爲互聯網誕生之初的原始隱喻與開源世界最重要的去中心化基石

依然在全球各地的機房機架上發出恆久的轟鳴

從 ARPANET 時代的 FTP 文件傳輸，到如今全球分佈式的開源鏡像網絡，鏡像站始終在互聯網的底層，默默支撐着數字世界的運轉。

它用最樸素的 “複製與同步”，實現了互聯網最核心的價值 —— 讓信息自由、平等地流動，抵達世界的每一個角落。

[!IMPORTANT]

信息來源網絡

信息來源

*********

USTC Open Source Software Mirror - 中國科學技術大學,

Reddit

Downloads slow, why mirrors and not CDN? - Site Feedback - Developer Forum - Blender,

A short history of the Web | CERN,

Gopher, The Competing Standard To WWW In The '90s Is Still Worth Checking Out | Hackaday,

Before the Web There Was Gopher - IEEE Computer Society,

What is GeoDNS and how does it work? - ClouDNS Blog - Cloud DNS,

Running Global Mirror for an unplanned failover and failback - IBM

--- 本文使用小黑盒編輯器輔助排版 ---