二手大顯存卡本地部署大模型？我勸普通人千萬不要碰

我最近幹了一件在很多人眼裏不可理喻的事情，天天泡在二手交易平臺翻箱倒櫃，試圖在 1000 到 2000 元的預算裏，拼湊出一套擁有 32GB 甚至 48GB 顯存的主機。而促使我下場折騰的直接誘因只有兩個字：震撼。Qwen3.8-27B 這一代模型的實際表現太強了，強到完全超出了我的預期。以往誰能想到一個 27B 規模的小尺寸模型，能在邏輯推理和代碼項目中爆發出這種 sonnet4 的智商？再加上剛放出的 Qwen-Image 2.1，我這幾天生成了少說也有幾百張了，只要配置好，把提示詞調教到位，生成畫面的質感和細節完全不輸 Nano Banana。

模型能力既然已經跨過實用門檻，我爲什麼非要折騰本地部署不可？理由非常純粹：很多實際項目，調 API 動輒觸發嚴苛的道德審查直接拒絕響應，要麼指不定什麼時候賬號封禁。只有運行在自己機箱裏的本地模型，纔是真正不受制於人的生產力工具。

但我也要開門見山把話挑明：這絕對不是什麼購買推薦！我十分不建議任何人去學我這麼折騰。數據無價，硬件萬一燒了或者買到有暗病的翻新卡，造成的損失根本得不償失。更何況當下二手市場這批原本幾百塊錢的服務器淘汰垃圾，硬生生被各路炒家翻倍炒上了天，現在根本就不是買顯卡的時候。

軟件沒有門檻，缺的只有顯存

市場上很多人喜歡把本地大模型部署包裝得高深莫測，張口閉口各種環境衝突和調試門檻。在我看來，所謂的部署折騰在今天根本不復存在。

現在只要在機器裏裝上 Claude Code、Codex 或者任何一種現代 Agent 工具，AI 能自動幫你拉取分支、匹配編譯參數、處理依賴衝突並掃平配置過程中的一切障礙。真正阻擋我部署的，只有物理硬件層面的顯存不足。

我手裏那些常規消費級顯卡，哪怕是 16GB 的 RTX 5060 Ti，在面對 Qwen3.8-27B 時也立刻捉襟見肘。Q4 量化後的 27B 模型本體就要喫掉接近 14GB 空間，留給上下文緩存和計算緩衝區的餘量僅剩區區 2GB 不到。一旦接入 Agent 讓模型接手長上下文的任務，馬上就 OOM 給你看。而二手市場上 24GB 顯存的 RTX 3090 或者 4090 已經完全不是我們普通人能買得起的，因此我才被迫將目光轉向二手服務器舊卡。

垃圾堆裏翻出來的四個方案

在 1000 到 2000 元的預算限制下，我在二手工業卡市場中梳理出了四套勉強能夠落地的方案。

綜合權衡後，兩張 Tesla P100 16GB PCIe 是我目前在這堆洋垃圾裏淘出來的最均衡組合。總開銷在 1200 到 1800 元之間，就能湊齊 32GB 的總顯存。它的核心長處在於搭載了 HBM2 高帶寬顆粒，傳輸帶寬高達 732GB/s，在運行 14B 和 32B 的 Q4 量化模型時，吐字速度讓人非常滿意。同時 NVIDIA 的 CUDA 生態要成熟得多，編譯時指定對應的架構參數即可平穩啓動。唯一必須警惕的是，P100 屬於老舊的 Pascal 架構，NVIDIA 最新的 CUDA 13 已經移除了對它的離線編譯支持，軟件工具鏈只能在 CUDA 12 版本。

如果你把顯存容量放在第一位，非要強行挑戰 70B 等級的模型，那麼兩張 Tesla P40 24GB 是預算內唯一能給你 48GB 顯存的選項，總價在 1600 到 2000 元上下。但這套方案的缺點讓人極其難受：P40 採用的是老舊的 GDDR5 顆粒，傳輸帶寬只有可憐的 346GB/s 左右，缺失現代張量單元，量化推理速度緩慢得讓人心焦。更要命的是兩張卡滿載功耗高達 500W，機箱內部簡直像個高溫烤箱，如果冬天在家裏一卡兩用同時供暖的話可以考慮。

至於 AMD 陣營，完整版的 Radeon Pro V340 是一張極具迷惑性的單卡雙芯設備。這張卡只有價格被壓到 1500 元以內才值得看上一眼。它內部封裝了兩個 Vega 10 核心以及總計 32GB 的 HBM2 顯存，規格看似誘人，但官方 ROCm 早已將該架構移除出維護名單，只能在 Linux 系統下依賴 Vulkan 接口，也沒找到其他人的折騰記錄。

另一張單卡選擇是 AMD Instinct MI60 32GB，價格在 1500 到 2000 元浮動。它的優勢是純粹的單卡 32GB 顯存與 1TB/s 的驚人帶寬，徹底規避了雙卡切層的通信損耗。但同樣的，官方驅動生態對其極不友好。

二手市場處處是坑，普通玩家勸你收手

二手工業卡市場的渾水極深，充斥着各種投機倒把和偷樑換柱的操作，稍微不留神就會把一堆廢鐵買回家。

在挑買 P100 時，必須睜大眼睛認準 PCIe 接口版本。大量異常廉價的貨源使用的是 SXM 或者 SXM2 規格，那是服務器專用插槽，普通家用電腦主板根本插不進去。至於老態龍鍾的 Tesla K80 和 M40，架構早被時代徹底淘汰，不僅算力孱弱還極其耗電，純屬浪費精力的電子垃圾。

哪怕你僥倖買到了型號正確的顯卡，散熱改造也是一道必須親自跨過的難關。這類工業計算卡全是被動散熱設計，通體沒有任何風扇，如果直接塞進家用機箱跑高負載推理，芯片會在數分鐘內過熱保護降頻甚至直接死機。加裝暴力渦輪風扇和自制導風罩是能用的強制前提。而雙卡高負荷運轉時帶來的瞬間電流衝擊，對電源品質的要求極其苛刻，沒有 850W 以上的優質電源做後盾，整機隨時面臨斷電重啓的風險。