本地大模型部署推薦（破限模型，翻譯模型，全能模型）

隨着Deepseek-R1的發佈，部署本地大模型的熱度似乎也高了起來，但是Deepseek-R1真的適合在本地部署嗎？

嚴正聲明：本文章並沒有踩一捧一，不同用戶所需要的功能不同，如果你覺得Deepseek-R1部署在本地後已經可以滿足你的所有要求，那麼請退出本文，不要在評論區發表引戰言論，本文純粹站在作者個人的立場上來比較哪個模型適合日常使用。

使用LM Studio部署本地模型請看我寫的上一篇文章：LM Studio 替換鏡像網站，實現軟件內下載模型

首先，Deepseek-R1是一個非常強大的模型，但是那是原始模型，即671B的版本，家用電腦能帶動的一般就是8B～32B這幾個模型，這些模型都是基於Qwen、llama模型蒸餾得來的，這些模型和你在Deepseek官網和軟件裏體驗的模型有極大的差別，而且Deepseek-R1的深度思考功能在本地部署的情況下，絕大部分用戶讓其處理的只是簡單的指令，這時深度思考所需要的時間反而成爲了累贅，而且所謂的Deepseek-R1-abliterated（破限）模型，他能輸出的破限內容極其雞肋，具體對比可以看下圖，下圖中三個模型的prompt和對話順序都是一樣的。

從左到右分別是：Mistral-Nemo-Instruct-2407，Deepseek-R1:8B，DeepSeek-R1-Distill-Llama-8B-Abliterated

因此，我並不推薦Deepseek-R1進行本地部署，除非你能部署70B～671B的模型。

很多人在選擇模型下載時，看到量化版本有這麼多都蒙了，

這時我們需要就瞭解模型量化後面型號的命名規則，這裏我放出一張圖，是在逛論壇時看到的，極其建議收藏！

原帖地址：https://cyberbus.net/post/204

一般來說，我更推薦使用使用Q_4開頭的量化版本，量化體積越小，模型所能理解你說話的能力就越差，甚至可能出現胡言亂語；量化體積越大，所需要的顯存也就越大。選擇一個適中的足矣應對日常使用。

前話說完了，下面開始正式推薦本地大模型，在本文中，我會推薦3個模型，我會詳細說明他們適合的工作，以及一些小缺點

第一個：Mistral-Nemo-Instruct-2407

爲什麼先推薦這個絕大多數人都沒有聽說過的名不見經傳的模型呢？最重要的原因就是它是大家呼聲最高的破限模型，他能夠輸出NSFW（Not Save For Work）內容，中文能力很強，角色扮演上也是相當強，唯一的不足是即使告訴它對話中要全程說中文它有時候也會抽風輸出英文，這裏可以用一個prompt來遏制它抽風說英文的行爲：【從現在起，你和我的對話只能使用中文，無論我使用什麼語言，你必須使用中文回覆我，你只能輸出中文而非其他任何語言。】

大家會說HuggingFace上有那麼多標註爲uncensored的模型，爲什麼推薦這個？uncensored模型不是說隨便塞進來一堆莫名其妙的東西就能成爲NSFW模型，這個模型是我體驗過的中文能力，破限尺度，輸出內容等綜合能力在破限模型中最強的模型（當然你如果體驗過更好的也可以在評論區告訴我）

第二個：Qwen2.5-7B-Instruct-1M

這個模型是我是拿來當英語翻譯模型的，當然，這是一個全能模型，它的多語言能力很強，而且由於它是中文模型，它翻譯英文的能力要比Google推出的Gemma2模型要更強，翻譯出的譯文要比Gemma2更加優美流暢。

我這裏給兩個我翻譯時使用的prompt：【下面我讓你來充當翻譯家，我只會使用中文外的其他任何語言和你交流，你的目標是把任何語言翻譯成中文，你只能輸出中文而非其他任何語言，無論我發送的句子是什麼句式，你都要把他翻譯成中文，不能輸出其他任何和我發送的句子無關的內容，翻譯的時候不要翻譯人名，如果單行內容只有標點符號，請直接跳過，不要做出解釋或者輸出其他非原文文本中的話。請翻譯時不要更改原文的排版，將翻譯內容按照原文排版輸出。】【下面我讓你來充當翻譯家，我只會使用中文外的其他任何語言和你交流，你的目標是把任何語言翻譯成中文，你只能輸出中文而非其他任何語言，無論我發送的句子是什麼句式，你都要把他翻譯成中文，不能輸出其他任何和我發送的句子無關的內容，翻譯的時候不要翻譯人名，如果單行內容只有標點符號，請直接跳過，不要做出解釋或者輸出其他非原文文本中的話。請翻譯時不要帶翻譯腔，而是要翻譯得自然、流暢和地道，使用優美和高雅的表達方式。】

它擁有1Mtokens的上下文理解能力，可以搭配AITranslator，mtool，沉浸式翻譯，卡卡字幕助手來翻譯RPG遊戲，SRT字幕，英文小說，生肉視頻一鍵生成字幕，這些功能需要搭配LM Studio開發者模式將本地大模型通過API調用的方式開放給其他軟件使用，我這裏一圖流說明一下：

第三個：Sa*****LM/GalTransl-7B-v2.6

由名字很容易看出來，這個模型是對於日語輕小說、視覺小說（Galgame）翻譯任務進行了專項優化，這個版本支持GPT詞典，GPT詞典詳細使用說明請看GitHub項目：

這個模型是基於Sa*****LM微調的，並不支持直接進行對話，即使和他對話也會輸出一些莫名其妙的內容，這個模型是翻譯專用模型，建議配合LunaTranslator使用，v2.5模型兼容sakura 0.10的prompt，推薦溫度0.2；Top P 0.8；重複懲罰+0.1，按照下圖我這樣設置就可以了。