本地部署deepseek遠程調用!構建知識庫,接入微信【保姆級教程】

大家好,通過第一篇相信大家都已經成功部署了自己的deepseek,那麼本篇我先帶大家瞭解一下我們可以在Open WebUI上進行的一些高級參數的優化,再帶大家搭建自己的個人知識庫,並告訴大家如何實現遠程調用,下一篇我再帶大家將我們的本地模型接入到微信或QQ來實現羣內的ai助理和最懂你的賽博女友。

本欄共分爲三篇進行講解:

第一篇:本地部署deepseek遠程調用!構建知識庫,接入微信【保姆級教程】——第一篇

第二篇:本地部署deepseek遠程調用!構建知識庫,接入微信【保姆級教程】——第二篇

第三篇:

爲什麼將deepseek進行本地部署?

官網的服務會有次數限制,經常會遇到服務繁忙,而在本地部署好後,我們就可以實時即開即用,而且數據都在本地,安全隱私都有保障,且可以問一些你懂得的問題

爲什麼使用ollama進行本地部署?

ollama可以將大模型部署在本地的服務器上,可以通過HTTP或者WebSocket等接口隨時隨地的爲您提供穩定的服務,並且把API分享給其他軟件,實現其他軟件的AI調用

ollama的CLI架構更加輕量,資源佔用更少,更加適合顯卡存不大的用戶

ollama會直接幫我們配置好了一些東西,GPU都是不需要我們微調的

一、Open WebUI優化

進入後是一個很簡潔的對話框,我們是今天才安裝上的,所以這邊,就只有一個我發的這個你好。

主界面

點擊左下角你的名字,進入設置選項,在這裏我們可以設置界面的顏色開啓桌面通知系統提示詞,個性化功能的這個記憶可以打開,還有語音對話,賬號裏還可以看到你的API密鑰,還有外部連接聯網搜索,功能非常多,非常的全面

記憶功能

我們還可以以文檔下載我們的對話記錄

對話記錄導出

接着右邊還有對話高級設置,這邊他也有一個系統提示詞,再往下有更多的高級設置,流式對話響應,函數調用,生成隨機種子,停止序列,溫度(越高的話就是回答就會越有創造性),推理努力程度,上下文長度(可以小點,不需要很大),批大小,最大token數,再往下就是ollama的一些參數調整,下面CPU調整我們我們可以調到20,再GPU層數調整,GPU層數可以調的非常高

對話高級設置

二、個人知識庫的搭建

首先在主界面左側有一個工作空間欄目,我們點擊他,這裏有模型,知識庫,提示詞,工具

工作空間

我們用到的是這個知識庫,右側加號新建一個知識庫,按照提示輸入後,我們創建,這邊我們可以上傳文件上傳目錄同步目錄添加文本內容,我就直接搜索一些文本內容填寫了進去

知識庫

打開新對話,在輸入框中輸入#號,這樣就可以來選擇我們需要的知識庫,我們給個問題看看能不能幫我們整理出來,思考一分鐘,也是成功整理了出來

這裏就可以將我們的個人歷程、資料添加進去,進行快速的歸納總結

調用知識庫

三、遠程調用

(一)、局域網調用

Open WebUI自身就支持局域網串流,在命令行工具內輸入ipconfig並執行,複製ipv4地址,然後在同網絡下的另一臺設備瀏覽器內輸入ipv4地址:3000就可以進入Open WebUI的登錄界面了

手機

電腦

(二)、公網調用

這裏有兩種辦法,分別是使用ddns-go進行域名解析,這是一種很穩定的方法,但需要購買域名,最低1元(但需要注意自動續費規則);另一種是完全免費,使用皎月連進行p2p內網穿透,實現類似於局域網內調用,但可能會出現斷開連接的狀況(很少出現)

每種方法我都會進行詳細的指引,相信只要跟着我一步一步進行,你一定可以完美的將一套配置走下來

第一種:ddns-go域名解析

ddns-go會將電腦與域名綁定,然後每隔10分鐘查詢一下主機的IP地址,並且和域名綁定,這樣我們直接在地址裏面填寫域名+端口號就可以成功訪問電腦當前端口的內容了,原理很簡單,下面我們開始一步一步進行

首先瀏覽器直接搜索ddns-go,進入到Github的ddns-go庫內,找到release查看下載內容,並找到電腦對應版本的壓縮包

下載對應版本安裝包

下載好後對安裝包進行解壓並保存到系統的C盤相應(不知道的就放在C:\Program Files (x86)路徑下)位置下,最好將名字改成ddns-go方便接下來操作

接下來我們需要購買一個我們自己的域名,這裏我是在阿里雲購買,瀏覽器搜索阿里雲,進入阿里雲官網,沒有註冊過的需要進行註冊(使用支付寶掃碼註冊就可以)

註冊阿里雲

註冊後需要進行個人身份驗證,同樣也可以使用支付寶驗證

個人身份認證

接下來進入域名的購買界面這裏可以輸入自己想要的名稱,然後進行搜索,找最便宜的買就可以,但要注意續費規則,有的第二年續費就貴了

注意續費規則

點擊立即購買,會提醒你選擇域名持有者的信息模板,按照頁面的流程依次輸入信息

提示創建信息模板

依次輸入信息

創建信息模板後,還要對模板進行實名認證,點擊上傳身份證,輸入其他信息,電子郵箱需要郵箱驗證,在郵箱內點擊鏈接即可完成郵箱驗證,信息提交後,等待註冊局審覈

回到訂單詳情界面,刷新後會變成註冊局審覈中,稍微等10分鐘,就會在手機上收到成功通知,再次刷新頁面,顯示爲實名成功,這樣我們就可以繼續進行付款了

點擊購買,完成付款後,我們就算是擁有了自己的域名了,然後我們觸碰右上角的頭像,點擊SAccessKey管理,創建AccessKey,這裏需要進行安全驗證,驗證之後,把創建好的AccessKey下載並保存,這個需要輸入到ddns-go內

接下來我們就開始配置ddns-go了,首先用管理員身份打開cmd

管理員身份打開cmd

接着輸入cd C:\Program Files (x86)\ddns-go(是按照我上邊說的目錄複製的就按照這個cd,如果不是就cd到你電腦上ddns-go的文件夾),在終端中輸入啓動命令.\ddns-go.exe -s install

Windows是.\ddns-go.exe -s install

Mac/Linux是sudo ./ddns-go -s install

這裏給出一些ddns-go提供的命令

卸載服務:

Mac/Linux: sudo ./ddns-go -s uninstall

Win(以管理員打開cmd): .\ddns-go.exe -s uninstall

支持安裝帶參數

-l 監聽地址

-f 同步間隔時間(秒)

-cacheTimes 間隔N次與服務商比對

-c 自定義配置文件路徑

-noweb 不啓動web服務

-skipVerify 跳過證書驗證

-dns 自定義 DNS 服務器

-resetPassword 重置密碼

輸入指令後,當看到終端提示ddns-go服務已經成功運行後,我們打開瀏覽器,輸入電腦的IP地址:9876(默認端口號),首次登錄不需要密碼,點擊登錄,進入到ddns-go的配置頁面,這裏設置項目很多,我們只需要將我們剛纔保存的AccessKey填寫到指定位置

接下來將IPv4或者IPv6的獲取IP方式更改爲通過網卡獲取,並在下面Domains欄目中輸入我們剛註冊的域名(這裏可以是主域名也可以是子域名),之後點擊最下方的保存,網頁最上方會出現保存是否成功,和是否解析的彈窗通知

同時我們也可以去阿里雲查看是否解析成功

阿里雲解析記錄

到這你就可以隨時隨地通過域名:3000來進行遠程訪問調用你的本地大模型,你的知識庫了。

通過域名:3000進行遠程訪問

域名+ddns-go這一套不僅僅可以用作我們這個遠程訪問,你還可以使用ddns-go進行串流,或者爲你的NAS配置ddns-go等等,所以這個域名購買的用處還是挺大的。

第二種:皎月連進行內網穿透

這種方式是真的超級簡單,首先搜索皎月連官網https://www.natpierce.cn(皎月連並沒有可以在iOS/Mac系統內運行的支持),下載安裝對應版本,之後我們可以在隱藏的圖標內找到皎月連

右鍵打開主界面,這裏需要進行註冊登錄,登錄後進入服務端選項,這裏需要打開組網模式並設置頁面訪問密碼,接下來打開服務,這樣我們就創建了一條隧道

皎月連

我們在另一個設備內同樣下載安裝皎月連,登錄相同賬號,登陸後在客戶端就會看到我們服務端的主機名,選擇進行連接,這樣就實現了兩臺設備在同一網絡環境下。

接下來我們就可以隨時隨地的使用服務端內給出的局域網ip:3000進行遠程訪問到我們的Open WebUI和本地大模型了。

本篇文章耗時較久,因爲涉及到域名的註冊等,耽誤了進度。希望可以幫助到大家,下一篇我們會將你的本地模型接入到微信或QQ來實現羣內的ai助理和最懂你的賽博女友。

原創不易,作者很需要你的點贊👍➕充電🔋,能關注作者就最好了,作者會持續分享實用的軟件技巧,感謝你的支持。

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com