大家好,通過第一篇相信大家都已經成功部署了自己的deepseek,那麼本篇我先帶大家瞭解一下我們可以在Open WebUI上進行的一些高級參數的優化,再帶大家搭建自己的個人知識庫,並告訴大家如何實現遠程調用,下一篇我再帶大家將我們的本地模型接入到微信或QQ來實現羣內的ai助理和最懂你的賽博女友。
本欄共分爲三篇進行講解:
第一篇:本地部署deepseek遠程調用!構建知識庫,接入微信【保姆級教程】——第一篇
第二篇:本地部署deepseek遠程調用!構建知識庫,接入微信【保姆級教程】——第二篇
第三篇:
爲什麼將deepseek進行本地部署?
官網的服務會有次數限制,經常會遇到服務繁忙,而在本地部署好後,我們就可以實時即開即用,而且數據都在本地,安全隱私都有保障,且可以問一些你懂得的問題
爲什麼使用ollama進行本地部署?
ollama可以將大模型部署在本地的服務器上,可以通過HTTP或者WebSocket等接口隨時隨地的爲您提供穩定的服務,並且把API分享給其他軟件,實現其他軟件的AI調用
ollama的CLI架構更加輕量,資源佔用更少,更加適合顯卡存不大的用戶
ollama會直接幫我們配置好了一些東西,GPU都是不需要我們微調的
一、Open WebUI優化
進入後是一個很簡潔的對話框,我們是今天才安裝上的,所以這邊,就只有一個我發的這個你好。
主界面
點擊左下角你的名字,進入設置選項,在這裏我們可以設置界面的顏色,開啓桌面通知,系統提示詞,個性化功能的這個記憶可以打開,還有語音對話,賬號裏還可以看到你的API密鑰,還有外部連接,聯網搜索,功能非常多,非常的全面
記憶功能
我們還可以以文檔下載我們的對話記錄
對話記錄導出
接着右邊還有對話高級設置,這邊他也有一個系統提示詞,再往下有更多的高級設置,流式對話響應,函數調用,生成隨機種子,停止序列,溫度(越高的話就是回答就會越有創造性),推理努力程度,上下文長度(可以小點,不需要很大),批大小,最大token數,再往下就是ollama的一些參數調整,下面CPU調整我們我們可以調到20,再GPU層數調整,GPU層數可以調的非常高
對話高級設置
二、個人知識庫的搭建
首先在主界面左側有一個工作空間欄目,我們點擊他,這裏有模型,知識庫,提示詞,工具
工作空間
我們用到的是這個知識庫,右側加號新建一個知識庫,按照提示輸入後,我們創建,這邊我們可以上傳文件,上傳目錄,同步目錄,添加文本內容,我就直接搜索一些文本內容填寫了進去
知識庫
打開新對話,在輸入框中輸入#號,這樣就可以來選擇我們需要的知識庫,我們給個問題看看能不能幫我們整理出來,思考一分鐘,也是成功整理了出來
這裏就可以將我們的個人歷程、資料添加進去,進行快速的歸納總結
調用知識庫
三、遠程調用
(一)、局域網調用
Open WebUI自身就支持局域網串流,在命令行工具內輸入ipconfig並執行,複製ipv4地址,然後在同網絡下的另一臺設備瀏覽器內輸入ipv4地址:3000就可以進入Open WebUI的登錄界面了
手機
電腦
(二)、公網調用
這裏有兩種辦法,分別是使用ddns-go進行域名解析,這是一種很穩定的方法,但需要購買域名,最低1元(但需要注意自動續費規則);另一種是完全免費,使用皎月連進行p2p內網穿透,實現類似於局域網內調用,但可能會出現斷開連接的狀況(很少出現)
每種方法我都會進行詳細的指引,相信只要跟着我一步一步進行,你一定可以完美的將一套配置走下來
第一種:ddns-go域名解析
ddns-go會將電腦與域名綁定,然後每隔10分鐘查詢一下主機的IP地址,並且和域名綁定,這樣我們直接在地址裏面填寫域名+端口號就可以成功訪問電腦當前端口的內容了,原理很簡單,下面我們開始一步一步進行
首先瀏覽器直接搜索ddns-go,進入到Github的ddns-go庫內,找到release查看下載內容,並找到電腦對應版本的壓縮包
下載對應版本安裝包
下載好後對安裝包進行解壓並保存到系統的C盤相應(不知道的就放在C:\Program Files (x86)路徑下)位置下,最好將名字改成ddns-go方便接下來操作
接下來我們需要購買一個我們自己的域名,這裏我是在阿里雲購買,瀏覽器搜索阿里雲,進入阿里雲官網,沒有註冊過的需要進行註冊(使用支付寶掃碼註冊就可以)
註冊阿里雲
註冊後需要進行個人身份驗證,同樣也可以使用支付寶驗證
個人身份認證
接下來進入域名的購買界面這裏可以輸入自己想要的名稱,然後進行搜索,找最便宜的買就可以,但要注意續費規則,有的第二年續費就貴了
注意續費規則
點擊立即購買,會提醒你選擇域名持有者的信息模板,按照頁面的流程依次輸入信息
提示創建信息模板
依次輸入信息
創建信息模板後,還要對模板進行實名認證,點擊上傳身份證,輸入其他信息,電子郵箱需要郵箱驗證,在郵箱內點擊鏈接即可完成郵箱驗證,信息提交後,等待註冊局審覈
回到訂單詳情界面,刷新後會變成註冊局審覈中,稍微等10分鐘,就會在手機上收到成功通知,再次刷新頁面,顯示爲實名成功,這樣我們就可以繼續進行付款了
點擊購買,完成付款後,我們就算是擁有了自己的域名了,然後我們觸碰右上角的頭像,點擊SAccessKey管理,創建AccessKey,這裏需要進行安全驗證,驗證之後,把創建好的AccessKey下載並保存,這個需要輸入到ddns-go內
接下來我們就開始配置ddns-go了,首先用管理員身份打開cmd
管理員身份打開cmd
接着輸入cd C:\Program Files (x86)\ddns-go(是按照我上邊說的目錄複製的就按照這個cd,如果不是就cd到你電腦上ddns-go的文件夾),在終端中輸入啓動命令.\ddns-go.exe -s install
Windows是.\ddns-go.exe -s install
Mac/Linux是sudo ./ddns-go -s install
這裏給出一些ddns-go提供的命令
卸載服務:
Mac/Linux: sudo ./ddns-go -s uninstall
Win(以管理員打開cmd): .\ddns-go.exe -s uninstall
支持安裝帶參數
-l 監聽地址
-f 同步間隔時間(秒)
-cacheTimes 間隔N次與服務商比對
-c 自定義配置文件路徑
-noweb 不啓動web服務
-skipVerify 跳過證書驗證
-dns 自定義 DNS 服務器
-resetPassword 重置密碼
輸入指令後,當看到終端提示ddns-go服務已經成功運行後,我們打開瀏覽器,輸入電腦的IP地址:9876(默認端口號),首次登錄不需要密碼,點擊登錄,進入到ddns-go的配置頁面,這裏設置項目很多,我們只需要將我們剛纔保存的AccessKey填寫到指定位置
接下來將IPv4或者IPv6的獲取IP方式更改爲通過網卡獲取,並在下面Domains欄目中輸入我們剛註冊的域名(這裏可以是主域名也可以是子域名),之後點擊最下方的保存,網頁最上方會出現保存是否成功,和是否解析的彈窗通知
同時我們也可以去阿里雲查看是否解析成功
阿里雲解析記錄
到這你就可以隨時隨地通過域名:3000來進行遠程訪問調用你的本地大模型,你的知識庫了。
通過域名:3000進行遠程訪問
域名+ddns-go這一套不僅僅可以用作我們這個遠程訪問,你還可以使用ddns-go進行串流,或者爲你的NAS配置ddns-go等等,所以這個域名購買的用處還是挺大的。
第二種:皎月連進行內網穿透
這種方式是真的超級簡單,首先搜索皎月連官網https://www.natpierce.cn(皎月連並沒有可以在iOS/Mac系統內運行的支持),下載安裝對應版本,之後我們可以在隱藏的圖標內找到皎月連
右鍵打開主界面,這裏需要進行註冊登錄,登錄後進入服務端選項,這裏需要打開組網模式並設置頁面訪問密碼,接下來打開服務,這樣我們就創建了一條隧道
皎月連
我們在另一個設備內同樣下載安裝皎月連,登錄相同賬號,登陸後在客戶端就會看到我們服務端的主機名,選擇進行連接,這樣就實現了兩臺設備在同一網絡環境下。
接下來我們就可以隨時隨地的使用服務端內給出的局域網ip:3000進行遠程訪問到我們的Open WebUI和本地大模型了。
本篇文章耗時較久,因爲涉及到域名的註冊等,耽誤了進度。希望可以幫助到大家,下一篇我們會將你的本地模型接入到微信或QQ來實現羣內的ai助理和最懂你的賽博女友。
原創不易,作者很需要你的點贊👍➕充電🔋,能關注作者就最好了,作者會持續分享實用的軟件技巧,感謝你的支持。
更多遊戲資訊請關註:電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com