本地部署deepseek远程调用!构建知识库,接入微信【保姆级教程】

大家好,通过第一篇相信大家都已经成功部署了自己的deepseek,那么本篇我先带大家了解一下我们可以在Open WebUI上进行的一些高级参数的优化,再带大家搭建自己的个人知识库,并告诉大家如何实现远程调用,下一篇我再带大家将我们的本地模型接入到微信或QQ来实现群内的ai助理和最懂你的赛博女友。

本栏共分为三篇进行讲解:

第一篇:本地部署deepseek远程调用!构建知识库,接入微信【保姆级教程】——第一篇

第二篇:本地部署deepseek远程调用!构建知识库,接入微信【保姆级教程】——第二篇

第三篇:

为什么将deepseek进行本地部署?

官网的服务会有次数限制,经常会遇到服务繁忙,而在本地部署好后,我们就可以实时即开即用,而且数据都在本地,安全隐私都有保障,且可以问一些你懂得的问题

为什么使用ollama进行本地部署?

ollama可以将大模型部署在本地的服务器上,可以通过HTTP或者WebSocket等接口随时随地的为您提供稳定的服务,并且把API分享给其他软件,实现其他软件的AI调用

ollama的CLI架构更加轻量,资源占用更少,更加适合显卡存不大的用户

ollama会直接帮我们配置好了一些东西,GPU都是不需要我们微调的

一、Open WebUI优化

进入后是一个很简洁的对话框,我们是今天才安装上的,所以这边,就只有一个我发的这个你好。

主界面

点击左下角你的名字,进入设置选项,在这里我们可以设置界面的颜色开启桌面通知系统提示词,个性化功能的这个记忆可以打开,还有语音对话,账号里还可以看到你的API密钥,还有外部连接联网搜索,功能非常多,非常的全面

记忆功能

我们还可以以文档下载我们的对话记录

对话记录导出

接着右边还有对话高级设置,这边他也有一个系统提示词,再往下有更多的高级设置,流式对话响应,函数调用,生成随机种子,停止序列,温度(越高的话就是回答就会越有创造性),推理努力程度,上下文长度(可以小点,不需要很大),批大小,最大token数,再往下就是ollama的一些参数调整,下面CPU调整我们我们可以调到20,再GPU层数调整,GPU层数可以调的非常高

对话高级设置

二、个人知识库的搭建

首先在主界面左侧有一个工作空间栏目,我们点击他,这里有模型,知识库,提示词,工具

工作空间

我们用到的是这个知识库,右侧加号新建一个知识库,按照提示输入后,我们创建,这边我们可以上传文件上传目录同步目录添加文本内容,我就直接搜索一些文本内容填写了进去

知识库

打开新对话,在输入框中输入#号,这样就可以来选择我们需要的知识库,我们给个问题看看能不能帮我们整理出来,思考一分钟,也是成功整理了出来

这里就可以将我们的个人历程、资料添加进去,进行快速的归纳总结

调用知识库

三、远程调用

(一)、局域网调用

Open WebUI自身就支持局域网串流,在命令行工具内输入ipconfig并执行,复制ipv4地址,然后在同网络下的另一台设备浏览器内输入ipv4地址:3000就可以进入Open WebUI的登录界面了

手机

电脑

(二)、公网调用

这里有两种办法,分别是使用ddns-go进行域名解析,这是一种很稳定的方法,但需要购买域名,最低1元(但需要注意自动续费规则);另一种是完全免费,使用皎月连进行p2p内网穿透,实现类似于局域网内调用,但可能会出现断开连接的状况(很少出现)

每种方法我都会进行详细的指引,相信只要跟着我一步一步进行,你一定可以完美的将一套配置走下来

第一种:ddns-go域名解析

ddns-go会将电脑与域名绑定,然后每隔10分钟查询一下主机的IP地址,并且和域名绑定,这样我们直接在地址里面填写域名+端口号就可以成功访问电脑当前端口的内容了,原理很简单,下面我们开始一步一步进行

首先浏览器直接搜索ddns-go,进入到Github的ddns-go库内,找到release查看下载内容,并找到电脑对应版本的压缩包

下载对应版本安装包

下载好后对安装包进行解压并保存到系统的C盘相应(不知道的就放在C:\Program Files (x86)路径下)位置下,最好将名字改成ddns-go方便接下来操作

接下来我们需要购买一个我们自己的域名,这里我是在阿里云购买,浏览器搜索阿里云,进入阿里云官网,没有注册过的需要进行注册(使用支付宝扫码注册就可以)

注册阿里云

注册后需要进行个人身份验证,同样也可以使用支付宝验证

个人身份认证

接下来进入域名的购买界面这里可以输入自己想要的名称,然后进行搜索,找最便宜的买就可以,但要注意续费规则,有的第二年续费就贵了

注意续费规则

点击立即购买,会提醒你选择域名持有者的信息模板,按照页面的流程依次输入信息

提示创建信息模板

依次输入信息

创建信息模板后,还要对模板进行实名认证,点击上传身份证,输入其他信息,电子邮箱需要邮箱验证,在邮箱内点击链接即可完成邮箱验证,信息提交后,等待注册局审核

回到订单详情界面,刷新后会变成注册局审核中,稍微等10分钟,就会在手机上收到成功通知,再次刷新页面,显示为实名成功,这样我们就可以继续进行付款了

点击购买,完成付款后,我们就算是拥有了自己的域名了,然后我们触碰右上角的头像,点击SAccessKey管理,创建AccessKey,这里需要进行安全验证,验证之后,把创建好的AccessKey下载并保存,这个需要输入到ddns-go内

接下来我们就开始配置ddns-go了,首先用管理员身份打开cmd

管理员身份打开cmd

接着输入cd C:\Program Files (x86)\ddns-go(是按照我上边说的目录复制的就按照这个cd,如果不是就cd到你电脑上ddns-go的文件夹),在终端中输入启动命令.\ddns-go.exe -s install

Windows是.\ddns-go.exe -s install

Mac/Linux是sudo ./ddns-go -s install

这里给出一些ddns-go提供的命令

卸载服务:

Mac/Linux: sudo ./ddns-go -s uninstall

Win(以管理员打开cmd): .\ddns-go.exe -s uninstall

支持安装带参数

-l 监听地址

-f 同步间隔时间(秒)

-cacheTimes 间隔N次与服务商比对

-c 自定义配置文件路径

-noweb 不启动web服务

-skipVerify 跳过证书验证

-dns 自定义 DNS 服务器

-resetPassword 重置密码

输入指令后,当看到终端提示ddns-go服务已经成功运行后,我们打开浏览器,输入电脑的IP地址:9876(默认端口号),首次登录不需要密码,点击登录,进入到ddns-go的配置页面,这里设置项目很多,我们只需要将我们刚才保存的AccessKey填写到指定位置

接下来将IPv4或者IPv6的获取IP方式更改为通过网卡获取,并在下面Domains栏目中输入我们刚注册的域名(这里可以是主域名也可以是子域名),之后点击最下方的保存,网页最上方会出现保存是否成功,和是否解析的弹窗通知

同时我们也可以去阿里云查看是否解析成功

阿里云解析记录

到这你就可以随时随地通过域名:3000来进行远程访问调用你的本地大模型,你的知识库了。

通过域名:3000进行远程访问

域名+ddns-go这一套不仅仅可以用作我们这个远程访问,你还可以使用ddns-go进行串流,或者为你的NAS配置ddns-go等等,所以这个域名购买的用处还是挺大的。

第二种:皎月连进行内网穿透

这种方式是真的超级简单,首先搜索皎月连官网https://www.natpierce.cn(皎月连并没有可以在iOS/Mac系统内运行的支持),下载安装对应版本,之后我们可以在隐藏的图标内找到皎月连

右键打开主界面,这里需要进行注册登录,登录后进入服务端选项,这里需要打开组网模式并设置页面访问密码,接下来打开服务,这样我们就创建了一条隧道

皎月连

我们在另一个设备内同样下载安装皎月连,登录相同账号,登陆后在客户端就会看到我们服务端的主机名,选择进行连接,这样就实现了两台设备在同一网络环境下。

接下来我们就可以随时随地的使用服务端内给出的局域网ip:3000进行远程访问到我们的Open WebUI和本地大模型了。

本篇文章耗时较久,因为涉及到域名的注册等,耽误了进度。希望可以帮助到大家,下一篇我们会将你的本地模型接入到微信或QQ来实现群内的ai助理和最懂你的赛博女友。

原创不易,作者很需要你的点赞👍➕充电🔋,能关注作者就最好了,作者会持续分享实用的软件技巧,感谢你的支持。

更多游戏资讯请关注:电玩帮游戏资讯专区

电玩帮图文攻略 www.vgover.com