大家好,通过第一篇相信大家都已经成功部署了自己的deepseek,那么本篇我先带大家了解一下我们可以在Open WebUI上进行的一些高级参数的优化,再带大家搭建自己的个人知识库,并告诉大家如何实现远程调用,下一篇我再带大家将我们的本地模型接入到微信或QQ来实现群内的ai助理和最懂你的赛博女友。
本栏共分为三篇进行讲解:
第一篇:本地部署deepseek远程调用!构建知识库,接入微信【保姆级教程】——第一篇
第二篇:本地部署deepseek远程调用!构建知识库,接入微信【保姆级教程】——第二篇
第三篇:
为什么将deepseek进行本地部署?
官网的服务会有次数限制,经常会遇到服务繁忙,而在本地部署好后,我们就可以实时即开即用,而且数据都在本地,安全隐私都有保障,且可以问一些你懂得的问题
为什么使用ollama进行本地部署?
ollama可以将大模型部署在本地的服务器上,可以通过HTTP或者WebSocket等接口随时随地的为您提供稳定的服务,并且把API分享给其他软件,实现其他软件的AI调用
ollama的CLI架构更加轻量,资源占用更少,更加适合显卡存不大的用户
ollama会直接帮我们配置好了一些东西,GPU都是不需要我们微调的
一、Open WebUI优化
进入后是一个很简洁的对话框,我们是今天才安装上的,所以这边,就只有一个我发的这个你好。
主界面
点击左下角你的名字,进入设置选项,在这里我们可以设置界面的颜色,开启桌面通知,系统提示词,个性化功能的这个记忆可以打开,还有语音对话,账号里还可以看到你的API密钥,还有外部连接,联网搜索,功能非常多,非常的全面
记忆功能
我们还可以以文档下载我们的对话记录
对话记录导出
接着右边还有对话高级设置,这边他也有一个系统提示词,再往下有更多的高级设置,流式对话响应,函数调用,生成随机种子,停止序列,温度(越高的话就是回答就会越有创造性),推理努力程度,上下文长度(可以小点,不需要很大),批大小,最大token数,再往下就是ollama的一些参数调整,下面CPU调整我们我们可以调到20,再GPU层数调整,GPU层数可以调的非常高
对话高级设置
二、个人知识库的搭建
首先在主界面左侧有一个工作空间栏目,我们点击他,这里有模型,知识库,提示词,工具
工作空间
我们用到的是这个知识库,右侧加号新建一个知识库,按照提示输入后,我们创建,这边我们可以上传文件,上传目录,同步目录,添加文本内容,我就直接搜索一些文本内容填写了进去
知识库
打开新对话,在输入框中输入#号,这样就可以来选择我们需要的知识库,我们给个问题看看能不能帮我们整理出来,思考一分钟,也是成功整理了出来
这里就可以将我们的个人历程、资料添加进去,进行快速的归纳总结
调用知识库
三、远程调用
(一)、局域网调用
Open WebUI自身就支持局域网串流,在命令行工具内输入ipconfig并执行,复制ipv4地址,然后在同网络下的另一台设备浏览器内输入ipv4地址:3000就可以进入Open WebUI的登录界面了
手机
电脑
(二)、公网调用
这里有两种办法,分别是使用ddns-go进行域名解析,这是一种很稳定的方法,但需要购买域名,最低1元(但需要注意自动续费规则);另一种是完全免费,使用皎月连进行p2p内网穿透,实现类似于局域网内调用,但可能会出现断开连接的状况(很少出现)
每种方法我都会进行详细的指引,相信只要跟着我一步一步进行,你一定可以完美的将一套配置走下来
第一种:ddns-go域名解析
ddns-go会将电脑与域名绑定,然后每隔10分钟查询一下主机的IP地址,并且和域名绑定,这样我们直接在地址里面填写域名+端口号就可以成功访问电脑当前端口的内容了,原理很简单,下面我们开始一步一步进行
首先浏览器直接搜索ddns-go,进入到Github的ddns-go库内,找到release查看下载内容,并找到电脑对应版本的压缩包
下载对应版本安装包
下载好后对安装包进行解压并保存到系统的C盘相应(不知道的就放在C:\Program Files (x86)路径下)位置下,最好将名字改成ddns-go方便接下来操作
接下来我们需要购买一个我们自己的域名,这里我是在阿里云购买,浏览器搜索阿里云,进入阿里云官网,没有注册过的需要进行注册(使用支付宝扫码注册就可以)
注册阿里云
注册后需要进行个人身份验证,同样也可以使用支付宝验证
个人身份认证
接下来进入域名的购买界面这里可以输入自己想要的名称,然后进行搜索,找最便宜的买就可以,但要注意续费规则,有的第二年续费就贵了
注意续费规则
点击立即购买,会提醒你选择域名持有者的信息模板,按照页面的流程依次输入信息
提示创建信息模板
依次输入信息
创建信息模板后,还要对模板进行实名认证,点击上传身份证,输入其他信息,电子邮箱需要邮箱验证,在邮箱内点击链接即可完成邮箱验证,信息提交后,等待注册局审核
回到订单详情界面,刷新后会变成注册局审核中,稍微等10分钟,就会在手机上收到成功通知,再次刷新页面,显示为实名成功,这样我们就可以继续进行付款了
点击购买,完成付款后,我们就算是拥有了自己的域名了,然后我们触碰右上角的头像,点击SAccessKey管理,创建AccessKey,这里需要进行安全验证,验证之后,把创建好的AccessKey下载并保存,这个需要输入到ddns-go内
接下来我们就开始配置ddns-go了,首先用管理员身份打开cmd
管理员身份打开cmd
接着输入cd C:\Program Files (x86)\ddns-go(是按照我上边说的目录复制的就按照这个cd,如果不是就cd到你电脑上ddns-go的文件夹),在终端中输入启动命令.\ddns-go.exe -s install
Windows是.\ddns-go.exe -s install
Mac/Linux是sudo ./ddns-go -s install
这里给出一些ddns-go提供的命令
卸载服务:
Mac/Linux: sudo ./ddns-go -s uninstall
Win(以管理员打开cmd): .\ddns-go.exe -s uninstall
支持安装带参数
-l 监听地址
-f 同步间隔时间(秒)
-cacheTimes 间隔N次与服务商比对
-c 自定义配置文件路径
-noweb 不启动web服务
-skipVerify 跳过证书验证
-dns 自定义 DNS 服务器
-resetPassword 重置密码
输入指令后,当看到终端提示ddns-go服务已经成功运行后,我们打开浏览器,输入电脑的IP地址:9876(默认端口号),首次登录不需要密码,点击登录,进入到ddns-go的配置页面,这里设置项目很多,我们只需要将我们刚才保存的AccessKey填写到指定位置
接下来将IPv4或者IPv6的获取IP方式更改为通过网卡获取,并在下面Domains栏目中输入我们刚注册的域名(这里可以是主域名也可以是子域名),之后点击最下方的保存,网页最上方会出现保存是否成功,和是否解析的弹窗通知
同时我们也可以去阿里云查看是否解析成功
阿里云解析记录
到这你就可以随时随地通过域名:3000来进行远程访问调用你的本地大模型,你的知识库了。
通过域名:3000进行远程访问
域名+ddns-go这一套不仅仅可以用作我们这个远程访问,你还可以使用ddns-go进行串流,或者为你的NAS配置ddns-go等等,所以这个域名购买的用处还是挺大的。
第二种:皎月连进行内网穿透
这种方式是真的超级简单,首先搜索皎月连官网https://www.natpierce.cn(皎月连并没有可以在iOS/Mac系统内运行的支持),下载安装对应版本,之后我们可以在隐藏的图标内找到皎月连
右键打开主界面,这里需要进行注册登录,登录后进入服务端选项,这里需要打开组网模式并设置页面访问密码,接下来打开服务,这样我们就创建了一条隧道
皎月连
我们在另一个设备内同样下载安装皎月连,登录相同账号,登陆后在客户端就会看到我们服务端的主机名,选择进行连接,这样就实现了两台设备在同一网络环境下。
接下来我们就可以随时随地的使用服务端内给出的局域网ip:3000进行远程访问到我们的Open WebUI和本地大模型了。
本篇文章耗时较久,因为涉及到域名的注册等,耽误了进度。希望可以帮助到大家,下一篇我们会将你的本地模型接入到微信或QQ来实现群内的ai助理和最懂你的赛博女友。
原创不易,作者很需要你的点赞👍➕充电🔋,能关注作者就最好了,作者会持续分享实用的软件技巧,感谢你的支持。
更多游戏资讯请关注:电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com