Ollama 快速部署的本地化大模型

各位好久不见,基于上次Unturned的开服教程以及插件教学后很久没有更新了,在这里跟大家说一声

--- 非常抱歉!!!

本人因从事Java后端开发导致无法按时更新,本文章也并没有按照上次的投票结果来编写

Minecraft-Server 的开服教程 在这里还是和大家说一声抱歉。

目前已经有很多有创意,而且更适合萌新,小白,有基础或完全无基础的文章,视频,博客

过段时间一定会给大家写的!!!

唠叨了很多,接下来进入本次文章的主题

Ollama 本地化快速部署的专项大数据模型

Ollama 羊驼欸

Ollama 是一款使大型语言模型的部署交互变得简单而存在的一个平台

官网地址: Ollama

GitHub: Ollama

Ollama的存在使一些大型的语言模型可以快速部署在本地服务器或个人电脑上,可以在无网络等特殊环境下咨询问题,交流,探讨,也可以使个人博客,网页,群机器人,本地数据分析等功能得到快速,可编辑,可自定义的选项。是个人运行,部署,研究的不二之选

老规矩,准备好椅子,让我们开始本地化部署的准备工作

  1. 环境准备 Node.js,npm包管理器,仅需两项即可完成环境准备  

  2. 安装Node.js 前往官网 Node.js — 在任何地方运行 JavaScriptNode.js — 在任何地方运行 JavaScript 下载

点击下载Node.js (LTS)即可

  1. 下载完成后按照流程安装即可,配置无需选择

  2. 安装完成后使用命令行校验是否安装并添加环境变量 

    Win + R 输入 CMD

大小写均可

回车打开命令行

输入node -v 回车

正确安装后会弹出已安装的版本号,至此Node.js安装成功 如果您不确定安装时需要选择的配置吗,可以自行百度,此处不做多余篇幅讲解 (很通俗易懂哦)

NPM 包管理器安装

  1. 在node安装过程中会自动安装npm 两者同属一个公司,此时再次打开命令行输入

npm -v

回车和node一样会显示版本号,至此npm包管理器安装完成

恭喜你完成了准备工作!!!

安装 Ollama(羊驼!!!)

前往官网: Ollama

点击下载即可

下载后安装即可,自动安装至C盘,无法更改!!! 无法更改!!! 无法更改!!!

请确认C盘空间!!!

安装完成后我们需要配置一下模型下载地址,不然默认安装C盘会导致占用空间剧增(一个模型最少1.5G起步)

Win + i 或者任意方式打开Windows设置

系统 -> 关于 -> 高级系统设置 (直接Win 搜索也可以)

在相关设置倒数第二个哦

选择 ! 环境变量!

如上!

点击下方的新建 是系统变量下面的哪个!!!

按照图片内容输入变量名,变量值选择浏览目录,然后选一个剩余空间比较大的盘即可 这里选择D盘 文件夹名与变量名一致,不一致也可以 自己可以记住即可

至此Ollama基础的配置就完成了,需要高级设置的可以自行参阅相关资料

接下来再次回到命令行 Win + R -> CMD 回车!!!

输入ollama 回车即可看见

ollama 相关指令

代表你的ollama 安装成功

此时打开官网 在右上角选择模型

该页面经过翻译 未翻译应为Model

点击后如上页面

看不懂英语大家可以右键 -> 翻译此页面上的所有内容

然后选择符合自己用途的模型 (该页面的大多数模型都经过输出过滤,一些敏感话题是不可以的)

我这里选择 qwen2.5-coder

我们只需要关注两个第一个是 主题内容的 7b b代表Billion 即 单位: 亿

几B代表含有多少的数据量来训练这个版本

  • 如果各位电脑的 RAM (内存) 在16G 推荐使用13B以下的数据量

  • 12G 推荐 9B以下

  • 8G 推荐 4B以下

  • 简单的讨论询问一般需要8G左右

  • 32G 可以尝试 16B以上 (我没有这么大的配置)

  • 对CPU也有一定的要求,各位尽量而为

选择合适后的点击右侧的

最右边的两个小方块

小方块 即可复制指令 复制成功后打开命令行(CMD)

黏贴 并回车

会自动开始下载对应模型

等待进度条走完即下载完成 会显示Successful

此刻 一个语言模型已经被我们部署在本地电脑上了,你可以开始使用了

使用ollama list来查看已安装的模型

使用 ollama run 模型名来开始与该模型交互(对话)

如上界面即可开始聊天

你可以通过命令行来和模型对话

我们本地部署的模型因为数据量问题,实际上的"智慧程度"会不如网页使用的AI,但数据量足够我们个人使用或者咨询

你可以使用 /bye 结束对话

命令行不足以满足我们的审美,大家可能在网页使用AI比较多一些,比如讯飞星火,ChatGPT,Copilit等等

这里我们可以用开源的项目来搭建Web端,来和模型进行交互

WebUI与大数据模型交互

准备工作!!!

  • 一个空文件夹 一个地址指向该文件夹的git窗口

  • Git环境 前往官网下载: Git

安装自行百度哦 篇幅太长捏

这是我准备好的文件夹

指向文件夹的 Git Bash

运行 git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui

运行完成捏

会多这个么个文件夹、

打开生成的文件夹

在上方地址栏输入cmd可以快速打开该地址的cmd命令行

首先输入 npm config set registry http://mirrors.cloud.tencent.com/npm/

我们更换npm下载源,自带的下载源无特殊环境实在过慢,这里选择腾讯云的镜像源

更换成功后运行 npm install

无特殊报错即为安装成功

不要关闭cmd 这里运行 npm run dev

显示如下即为搭建成功

在浏览器输入 http://localhost:3000/即可访问网页

可能会爆出 Browserslist: caniuse-lite is outdated. Please run:

npx update-browserslist-db@latest

Why you should do it regularly: https://github.com/browserslist/update-db#readme

file:///C:/Users/AltasOS/Desktop/OllamaWeb/ollama-webui/tailwind.config.js:35

plugins: [require("@tailwindcss/typography")] 版本过低的错误,运行他给出的 npx update-browserslist-db@latest 即可

如果继续爆出 

file:///C:/Users/AltasOS/Desktop/OllamaWeb/ollama-webui/tailwind.config.js:35

plugins: [require("@tailwindcss/typography")]

打开文件夹

将图片选中的文件后缀改为cjs即可

此时基本就可以访问啦!!!

界面大体如下

上方的模型选择会自动列出已安装的模型 选择后就可以正常聊天了

效果如下哦 你也可以自己慢慢训练,他会学的

建议选择专门的模型来解答问题,比如编程 推算 数学 逻辑这些方面有更专业的模型选择,

文学 哲理 咨询等同上,也有合适的模型

ORC 数据分析 文档也一样,各位可以在官网选择合适自己的模型下载并训练或者唠嗑

那本次文章就到这里哦!!!!

大家有不会或者不明白的地方还请截图在评论区留言探讨!!!!

更多游戏资讯请关注:电玩帮游戏资讯专区

电玩帮图文攻略 www.vgover.com