Jan｜本地部署免費離線AI大模型ChatGPT替代品！

這是一個來自超過10kstar的GitHub項目（點擊查看）

Demo

GIF要8M以下所以抽幀了，有點閃爍

Jan支持多種系統/硬件

• Mac（M1/M2/M3）
• Windows
• Linux（Applmage）
• Linux（deb）

另外由於是在我們電腦的本地運行模型所以需要硬件支持。原理上是用我們的電腦硬件提供算力

支持的硬件如下

• vidia GPUs (fast)
• Apple M-series (fast)
• Apple Intel
• Linux Debian
• Windows x64 cpu

下載項目

首先我們可以在Jan的官網（https://jan.ai/）下載項目（用魔法更快）

記得挑選自己的系統下載哦(⊙o⊙)

下載好後點擊安裝包，它就會自動安裝並打開控制面吧啦

安裝模型

我們點擊下方的【Download your first model】

這裏我以進去後的第一個模型爲例點擊【Download】（下載緩慢可以用魔法試試）

下面的About是模型介紹，你可以根據這個來選擇你需要的模型！

下載完成後在聊天界面右邊即可切換剛剛下載好的模型

需要注意的是本地運行大模型需要有足夠的RAM內存，如果你的內存不夠則會顯示如下的警告

同時在模型在在界面也會提醒你內存不足無法運行！（模型大小越大需要內存越多哦）

使用須知

①模型輸出速度與你的電腦硬件性能匹配，並且默認使用CPU來運行！

我這個u實測速度很慢

所以我們需要用GPU顯卡來加速模型輸出！

在左下角設置中，我們可以找到N卡加速開關，來使用自己的獨顯運行模型

如果你打開跟我一樣遇到了如下錯誤請別急，看我的另一篇文章就能解決

如何檢查電腦是否安裝 NVIDIA 驅動和CUDA引擎

②使用openai的chatgpt模型是需要API Key的哦，如果需要直連使用ChatGPT3.5/4以及集成了多模態的GPTs請看我的這篇文章

在線直連使用ChatGPT3.5/4

P.S.要花錢，不過是積分制，用多少算多少，但是不可能免費！