本地部署deepseek,AMD顯卡也能調用?(附教程)

最近deepseek大模型的火爆,許多人爲了避開審查機制,紛紛本地部署。但,AMD顯卡貌似無法調用,導致本地部署的大模型只能用CPU算,跑在運存上,速度太慢太慢


那麼,有什麼方法可以調用AMD顯卡,給大模型加加速呢?別急,教程現在就來!


首先先通過這張圖片確定盒友們的顯卡型號

hip sdk那欄如果有打着勾的,可以不用看本教程


如果hip sdk那欄有着一個叉的,那就需要下載ollama for AMD的版本,下載地址如下(需做好科學上網)

https://github.com/likelovewant/ollama-for-amd/

1.點擊圖片紅圈部分(可以選擇最新版,也可以是老版本)

2.點擊紅圈部分下載rocm

3.根據第一張圖片中的llvm target型號,確認自己要下載的gfx版本

4.下載完成rocm後,退到第三張圖片的位置,在assets這裏下載ollama並安裝

注意!!!

ollama版本需與rocm版本對應

如果之前已經安裝過ollama,記得在安裝前退出


上述操作完成後,解壓縮rocm的壓縮包,把裏面的rocblas.dll和library文件夾替換到ollama的安裝路徑

(這是樓主的安裝路徑,僅供參考)把rocblas.dll替換到這裏

把library替換到這裏

接下來,打開ollama的日誌

查看最後一行有沒有顯卡的名字,有就是調用成功

附上樓主成功調用的圖片

最後,祝盒友們tiaojiao的開心


創作不易,喜歡的盒友們請多多三連(點贊,收藏,盒電),感謝感謝

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com