最近deepseek大模型的火爆,許多人爲了避開審查機制,紛紛本地部署。但,AMD顯卡貌似無法調用,導致本地部署的大模型只能用CPU算,跑在運存上,速度太慢太慢
那麼,有什麼方法可以調用AMD顯卡,給大模型加加速呢?別急,教程現在就來!
首先先通過這張圖片確定盒友們的顯卡型號
hip sdk那欄如果有打着勾的,可以不用看本教程
如果hip sdk那欄有着一個叉的,那就需要下載ollama for AMD的版本,下載地址如下(需做好科學上網)
https://github.com/likelovewant/ollama-for-amd/
1.點擊圖片紅圈部分(可以選擇最新版,也可以是老版本)
2.點擊紅圈部分下載rocm
3.根據第一張圖片中的llvm target型號,確認自己要下載的gfx版本
4.下載完成rocm後,退到第三張圖片的位置,在assets這裏下載ollama並安裝
注意!!!
ollama版本需與rocm版本對應
如果之前已經安裝過ollama,記得在安裝前退出
上述操作完成後,解壓縮rocm的壓縮包,把裏面的rocblas.dll和library文件夾替換到ollama的安裝路徑
(這是樓主的安裝路徑,僅供參考)把rocblas.dll替換到這裏
把library替換到這裏
接下來,打開ollama的日誌
查看最後一行有沒有顯卡的名字,有就是調用成功
附上樓主成功調用的圖片
最後,祝盒友們tiaojiao的開心
創作不易,喜歡的盒友們請多多三連(點贊,收藏,盒電),感謝感謝
更多遊戲資訊請關註:電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com