簡述:
這是一篇有的遲來的教程,在本文中,會從頭到尾運用社區資源搭建你自己的AI酒館、本地AI語言模型、本地SD繪畫模型。
具體需要如下程序:
⭐-核心-酒館本體
---Silly Tavern
⭐-驅動-語言模型
---Chat RWKV(國產開源可商用語言模型本地部署)
---Open AI API(使用Open AI的國內鏡像接口)
⭐-附加-其他模塊
---AI繪圖(給你的冒險實時生圖)
---尋找角色卡
本文會在每個節點提供本地和雲端兩種部署方法,並且儘量選用開源傻瓜部署,主打低門檻易上手。
-----------------------------------------------------
Part.1- Silly Tavern的安裝
首要前提,Silly Tavern本身並非商用項目,所以本體在權限管理上存在一些問題,所以當你部署完成後,建議只在本地網絡使用,不要嘗試部署在公開服務器上。
1.1下載項目文件
在這裏我們選用SillyTavern Launcher這個項目來簡單的部署。
https://github.com/vircus/SillyTavern-Launcher-zh/
不要問怎麼解壓縮奧
我們直接下載整個項目文件即可。
1.2 運行安裝程序
自動檢測環境變量是否配置,並且進行安裝
下載完後,將文件解壓縮,運行項目文件夾中的installer.bat,程序會爲你安裝winget、Git和Miniconda3,並且幫助你配置環境變量。
在環境安裝完成後會進入程序的安裝過程。Silly Tavern本身只是一個網頁程序,作爲整個結構的操作端,其本身沒有任何的性能負載,所以全部安裝也沒什麼影響,各位可以按照自己的需要進行安裝。
在這裏我選擇了默認的只安裝本體,他會自動的克隆SillyTavern文檔,如果感覺下載速度較慢可以使用國內的鏡像源進行下載
顯示如上,即爲安裝完畢。
1.3 啓動
在安裝完成後,還需要手動安裝NodeJs,由於我們沒有開發需求,所以並不需要安裝版本管理相關的程序,我們直接下載即可
https://nodejs.org/zh-cn/download/prebuilt-installer
在完成nodejs安裝後,我們回到SillyTavern啓動器文件夾中,運行Launcher.bat,即可開啓。
如果你的Nodejs安裝完成,則會通過npm下載相關軟件包,下載完成後即可開始使用。瀏覽器會爲你打開 http://127.0.0.1:8000/
顯示如下,證明你已成功部署SillyTavern,但是先彆着急,這纔剛剛開始。
Part.2- 語言模型的選擇和安裝
在實現酒館的對話功能的時候,AI有兩種實現方法,其中是通過文本補全來生成對話,另外一種即是通過Chat功能來生成對話,不同的語言模型在兩者上性能有些許差別。
現在的語言模型市場百花齊放,選擇方向很多,而且大部分都是有類似的啓動器,且其HTTP接口都與Open AI接口類似,易於部署的同時也易於使用。
這裏我選擇使用RWKV模型,RWKV模型的性能優秀,且節約顯存,最主要社區支持也不錯。
其官網如下 https://rwkv.cn。
綜上所述,本節會從本地部署RWKV和使用網絡API兩種方法實現語言模型驅動角色交互。
2.1本地RWKV的部署
RWKV的社區也包含一鍵部署的啓動包,項目名稱: RWKV-Runner
直接在release中下載最新的啓動器即可
https://github.com/josStorer/RWKV-Runner/releases/tag/v1.8.5
我們直接放置到任意目錄,然後運行RWKV-Runner_windows_x64.exe即可,由於後續的模型下載需要佔用一定的空間,最好放置在一個還有餘量空間的磁盤中。
我們可以直接進入配置界面,選擇我們需要的模型和精度以及配置其他參數。
如何判斷選擇自己可用或者希望使用的配置,我們以第一個配置文件爲例 GPU-2G-1B5-World。
其中,前綴有GPU\CPU\AnyGPU三種,這一項可以根據你的配置來進行選擇,如果你是NVIDA顯卡,則選用GPU前綴; 如果你的顯卡顯存低於2G,或你是核顯或者集顯,那麼你可以選擇CPU,但是RWKV目前CPU只有音樂模型沒有語言模型,所以如果你沒有獨立顯卡或者顯存低於2G請直接跳過本地部署這一小節;如果你是AMD、Intel或者摩爾線程等顯卡,你可以選擇AnyGPU。
其次,2G代表着你預計使用的顯存容量,這個要根據你的顯存來決定。
然後,1B5代表模型的訓練集大小,你可以簡單的理解爲越大模型性能越好
最後,WORLD標誌着訓練所用的語言,在本項目裏我建議使用world而不是cn因爲大多數角色卡的prompt是使用英文編寫的,可能會存在一些問題,建議直接使用WORLD.
綜上所述,你可以根據自身條件對配置進行選擇,在這裏爲了演示,我會使用最初始的GPU-2G-1B5-World進行演示。
在開始之前,我們需要先對端口進行一下調整,因爲我們的SillyTavern已經使用了8000端口,所以我們的rwkv端口應該簡單變動一下,在這裏我選擇了8001,也就是說,我們的ai http位置爲127.0.0.1:8001。
最後點擊運行,程序會爲你自動下載模型,在這裏下載速度較慢,可以使用國內大黃臉鏡像來提高你的下載速度。
運行後,會開始讀取模型,在模型讀取完成後會顯示啓動完成。
你可以在聊天和續寫兩個頁面中對你的語言模型進行簡單測試。
本次選用的模型雖然只有1.5B且精度較低,但也完全可以滿足日常使用。在我們確定了模型可以使用之後,我們可以直接連接到我們的網站上進行測試。
在這裏爲了統一後續的使用,我們都使用CHAT接口進行操作。
在這裏提一點,建議使用相關的翻譯插件,因爲很多角色卡是使用英文編寫的,所以爲瀏覽器安裝一個漢化插件很有必要,在這裏我選用沉浸式翻譯作爲演示。
我們需要在網頁中配置接口,RWKV接口和openai的chat接口格式相同,所以我們直接輸入我們的本地地址即可使用。
在輸入url後點擊連接,就可以在可用模型處看到我們的模型,選擇後即可,也可以點擊發送測試消息進行簡單測試。
這樣我們就完成了配置,我們直接來到對話界面進行使用
在項目中默認有一個Seraphina的角色卡,在社區內很有名氣,我們可以直接用Seraphina進行測試。Seraphina角色卡附帶的prompt是英語,所以在對話過程中,最好藉助翻譯來進行對話。
如圖所示,已經可以看到RWKV模型1.5B就已經讓角色初具人型了。RWKV的輸入TOKEN很大,很適合玩這類的AI酒館,並且性能優異,有條件的觀衆可以嘗試一下使用更大的模型太進行測試,並且RWKV在大黃臉中的分支,還包含一些社區訓練的NSFW模型,如果你追求更刺激的體驗可以自行測試下。
2.2使用在線API接入
Openai的ChatGPT是市面上較早出圈的llm產品,後續的部分產品接口都是依據ChatGPT的HTTP接口進行構建的,但是ChatGPT接口在國內並不是十分好用,所以在這裏我選擇使用國內的鏡像網站。
https://api2d.com/
此網站的token價格是OpenAI接口的1.5倍,但是響應速度高,如果只使用gpt3.5 turbo和gpt -3.5-16k來看,每次對話產生的費用在幾分錢。
其界面如圖所示,網站的最低消費爲21元10000p,如果只用於AI對話可以使用很久。我們只需要其中兩個參數,一個是用戶的Forward Key和API地址。
fk215620-xxxxxxxxx------這個就是我們的key
https://oa.api2d.net------接口地址固定
其計費如下
---gpt-3.5 輸入部分 1333 token = 10 P,
輸出部分 1000 token = 10 P;
---gpt-3.5-16k 輸入部分 666 token = 10 P,
輸出部分 500 token = 10 P;
---gpt-4 輸入部分 66.6 token = 10 P,
輸出部分 33.3 token = 10 P。
可選的模型和chatgpt官方接口相同,可以選擇gpt-4、gpt-3.5-turbo、gpt-3.5-turbo-16k、gpt-4o。
在這裏我推薦使用gpt-3.5-turbo,更加省錢。
在完成填寫之後,可以直接進入使用。
使用chatgpt效果體驗如上。
其中有一點需要注意,如果你需要進行很多輪對話,那麼你的模型最好選擇使用gpt-3.5-turbo-16k,這樣在輸入token多的時候纔會有更好的性能。
2.3對於兩種方案的總結
本地部署RWKV優勢明顯,免費開源,而且性能優異,最主要易於部署,且輸入部分大,很適合這種應用場景,但是對本地條件還是有一定需求。使用Open AI接口會產生小額度花銷,但是性能相較於小模型還是有明顯優勢。
總而言之,兩種方案實現難度都不大,可以自己實操體驗後再選擇,並且語言模型也可以用於其他條件,比如文本續寫或者其他生產條件下,可以根據自己的需求進行使用。
-----------------------------------------------------
Part.3- 圖片生成,爲你的冒險增加沉浸感
在SillyTavern中還提供了根據你的對話內容自動生成角色肖像,環境地圖等功能,並且SillyTavern的配置中提供了多個服務提供商,我強烈建議本地或者雲端部署sd項目後使用接口,而並非使用商業接口。因爲在對話中,如果你想要爲每輪對話生成圖片和狀態,如果你使用OpenAI的DALL-E或者SD的官方付費接口會產生大量的費用,而國內的文生圖模型雖然價格實惠但是存在內容審查,在部分條件下並不能滿足一些特殊需求。
所以我這裏使用本地部署的方法進行實現生圖。這樣你的AI酒館就會徹底變成一個GalGame。
在這裏我也提供兩種方案,並且都是門檻極低,極易上手的操作手法
3.1本地部署Stable Diffusion
相較於早些時間Stable Diffusion的部署十分麻煩,且還沒有webui。但是現在經過社區的創作,已經有一大批簡單易上手的啓動來使用了。
本節使用秋葉aaaki的SD啓動器進行快速部署。
如何下載:
bilibili搜索 秋葉aaaki 。私信整合包會自動回覆下載地址
部署十分簡便,下載後點擊啓動即可。如果實在不會部署,可以直接觀看aki的視頻進行學習,在此我只會簡單講述一下配置方法。
我們要做的只有兩件事,打開選項啓用API和開放遠程連接。然後點擊一鍵啓動,等待即可。待網頁自動彈出,即證明服務已經成功運行了。我們直接進入SillyTavern進行配置。
可以根據硬件參數,對生成圖的大小和採樣步數進行調整。注意一點,aki啓動器中自帶一個模型,可以直接使用。但是如果你要使用需要特殊提示詞的模型,例如pony模型,
你需要在圖像提示模板中進行調整。
由於我使用的是RTX 2060 6G進行演示,所以我適當的降低了參數。
在配置完成後我們直接進行測試
你可以生成你想要的圖案,例如這裏我想要爲故事生成一個圖案。
在此基礎上你也可以選擇生成更多的選項,比如生成角色肖像,環境,背景等。
3.2雲服務器部署Stable Diffusion
在此基礎之上,出於硬件限制,我們無法實現很多更有創造性的想法,同時使用網絡接口又會讓我們的錢包空空,這裏我建議使用按小時計費的租用服務器來實現最終的功能。
在這裏我選擇使用騰訊雲提供的高性能應用服務 HAI,這個項目是按秒計費,每小時計算花費1.2元,存儲花費0.01元,開機費用爲預付1小時的使用價格,並且其計費按秒計費,也就是說每次的最低消費是一小時,一小時後按秒計費。
並且,還有新人優惠,1元可以買10元的卷。也就是說1元錢你可以薅騰子8小時的TESLA T4使用機會,而且在校大學生還能再加個半價。
但是要注意一點:HAI是後付費項目,一定要注意自己的餘額和不用的時候關機來節約費用,使用HAI的部署流程如下:
1.(可選)購買1元抵消10元卷
2.進入控制檯創建實例
https://console.cloud.tencent.com/hai/
3.點擊新建進行創建
保持和3.1中的同步性,我們直接使用模板中的社區模板,再創建一個aki的實例。注意,創建一個機器需要預先繳納1小時的費用,也就是1.21元,如果你沒有買卷的話記得的賬戶內存在足夠的餘額。
基礎的套餐提供的是Tesla T4 有16G的顯存,足夠完成大部分AIGC工作。
4.購買創建後,觀察站內信,獲取主機信息
在這裏你可以使用windows自帶的遠程桌面進行連接,填寫IP地址,默認用戶名,登陸密碼即可。
遠程連接後,我們還需要在防火牆內打開端口7860,來便於我們外部進行訪問。
5.配置防火牆
其中,來源列填寫0.0.0.0/0即意味着向IPV4所有公網ip開放; TCP:7860 表明開放的7860端口TCP協議。
注意一點,服務器是彈性公網地址,即IPV4地址並非固定的,每次開機會更換,記得及時修改你的連接ip和網頁用的接口ip。
隨後的操作和3.1相似,只需要把http地址更換爲,http://服務器ip:7860即可
只需要更改url地址,然後點擊連接即可。
我們來測試一下實際的性能。
總而言之,使用雲主機來進行生圖會爲我們提供更快的生圖速度和生圖質量,並且我們還可以嘗試更換質量更高的模型,來增加體驗感。在一些NSFW應用中,這一功能更是加強了刺激性。
一定要注意,在使用結束後,一定要關閉你的主機,以避免產生不必要的費用,查看你的消費,則可以通過右上角,費用-優惠管理-現金捲進行查看自己的餘額。
-----------------------------------------------------
Part.4 – 如何找到更多的內容
Silly Tavern有一個豐富的社區,我們可以通過導入角色卡,導入場景來豐富遊玩體驗。
以導入角色爲例,我們可以進入這些網站進行導入。
以https://chub.ai/爲例我們可以進入網站下載角色卡,然後導入,操作方法如下
我們可以選擇任意一個角色進入下載界面,我們下載PNG類型的角色卡然後進行導入,類似於戀活和3D定製女僕等,不知道是哪個神人想出來的。
然後選擇從文件導入角色。
導入後直接開始對話即可
而且還有很多相關的社區可以進行探索,並且可導入的也不僅僅有角色卡,還包含劇本,場景等其他東西,你可以帶着你的ai角色一起探索冒險什麼的。
------------------------------------------------------
總結
本文基於傻瓜式腳本部署了一個ai酒館,並且完成了配套的語言模型和文生圖模型的部署,只能說很利於釋放壓力,實現你的Deep Dark Fantasy。
最後再說一句,目前的AIGC前景實際上並不很好,目前的互聯網上已經充斥了很多AIGC的垃圾,雖然拿ai來做galgame看起來很怪,但是總比在互聯網填充垃圾強。
而且,目前很多ai酒館,收費和門檻都不低,而且審查嚴重,用起來很不爽,所以有了這個文章。
更多遊戲資訊請關註:電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com