教學:本地部署AI生成無審查內容(8)Flux2-Klein

今天我們來學習一個稍微高階一點的用法。

之前有盒u生成了一個自己設計的角色,但是想用這個角色來生成漫畫或劇情該怎麼做呢?

那我們今天就要引入一個新的模型:Flux2 klein

klein使用起來更方便,顯存需求也不算特別大,在編輯圖片方面效果非常好。支持英文自然語言提示詞(中文有時候也能有用,但是大部分時候理解都有偏差)。這個模型還支持生成真人圖片。之前想要玩真人圖的盒u,可以試試這個。

----------

這是一個集生圖、改圖爲一體的模型,前代Flux在生成真人圖片效果就非常不錯,這次也是更進一步提升了圖片質量。不過依舊是以真人照片級爲主,二次元的圖稍稍薄弱一些。不過我們只要輸入人設參照圖,就還是能勝任的。

好,進入正題。首先是下載主模型:

www.modelscope.cn/models/unsloth/FLUX.2-klein-9B-GGUF/files

依舊是熟悉的魔搭模型網站。

這裏我們根據自己的顯存大小,12G以上下載Q8,12G以下下載Q4KM。如果是4G顯存,也可以嘗試使用Q4KM,並加上之前講過的顯存排隊節點。

下載後放入**\ComfyUI\models\unet

(注意是放在unet,一定不要弄錯)

然後是clip模型

hf-mirror.com/titomatus0203/qwen_3_8b_fp8mixed/tree/main

放入**\ComfyUI\models\clip

最後是vae模型

hf-mirror.com/GuangyuanSD/FLUX.2-klein-9B-Blitz-ComfyUI/tree/main/vae

這個 diffusion_pytorch_model.safetensors 文件下載下來最好改個名字,比如改成 flux2_vae.safetensors 或者 klein_vae.safetensors ,方便使用的時候好認一些。

放入**\ComfyUI\models\vae

放置好後,啓動comfyui,開始佈置工作流

由於我們今天使用的klein主模型是gguf格式,所以也要是有gguf的加載器來載入。

雙擊網格,搜索 gguf ,找到 Unet Loader (GGUF) 並放置

在放好unet clip vae三件套後,按照慣例佈置 clip文本編碼器、空latent、k採樣器、vae解碼、保存圖像

(注意CLIP的模式要選擇 flux2

(如果是想直接生成真人圖片,到這一步已經可以開始生成了)

這樣看起來似乎和之前的生圖流程沒什麼區別,但接下來就是重點了。

按照圖中這樣,放置並連接 加載圖像、圖像縮放到最大尺寸、VAE編碼

將 VAE加載器 連接到 VAE編碼。

然後在clip文本編碼器的後面放置兩個 參考Lantent ,並將剛纔的VAE編碼連接過來,橙色線條前後連接採樣器和文本編碼器

到這一步,我們引入參考圖進行“圖生圖”的流程就算佈置好了。

我們在提示詞中輸入自然語言,比如使用翻譯工具寫入“圖中的角色坐在咖啡廳裏喝咖啡”

The character in the image is sitting in a cafe drinking coffee.

這樣就出來我們要求的圖了。

之後想做更細節的分鏡,可以用這種思路去寫提示詞

[角色]+[特徵描述]+[場景]+[細節要求]+[風格]

比如 圖中的角色穿着比基尼泳裝在商場裏跳舞,夜晚,有很多燈光,遠景,看到角色全身,anime screencap(動漫風格)

當然我們輸入的角色圖片,最好是在一開始的生成階段就做好處理。比如純白色背景、有全身像三視圖和麪部特寫等。這種設定圖用gpt去生成會更加方便。

在我們用角色圖去生成一些鏡頭的時候,還會遇到人物是2D的,但場景是3D的,甚至會有真人風格的路人出現。就像這樣:

有時即便使用了“動漫風格”的提示詞去描述,依然會出現這種真人背景,那就只能用之前的anima或者光輝去生成一個背景圖,然後輸入klein作爲參考。

那麼怎麼同時輸入角色圖和場景圖兩張參考圖呢?

很簡單,我們再把剛纔增加的那幾個節點複製一遍

參考latent也要這樣接過來。

這樣佈置之後,提示詞寫爲“圖1中的角色坐在圖2中的咖啡廳裏喝咖啡”

The character in  image 1 is sitting in a cafe  of image 2 drinking coffee.

這樣就基本完美了。

這個流程也能修改任何一張圖裏的內容(比如去除所有衣服

兩張圖的流程也能替換任何圖中的內容,比如手上拿着什麼、畫面裏有什麼之類的。

或者截一張生化危機的截圖,然後把角色改成原神裏的角色也完全可以做到。

或者將圖中的角色替換成指定的衣服等等。

注意,僅使用一張參考圖時務必使用前面一個載入圖的流程。第二張圖爲空時流程可能會報錯。

----------

下一期我們將介紹qwen image。

今天的教程就到這裏。

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com