![]()
在教程正式开始之前依旧是前排提醒:
这个Minimax H3模型架构优秀,最低配置只需要8g显存16g内存即可运行。
A卡I卡mac用户最好使用github官网的版本,秋叶包对这些支持不太行。
·
视频生成需要更大量的运算、生成耗时更长、可能遇到的报错更多,所以务必保证你的基础环境是cu130,torch版本≥2.10,如果不知道怎么更新这些或者不知道自己是什么版本的,请下载秋叶最新的v3.2版整合包。整合包也在合集中。
并且使用v3.2整合包时,也一定要在启动器中更新comfyui版本到最新。新版本的comfyui解决了更多模型兼容问题、后端依赖问题,同时优化了生成速度、降低了峰值内存占用。为了保证生成不报错,生成速度更快,一定要保证comfyui更新,切记。
![]()
还有这个流程中使用的导演台节点,也一定要记得检查更新。
![]()
老规矩:comfyui教程合集
再判违规限流我真没法子了。
————————————
工作流介绍
![]()
进子图调整模型的操作就不多赘述了。
·
——————————
多图参考生成视频
首先将这里的模型改为ref2va模型,或者使用上期教程提到的remix模型。
![]()
在导演台中将模式改为r2v。
![]()
设好之后,下方界面会变为这样。
![]()
中间左侧的图片加载位置默认显示三张图格,点击下放的展开更多,可以添加更多图片。
![]()
我这里随便放几张人设图。参考图生成视频的模式最好使用角色三视图,就像图中的后两种图片那种。一张图片同时包含角色的正面侧面和背面。
如果是真人短剧的风格,那么人设图最好是正面的面部特写+无头的三视图,比如这样:
![]()
这样的人设图包含的细节更多,同时减少了全身图中的面部干扰,让模型能够更方便的记忆角色面部细节。
我提供了专门生成这种人设图的提示词模板。同样丢给任意AI或者agent即可生成三视图提示词,然后在用这个提示词去豆包,gpt,banana,mj,或者本地的krea2都可以生成。
![]()
生成图片记得要使用21:9的比例,防止图片错位。
![]()
生成出来的图片都是带头的,自己用windows画板涂一下就行。
![]()
·
继续回到流程。
这里也可以输入一张场景图,如果没有场景图,单纯用提示词描述也可以。
要注意,如果显存和内存比较小,那就别放太多参考图,尽量拆分画面段落,一个镜头只放入一个角色和一张背景。
![]()
下方的音频,可以放入角色的语音,视频的bgm等等。
![]()
例如我这里放个女朋友的语音来当做菲比啾比的声音()
![]()
不过目前H3的音频参考有点问题,这个最好还是通过专门的TTS模型去做语音比较好。
至于这部分,以后的教程会专门讲。
·
在参考生视频的模式中,提示词可以用艾特符号“@”来直接引用素材。
例如引用场景时,第五张图是场景图,那就在这里写 @图片5 即可
![]()
然后简单写一下提示词
![]()
这样,一段10秒的提示词就写好了。这个提示词编写体验已经和那些付费平台的体验基本一致,做短剧或者沙雕小动画都非常好用。(至于画质好坏就是另一回事了)
这里也可以使用分段功能,将10秒的视频拆分成两段5秒,或者3段3秒之类的。
如果使用分段功能进行拆分,或者生成长达几分钟的长视频,需要打开时间轴右上方的这个公共参数功能。
![]()
然后在这里输入主要角色的人设图、角色音频参考等等。
如果你的剧需要第一组镜头在一个场景,第二组镜头在另一个场景,那么公共参数就只放人设图,然后在分镜里放场景图。或者后续镜头需要出现一些只出现一两次的路人npc,也可以将路人图放在分镜图库里。这样可以始终保持主要角色的记忆,避免更多干扰。
如果有一些整体要求,比如画风保持什么样,角色必须保持什么状态,都可以写在这个公共参数的提示词里。以及一些需要避免的特征,比如不要出现杂音噪音,不要出现旁白之类的。
![]()
设置好之后,可以点击 收起公共参数 将这个模块折叠起来。
这样,左侧仍然会显示公共参数里的素材,不影响后续调用。
![]()
·
这里还是要说一下,H3使用的提示词最好采用提示词模板去生成,像我这样简单写出的提示词一定会遇到各种各样的问题,比如人物关系混乱,音频混乱等等。
这里我也提供这个多参提示词模板,用法和三视图模板一样,都是丢给AI就行。
![]()
·
这里是两段提示词的效果对比
可以看出,自己写的提示词会出现角色混淆的情况,提示词最后写被踢飞的角色是菲比,但是生成出来是弗洛洛被踢飞了(我真没欺负弗糯糯)
而官方提示词模板做出来的就没有出现角色混淆,而且动作更连贯一些。
·
——————————
视频参考
将模式改为 rv2v参考素材改视频
![]()
下方会变成这样。看起来和r2v差不多
![]()
点击时间轴放入一段视频,我这里就拿坤哥跳舞为例。
![]()
可以看到时间轴的时长有16秒多,对于小显存用户来说,一次处理这么长的视频肯定是吃不消的,这里就可以使用分割功能。
![]()
均分就是将视频自动切割成指定的段数,每段时间长度一样。
智能分割则是自动分析视频中的运镜切镜,将每一个镜头切割出来分段。
![]()
![]()
可以看到,这个智能分割的分析还是挺到位的。
不过由于这个节点拥有段间引导功能,直接简单均分切割也是完全没有问题的。
·
接下来的图片素材我就使用了一张今汐的人设图,以及一个服装图。
![]()
提示词简单写一下
![]()
这样,就能完成替换视频中的人物了。
以前使用wan替换人物还需要额外使用专门的scail或者animate模型,还需要专门的人物检测识别模型sam3之类的。而现在,minimax一个模型就能做到这些全部功能了。
如果想替换一些《让子弹飞》的电影片段,把《猫和老鼠》改成菲比,或者一些跳舞视频的动作迁移,都可以使用类似的方法来实现。
·
——————————
·
minimax H3这个模型、以及导演台节点的基础用法到这里差不多就全部讲完了。
接下来会查缺补漏,讲一些相关的小技巧。
比如视频模型经常会忘记角色的声线,导致上一个镜头一个声音,下一个镜头声音就变了。
想要避免这种情况,可以使用TTS先生成语音,在进入r2v流程将语音放进去,虽然操作麻烦一些,但这是能确保声线统一的最好方式了。
下一期教程会讲在comfyui中如何使用TTS,搭配minimax H3生成视频。
更多游戏资讯请关注:电玩帮游戏资讯专区
电玩帮图文攻略 www.vgover.com
