金克絲動圖拋媚眼,騰訊開源視頻生成大模型!

月5日,騰訊公開了全新的大模型工具MuseV,能夠讓虛擬人物動起來,騰訊展示了金克絲動態視頻等高質量生成視頻,項目團隊希望通過開源模型,讓整個社區受益!




今年,OpenAI發佈了視頻生成模型Sora,開啓了文生視頻的新賽道,3月份,阿里雲推出了全新的AI圖生視頻模型——EMO,給定一張圖片和一段文字,即可生成任意的音頻文件。

4月份,騰訊緊接着公開了MuseV,同樣也是文生視頻工具,主要是基於視覺條件並行去噪的無限長度和高保真虛擬人視頻生成,去噪技術能夠讓生成的虛擬人視頻更爲清晰和真實,而且還能夠無限長度地生成視頻內容。

我們先給定一張金克絲的圖片,再利用MuseV生成人物的動作視頻,可以看到金克絲在對我們拋媚眼。騰訊團隊補充,下面的視頻並未經過任何的超分處理。


MuseV能夠處理無限長度的視頻生成,避免誤差累計的問題,更適用於固定相機位的場景,MuseV支持圖像到視頻、文本到圖像到視頻、視頻到視頻的生成,爲用戶提供了多樣化的生成選項,滿足不同場景下的需求。

騰訊方面提供了基於人物類型數據集訓練的虛擬人視頻生成預訓練模型,可以幫助用戶更輕鬆地生成虛擬人視頻內容,加速生成過程並提高生成的質量。除了虛擬人外,也有網友直接拿MuseV生成小米SU7的行駛視頻。


MuseV兼容Stable Diffusion的文生圖模型,包括基礎模型base_model、lora和控制網絡Controlnet等,讓用戶可以更加靈活地使用這些工具進行虛擬人視頻生成。


MuseV支持多參考圖像技術,包括IPAdapter、ReferenceOnly、ReferenceNet、IPAdapterFaceID等多種技術,幫助用戶在生成過程中更好地利用參考圖像,提高生成的準確性和質量。騰訊還即將提供訓練代碼,用戶可以根據自己的需求和數據集進行模型訓練,定製化自己的虛擬人視頻生成模型。

目前,騰訊旗下擁有大量的版權IP,MuseV作爲其開源的虛擬人視頻生成框架,可以更好地利用這些IP,比如利用IP虛擬角色形象來生成虛擬人視頻,增強角色形象的影響力和價值,推出各種各樣的虛擬人物衍生產品,再結合騰訊的曝光度進行營銷,爲用戶提供更豐富、更多樣化的內容體驗。


對比Sora模型,MuseV主要是面向固定相機位的虛擬人物生成,對理解世界的湧現能力並沒有那麼強,項目組表示MuseV其實在去年7月份就實現了,受Sora擴散模型的啓發,騰訊決定開源MuseV,讓模型能夠站在開源社區逐步成長。(huggingface地址 / Github地址




AIGC:

聊天機器人——ChatGPT全網爆紅,馬斯克驚歎誇讚!

聊天機器人——ChatGPT小白註冊教程,勿被電商割韭菜!

火爆全網——AI生成的漂亮小姐姐,形象逼近真人!

AI動畫重磅上線——15種風格任選,支持圖片視頻輸入!

AI“核彈級”修圖神器——有手就能修圖,PS將被淘汰!

AI修圖神器升級:一鍵拖拽,即可精準P圖!

微軟頭顯AI助手:重磅推出Otter,能夠打麻將、開飛機!

遊戲界大變天:斯坦福最新成果,AI角色可模擬真人小鎮!

智械危機:AutoGPT嘗試“毀滅人類”,誘導發動核戰爭!

ChatGPT:玩轉《我的世界》,北京大學強化學習攻克複雜任務!

ChatGPT:成功讓AI聽懂人話,學會與人類合作!

ChatGPT:7分鐘開發一款遊戲,成本僅0.3美元!

OpenAI重磅突破:用AI學習AI,開創人工智能新道路!

AI速通遊戲——兩小時超越玩家,阿爾法狗母公司攻克26款遊戲!

占卜GPT問世:AI進軍玄學領域,將取代星座大V!

ChatGPT:AI女網紅交1000+男友周入50萬,未來AI會如何發展?

青年文學論壇——GPT-4來臨,翻譯會被AI取代嗎?

華爲&北大:識別ChatGPT造假,AI打假檢測器來了!

ChatGPT清明節:上海雲生命公司“復原”逝者,數字生命丫丫!

騰訊&劍:“熊貓GPT”重磅出爐,多模態超級大模型!

騰訊&南航:AI遊戲生成技術,3天可建設一座“機場”!

網易:ChatGPT自研課首發上架,AI爲遊戲賦能!

網易:AI孫燕姿真來了!網易雲音樂成立AI歌手廠牌!

搞錢GPT:國產首個帶貨AI,將顛覆全球千億美金市場!

國產GPT:推出AI數字人員工,元宇宙+GPT震撼登場!

稚暉君:賽博國風輪足機器人“哪吒”,未來或集成GPT大模型!

妙鴨相機:朋友圈刷屏!AI精修寫真,妙鴨相機爆紅!

視頻版GPT?斯坦福美女博士退學創業,AI生成視頻爆火!

科目三:讓馬斯克跳“科目三”,AI視頻新玩法!

AI網紅來了:半藏森林克隆人,月入10萬+!

AI金髮女友:月入3萬刀,每月收到20份求婚!

AI復活女兒:歌手包小柏,現實版圖桓宇!

AI圖生視頻:效果逼真,阿里雲推出EMO!

AI作曲爆紅:周杰倫歌曲爆改,人人都能寫歌!

AI復活技術:清明臨近,AI復活技術爆火!


#gd的ai&遊戲雜談#

#ai人工智能#

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com