近日，AI修圖神器DragGAN，又迎來了史詩級升級，北大團隊聯合騰訊ARC Lab，將擴散模型應用在AI修圖上！此前，AI修圖往往在泛化能力和生成圖像上有很大的短板，於是北大提出使用擴散模型，在AI修圖逐漸完善後，未來Stable Diffusion畫圖如果有殘缺部分，即可拉到DragGAN中進行重繪修正，甚至再配合Stable Animation SDK可以讓人物再動起來！
AI修圖
伴隨着OpenAI，推出了Image GPT，語言模型應用到圖像領域後，DALL-E、Stable Diffusion、MidJourney相繼推出，讓AI繪畫迅速變得人人可用，
不過目前許多利用AIGC生成圖的應用，很難像PS那樣直接上手對圖像修改，而是要通過prompt提示詞進行修改，或是訓練更換LoRA模型，或是組合SD XL1.0中穩定的擴散模型ControlNet。
北大團隊則是再對DragGAN進行升級，加入他們研發擴散模型Dragon Diffusion，目前論文也公佈在arXiv上，由北大張健老師團隊VILLA依託於智能AIGC聯合實驗室，聯合騰訊ARC Lab共同完成的工作。
Dragon Diffusion
儘管現有的大規模，可以根據文本生成高質量圖像，但它們往往缺乏精確編輯生成真實圖像的能力，Dragon Diffusion利用擴散模型可實現拖拽式操作。
比如讓山動起來，或者讓太陽昇起來，如果手頭有一個生成好的人物，當然也可以讓他動起來跳籃球操！
在原生的DragGAN中，主要利用的是生成對抗模型，但其泛化生成能力並沒有那麼理想，於是張健老師團隊將DragGAN推廣到擴散模型上！
具體來說，Dragon Diffusion根據擴散模型中的特徵的強對應關係，構建引導分支（guidance branch），再基於GAN對AI編輯圖構建生成分支（generation branch），通過Diffusion的逆過程，找到該圖像在擴散隱空間中的表示，作爲兩個分支的輸入，爲了兼顧語義和圖形上的對齊，作者在這個引導策略的基礎上引入了多尺度引導對齊設計。
引導分支則起來到類似於判別器（Discriminator）的作用，生成分支結構相當於GAN中的生成器（Generator）。首先引導分支會對原圖像進行重建，在重建過程中將引導原圖信息，注入到生成分支，生層分支利用引導信息對原圖像進行編輯，同時保持主要內容與原圖一致。
值得一提的是，爲了保證在泛化中編輯後的圖片儘量和原圖保持一致，Dragon Diffusion設計了一種跨分支的self-attention機制，利用引導分支自注意力模塊中的Key和Value，替換生成分支自注意力模塊中的Key和Value，以此來實現特徵層面的參考信息注入。
ttps://mc-e.github.io/project/DragonDiffusion/
目前，Dragon Diffusion已經開發項目主頁，有極高的商用價值！同時，北大實驗室預計還將推出對標Stable Diffusion的大模型！
聊天機器人——ChatGPT全網爆紅，馬斯克驚歎誇讚！
聊天機器人——ChatGPT小白註冊教程，勿被電商割韭菜！
ChatGPT移動端——使用教程，5分鐘註冊iOS賬號！
ChatGPT：AI女網紅交1000+男友周入50萬，未來AI會如何發展？
AI大會：美團升級城市無人機，雨雪天氣也可配送！
青年文學論壇——GPT-4來臨，翻譯會被AI取代嗎？
百度文心一言：全球大廠首發，可幫助續寫《三體》！
百度文心一言：中國版ChatGPT，短視頻批量生成！
百度文心一言：超8萬家企業排隊合作！
百度文心千帆：比ChatGPT便宜，百萬字僅12元！
百度李彥宏：有錢買不到創新，銳評谷歌也未做出來ChatGPT！
阿里雲ChatGPT：“通義聽悟”大模型，對標百度文心繫列！
國產ChatGPT：支持手機芯片推理，馬雲談用GPT解決實際問題！
華爲版ChatGPT：重磅出爐！盤古大模型將在4月發佈！
華爲重磅自研：盤古NLP大模型，不打算追隨ChatGPT！
華爲&北大：識別ChatGPT造假，AI打假檢測器來了！
華爲AI大模型——重磅發佈盤古3.0，千億參數！
華爲盤古大模型：上線歐洲氣象中心，可精確預測颱風！
中國最強ChatGPT：語言大模型“商量”，演示性能超文心一言！
ChatGPT清明節：上海雲生命公司“復原”逝者，數字生命丫丫！
360自研GPT：周鴻禕長文反駁馬斯克，自稱“拯救派”望彎道超車！
360版ChatGPT：實機演示“翻車”，答錯梅西進球數！
阿里版ChatGPT：發佈“通義千問”大模型，可在支付寶測試體驗！
騰訊&南航：AI遊戲生成技術，3天可建設一座“機場”！
百度打假蘋果：文心一言慘遭套皮，現已對蘋果發起訴訟！
元宇宙大會：6大國產GPT同日推出，華爲阿里等成立GPT聯盟！
復旦ChatGPT：開源MOSS大模型，3090顯卡即可運行！
搞錢GPT：國產首個帶貨AI，將顛覆全球千億美金市場！
國產GPT：推出AI數字人員工，元宇宙+GPT震撼登場！
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
