遊戲技術變革:僅用三張圖片,即可直出3D遊戲場景!

伴隨着深度學習和3D重建技術的發展,近期南洋理工大學的科研人員,提出一種新方法,僅僅只需要3張圖片,即可生成高質量的3D場景模型!論文團隊來自於南洋理工大學的四名中國留學生,他們目前在NTU的MMLab,此前介紹的文本生成圖像Text2light等應用也均出自MMLab,今年ICCV2023上,MMLab團隊大獲成功共計20篇論文被收錄!



英偉達

在上個月,英偉達重磅公開了AI新模型“Neuralangelo”,這個模型可以輕鬆“讀懂”視頻,將二維的視頻,轉換成細節層次極其豐富的3D模型,準確度和兼容性極高。

給定一個隨機視頻,AI就能自動提取並搭建人物的高精度3D模型,這樣的場景往往出現在各大科幻片的CG中,而英偉達將這一場景變成事實,也就是說,未來開發者們隨手拿起手機攝影,即可轉換成相應的高精3D模型。

英偉達稱,這項技術結合英偉達的算力支撐,具備極高的商業價值,可以用於遊戲開發、建築設計、數字考古、藝術以及工業機器人等領域!



SparseNeRF

除了用視頻直出3D模型外,南洋理工大學的科研團隊,在近日發表了一篇名爲《SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis》的論文,介紹了一種名爲SparseNeRF的新方法,即用少量鏡頭的圖片,來合成高精度高質量的3D場景。

在現實世界的場景中,要做到一比一建模是相當困難,像刺客信條對巴黎聖母院的建模,或是黑神話悟空團隊對山西古建築體的建模,都是需要耗費大量時間和金錢的項目,特別是一些稠密的場景,建模起來價格極其昂貴!

而且,這對圖片的質量和數量也有極高的要求,在稀疏視圖圖像下,很難合成高質量的3D模型,對那些沒有拍到的新視角,更是難上加難。




NTU提出,利用預訓練深度模型或粗略深度圖的深度先驗,來進行NeRF(神經輻射場)三維重建,作者提出局部深度排序約束(local depth ranking)和空間連續性約束(spatial continuity constraint),以確保合成視圖的一致性和連貫性。

SparseNeRF主要由四個部分構成——NeRF、RGB 顏色重建模塊、深度排序蒸餾模塊和空間連續性蒸餾模塊,利用稀疏視圖輸入合成新穎視圖。對於視角缺少的問題,利用來自預訓練深度估計模型解決,作者還提出了一種局部深度排序正則化方法,可從粗糙深度圖中蒸餾提煉魯棒性更強的深度先驗信息,進一步提高少視角NeRF的性能。

在標準數據集和名爲 NVS-RGBD(包含真實世界深度圖)的新數據集上的性能均優於現有方法,該論文團隊來自於南洋理工大學的四名中國留學生,他們還提供了代碼和數據集以供進一步研究。在未來應用方面,可以集成到iPhone上進行場景合成,或者是放在遊戲或者工業界那種大規模3D合成的場景。




機器學習基礎:

AI學術巨佬——何愷明,從遊戲中獲得論文靈感

AI領軍人物——孫劍,重劍無鋒的經典之作

張益唐——黎曼猜想,華人數學家再創重大突破!

B站大學——線代不掛科,MIT傳奇教授的最後一課!

機器學習入門——數學基礎(積分篇

機器學習入門——數學基礎(代數篇

機器學習入門——數學基礎(貝葉斯篇

ChatGPT:

聊天機器人——ChatGPT全網爆紅,馬斯克驚歎誇讚!

聊天機器人——ChatGPT小白註冊教程,勿被電商割韭菜!

ChatGPT移動端——使用教程,5分鐘註冊iOS賬號!

微軟——解散元宇宙,900億投資壓注ChatGPT!

ChatGPT王炸官宣——僅需2.7美元,即可輸出100萬詞!

微軟——ChatGPT下週史詩升級!百度也同期發佈“文心一言”!

英偉達重磅:史上最強AI算力芯片,老黃髮佈會終極大招!

英偉達重磅:AI讀取視頻,可直出3D遊戲模型!

黃仁勳:給AI圈一點小小的英偉達震撼,11分鐘訓練ChatGPT!

ChatGPT免費開源平替——200億參數,前OpenAI團隊打造!

ChatGPT王炸升級——可識別圖片,考試成績超九成人類!

ChatGPT史詩升級——1秒生成網站,看圖玩梗能力堪比真人!

ChatGPT加強版——60秒生成彈球遊戲,零基礎也能開發遊戲!

ChatGPT王炸升級——解除“封印”,接入互聯網!

ChatGPT王炸官宣——正式解除封印,接入互聯網開放插件!

ChatGPT重磅升級——新增函數功能,價格大幅下降!

ChatGPT:預計3億人將失業,斯坦福封神開源GPT平替版!

ChatGPT:亞洲IP大面積被封,意大利停止服務!

ChatGPT突發:暫停關閉付費Plus,只因需求量太大!

ChatGPT突發:法國、西班牙或禁止GPT,只因數據安全問題!

ChatGPT突發:iOS版應用上線,衝到總榜第二!

ChatGPT:僅時隔一天,OpenAI重新開放付費訂閱!

ChatGPT手機版:近300萬年薪招募團隊,GPT5傳言被闢謠!

ChatGPT之父:重磅推出世界幣,將成爲AI時代“身份證”!

ChatGPT之父:奧特曼沒有公司股份,因爲熱愛創造了GPT!

ChatGPT之父:奧特曼將重磅開源GPT-3,只因GPU供應不足!

ChatGPT之父奧特曼:發佈世界幣,大漲90%估值超兩千億!

ChatGPT:微軟聯手奧特曼,重磅投資核聚變發電!

ChatGPT:被起訴索賠30億美元,只因濫用個人數據!

微軟神級開源:“傻瓜式”工具,人人可擁有自己的ChatGPT

微軟頭顯AI助手:重磅推出Otter,能夠打麻將、開飛機!

遊戲界大變天:斯坦福最新成果,AI角色可模擬真人小鎮!

微軟:大模型性能逆天,可幫大學生求解微積分!

淘汰ChatGPT:智械危機來了,AutoGPT可自動寫代碼!

人工智能“覺醒”:自主學習,AutoGPT會顛覆ChatGPT嗎?

智械危機:AutoGPT嘗試“毀滅人類”,誘導發動核戰爭!

ChatGPT最強挑戰者:谷歌Claude,免註冊支持中文!

ChatGPT最強競品:谷歌免費升級克勞德,20秒逆天速通百頁論文!

ChatGPT:顯卡每日電費500萬,谷歌大腦合併阿爾法狗母公司

ChatGPT:玩轉《我的世界》,北京大學強化學習攻克複雜任務!

ChatGPT:接入奔馳汽車,文心一言也將上線國內車企!

ChatGPT:成功讓AI聽懂人話,學會與人類合作!

ChatGPT:7分鐘開發一款遊戲,成本僅0.3美元!

OpenAI重磅突破:用AI學習AI,開創人工智能新道路!

比爾蓋茨來了:盛讚中國的創新能力,捐款5000萬美元研發醫療!

人工智能之父、奧特曼嚴肅警告——AI未來將滅絕人類!

AI速通遊戲——兩小時超越玩家,阿爾法狗母公司攻克26款遊戲!

蘋果版GPT:將升級推出Siri大模型,禁止員工使用ChatGPT!

蘋果最強頭顯:售價3499美元,人類進入“空間計算”時代!

蘋果庫克:ChatGPT很強但需要監管,頭顯將成爲轉折點!

蘋果:收購任天堂明星合作公司,曾爲馬里奧賽車打造AR頭顯!

ChatGPT:AI女網紅交1000+男友周入50萬,未來AI會如何發展

論文相關:

畢業季雜談——如何隨時免費使用中國知網?

畢業季雜談——論文降重的“奇技淫巧”

畢業季雜談——大學教材如何獲取

畢業論文——Latex論文排版語言介紹

ChatGPT:畢業論文降重必備,天才數學家盛讚論文功能!

#gd的ai&遊戲雜談#

#ai人工智能#

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com