各位早啊，我是強尼，歡迎收看最新一期威客日報！點贊充電收藏是我更新的最大動力！
引言：我們已經見識過AI下圍棋、打星際爭霸、寫小說，但AI什麼時候能自己學打遊戲？
最近一篇由英偉達聯合斯坦福大學、加州理工學院等機構研究人員發佈的論文，把這個設想往前推了一大步。
NVIDIA已經不滿足於只是賣遊戲佬卡了，更是想要讓AI自己學會打遊戲，前不久推出了一個名爲 NitroGen 的通用遊戲智能體
——注意！它不是隻會玩某一個遊戲，而是幾乎所有遊戲在簡單學習後都能夠快速上手。
一、爲什麼通用的遊戲智能那麼難？
過去幾年，遊戲 AI 的發展一直面臨一個困境：太專一，不通用。
比如 AlphaGo 只會下圍棋，OpenAI Five 只會打 Dota 2，它們都是爲單一遊戲設計的。
訓練這樣一個 AI 需要大量時間和專門的模擬器，成本很高。
另一個方向是讓 AI 通過看人玩遊戲來學習，這叫行爲克隆。
但問題在於：訓練數據很難獲取——你需要記錄玩家每一刻的手柄操作，並和遊戲畫面一一對應。人工標註這樣的數據幾乎不可能大規模進行。
圖片來源：CSDN
於是研究陷入了一個僵局：要麼訓練一個只會玩一個遊戲的專家，要麼因爲數據不夠而難以訓練通才。
二、NitroGen的解法：從直播和視頻裏偷師
NitroGen的訓練方法有點粗暴，但，很有效。
它通過觀看互聯網上4萬小時的遊戲視頻，學會了玩1000多種不同的遊戲。
圖片來源：原文圖1
NitroGe團隊發現，互聯網上其實早就存在大量帶操作顯示的遊戲視頻。
很多遊戲主播或玩家在錄製視頻時，會用一種叫“輸入覆蓋層”的軟件，在畫面角落顯示自己實時的按鍵和搖桿操作。比如你常看到直播畫面一角有個半透明的手柄圖，哪個鍵按下、搖桿往哪推，一目瞭然。
原文圖2：輸入覆蓋層示例。玩家按下按鍵時，屏幕一角的手柄圖示會高亮顯示，相當於給 AI 提供了操作字幕。
NitroGen的第一個突破，就是自動從這些視頻裏提取玩家的操作。
他們收集了 7.1 萬小時帶手柄覆蓋層的遊戲視頻，然後用計算機視覺技術定位、裁剪出手柄區域，再用一個訓練好的分割模型識別搖桿位置和按鍵狀態。最終，他們構建了一個包含4萬小時視頻、覆蓋 1000 多款遊戲的數據集。
原文圖3：每場遊戲的時長覆蓋範圍廣泛，有 846 款遊戲的時長數據超過 1 小時，91 款遊戲超過 100 小時，15 款遊戲每款的時長都超過 1000 小時。
這是目前規模最大、最多元的開源遊戲操作數據集。
三、NitroGen都玩哪些遊戲？
這些遊戲類型分佈很廣：
動作角色扮演遊戲（比如《黑暗之魂》《艾爾登法環》）佔 34.9%
平臺跳躍遊戲（比如《空洞騎士》《蔚藍》）佔 18.4%
動作冒險遊戲（比如《塞爾達傳說》）佔 9.2%
其餘包括射擊、體育、 Roguelike 等類型
原文圖3：NitroGen 數據集中游戲類型的分佈。動作RPG 佔比最高，2D平臺遊戲次之。類型分佈顯示，動作角色扮演遊戲佔總時長的34.9%，平臺遊戲（18.4%）和動作冒險遊戲（9.2%），其餘則分佈在七個類型中。
四、NitroGen的原理？
NitroGen 的模型結構並不複雜，它主要做一件事：
根據當前畫面，預測接下來的一系列手柄操作。
它使用了一個基於 Transformer 的視覺-動作模型，輸入是一張 256×256 的遊戲截圖，輸出是未來 16 個時刻的手柄動作（包括按鍵和搖桿方向）。
這個模型不依賴語言指令，也不依賴遊戲內部狀態——它只看畫面，然後模仿人類在類似畫面下的操作。
五、它真的能玩嗎？
研究人員在一個包含10款遊戲、30個任務的測試集上評估了 NitroGen。
這些任務涵蓋戰鬥、導航、解謎等多種類型。
例如在某個 3D 動作遊戲中，任務可能是擊敗這個 Boss；在 2D 平臺遊戲中，任務可能是跳躍到達某個平臺。
原文圖4：In-game rollouts。NitroGen在各種2D和3D環境中執行任務的情況。這些任務的執行時間從幾秒鐘到幾分鐘不等。其中一些任務涉及記憶，而另一些則在程序生成的世界中進行，需要模型具備適應能力。
結果是：NitroGen 在不進行額外訓練的情況下，就能在多個遊戲中完成非平凡任務。
更令人印象深刻的是它的泛化能力。
如果在一個新遊戲上對 NitroGen 進行少量微調（比如 30 小時數據），它的任務成功率相比“從零開始訓練”的模型，平均能提升 10% ~ 52%。
原文圖7：在新遊戲上微調 NitroGen 能顯著提升任務成功率，尤其是在戰鬥和導航任務上。（a）當改變數據量時，任務完成率會隨着數據集大小而變化，微調平均能使任務完成率相對提高 10%。（b）在低數據量情況下（30 小時）改變任務類型時，微調能使任務完成率相對提高高達 52%。
尤其是在3D動作RPG遊戲中，戰鬥任務的提升幅度最大，達到 52%。這說明它從其他遊戲中學到的“戰鬥直覺”可以遷移到新遊戲中。
當然，NitroGen 目前還有很多侷限：
它只是一個快速反應系統，不會長期規劃，也不能理解語言指令。
它主要依賴手柄操作，對鍵盤鼠標遊戲的支持有限。
數據集中動作遊戲佔比高，策略類、模擬經營類遊戲較少，因此在這些類型上泛化能力可能較弱。
七、省流時間
讓AI打遊戲只是娛樂，但這背後其實是一個更大的願景：
訓練能在未知環境中行動的通用具身智能體。
遊戲是一個相對安全、可控、且複雜度極高的數字世界。如果AI能在遊戲中學會適應各種場景、解決各種任務，那麼未來它在現實世界（比如機器人控制、自動駕駛）中也可能具備類似的能力。
值得一提，NitroGen 團隊已經開源了他們的數據集、模型和測試環境，大夥都能下載下來並安裝到自己電腦上體驗一下。
碼字不易，求點贊！求收藏！求盒電！
關注我，一起學些沒用的...
————————————————————
本期參考文獻：
《NitroGen | A Foundation Model for Generalist Gaming Agents》https://nitrogen.minedojo.org/
————————————————————
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
