近日，騰訊AI實驗室，聯合劍橋大學科研人員，推出了一個超級大語言模型，以國寶熊貓命名爲“PandaGPT”，該模型能執行極其複雜的任務，支持圖像、文本等六種指令，爲可同時接受多模態輸入的超級大模型，展示了在人工智能領域的創新嘗試！
GPT大模型
去年底，OpenAI推出基於GPT-3.5的ChatGPT，聊天機器人能夠處理各類自然語言數據，最初只支持文本內容輸入，使用場景較爲侷限。
隨後3月15日，OpenAI推出了具備多模態輸入能力的GPT-4，可以接受文字和圖片輸入，並且輸出文字！在應對各種各種專業和學術考試中，GPT-4已經完全達到了人類水平相當的性能！
升級後ChatGPT可以看懂“圖片”，給GPT-4看一幅手繪網站圖片，只花了1秒鐘就寫代碼，生成了與手繪一模一樣的網站，同時GPT-4還具備讀懂人類梗圖的能力。
熊貓GPT
近期，騰訊 AI Lab、劍橋的研究員也發佈了一項名爲PandaGPT的大模型，將GPT大型語言模型，與不同模態對齊、綁定以實現跨模態指令跟隨能力。
PandaGPT既能看懂文字，同時也能聽懂音頻，可以在複雜場景中執行任務，例如生成詳細的圖像描述、根據視頻編寫故事以及回答有關音頻的問題等等。
更有趣的是，PandaGPT 可以同時接受多模式輸入並自然地組合它們的語義。例如，PandaGPT 可以結合物體在照片中的樣子，以及它們在音頻中的聲音。（下圖實例詢問PandaGPT圖像問題）
多模態
在ChatGPT引爆AI領域後，多模態將成爲未來AI主攻方向，PandaGPT 結合了 ImageBind 的多模式編碼器和 Vicuna 的大型語言模型，在六種模態（圖像&視頻、文本、音頻、熱力圖、深度圖、IMU讀數）上，擁有無與倫比的擴模態能力！
PandaGPT 使用 LLaVa 和 Mini-GPT4 發佈的共 160k 圖像-語言指令跟蹤數據，當做訓練數據，每個訓練實例包括一張圖像和相應一組多輪對話，Vicuna 注意力模塊添加額外LoRA權重，整個訓練過程在 8×A100 (40G) GPUs 上完成訓練需要約 7 小時。
下面爲利用PandaGPT結合音頻和視頻，將不同模態的信息自然組合在一起，未來將大大提升視頻等創作的生產力！目前，這種多模態技術發展方向，也被視作是通用人工智能AGI，有潛力將所有AIGC集成到一個模型中來，同時完成文字、圖像、視頻和音頻生成等任務！
機器學習基礎：
AI學術巨佬——何愷明，從遊戲中獲得論文靈感
AI領軍人物——孫劍，重劍無鋒的經典之作
張益唐——黎曼猜想，華人數學家再創重大突破！
B站大學——線代不掛科，MIT傳奇教授的最後一課！
機器學習入門——數學基礎（積分篇）
機器學習入門——數學基礎（代數篇）
機器學習入門——數學基礎（貝葉斯篇）
遊戲&AI系列：
賽博朋克——敏捷開發能挽救CDPR的口碑嗎？
巫師三——AI如何幫助老遊戲畫質重獲新生
AI女裝換臉——FaceAPP應用和原理
AI捏臉技術——你想在遊戲中捏誰的臉？
Epic虛幻引擎——“元人類生成器”遊戲開發（附教程）
腦機接口——特斯拉、米哈遊的“魔幻未來技術”
白話科普——Bitcoin到底是如何誕生的？
永劫無間——肌肉金輪，AI如何幫助玩家捏臉？
GTA6黑客——R星自導自演營銷？無稽之談！
ChatGPT：
聊天機器人——ChatGPT全網爆紅，馬斯克驚歎誇讚！
聊天機器人——ChatGPT小白註冊教程，勿被電商割韭菜！
ChatGPT移動端——使用教程，5分鐘註冊iOS賬號！
ChatGPT王炸官宣——僅需2.7美元，即可輸出100萬詞！
火爆全網——AI生成的漂亮小姐姐，形象逼近真人！
AI動畫重磅上線——15種風格任選，支持圖片視頻輸入！
AI“核彈級”修圖神器——有手就能修圖，PS將被淘汰！
微軟——ChatGPT下週史詩升級！百度也同期發佈“文心一言”！
英偉達重磅：史上最強AI算力芯片，老黃髮佈會終極大招！
英偉達重磅：AI讀取視頻，可直出3D遊戲模型！
ChatGPT免費開源平替——200億參數，前OpenAI團隊打造！
ChatGPT王炸升級——可識別圖片，考試成績超九成人類！
ChatGPT史詩升級——1秒生成網站，看圖玩梗能力堪比真人！
ChatGPT加強版——60秒生成彈球遊戲，零基礎也能開發遊戲！
ChatGPT王炸升級——解除“封印”，接入互聯網！
ChatGPT王炸官宣——正式解除封印，接入互聯網開放插件！
ChatGPT：預計3億人將失業，斯坦福封神開源GPT平替版！
ChatGPT：亞洲IP大面積被封，意大利停止服務！
ChatGPT突發：暫停關閉付費Plus，只因需求量太大！
ChatGPT突發：法國、西班牙或禁止GPT，只因數據安全問題！
ChatGPT突發：iOS版應用上線，衝到總榜第二！
ChatGPT：僅時隔一天，OpenAI重新開放付費訂閱！
ChatGPT手機版：近300萬年薪招募團隊，GPT5傳言被闢謠！
ChatGPT之父：重磅推出世界幣，將成爲AI時代“身份證”！
ChatGPT之父：奧特曼沒有公司股份，因爲熱愛創造了GPT！
ChatGPT：微軟聯手奧特曼，重磅投資核聚變發電！
微軟神級開源：“傻瓜式”工具，人人可擁有自己的ChatGPT！
遊戲界大變天：斯坦福最新成果，AI角色可模擬真人小鎮！
淘汰ChatGPT：智械危機來了，AutoGPT可自動寫代碼！
人工智能“覺醒”：自主學習，AutoGPT會顛覆ChatGPT嗎？
ChatGPT最強挑戰者：谷歌Claude，免註冊支持中文！
ChatGPT最強競品：谷歌免費升級克勞德，20秒逆天速通百頁論文！
ChatGPT：顯卡每日電費500萬，谷歌大腦合併阿爾法狗母公司
ChatGPT：玩轉《我的世界》，北京大學強化學習攻克複雜任務！
OpenAI重磅突破：用AI學習AI，開創人工智能新道路！
馬斯克重磅：推出“真相GPT”，保證不會毀滅人類！
馬斯克：ChatGPT成功離不開我，特斯拉擎天柱將改變未來！
奧特曼、馬斯克：ChatGPT風險堪比核武器，希望全球監管！
馬斯克：中國航天遠比想象中要先進得多，2030年前實現登月！
馬斯克訪華：擴建上海超級工廠，特斯拉一夜大漲1800億！
人工智能之父、奧特曼嚴肅警告——AI未來將滅絕人類！
蘋果版GPT：將升級推出Siri大模型，禁止員工使用ChatGPT！
占卜GPT問世：AI進軍玄學領域，將取代星座大V！
ChatGPT：AI女網紅交1000+男友周入50萬，未來AI會如何發展？
青年文學論壇——GPT-4來臨，翻譯會被AI取代嗎？
百度文心一言：全球大廠首發，可幫助續寫《三體》！
百度文心一言：中國版ChatGPT，短視頻批量生成！
百度文心一言：超8萬家企業排隊合作！
百度文心千帆：比ChatGPT便宜，百萬字僅12元！
百度李彥宏：有錢買不到創新，銳評谷歌也未做出來ChatGPT！
阿里雲ChatGPT：“通義聽悟”大模型，對標百度文心繫列！
國產ChatGPT：支持手機芯片推理，馬雲談用GPT解決實際問題！
華爲版ChatGPT：重磅出爐！盤古大模型將在4月發佈！
華爲重磅自研：盤古NLP大模型，不打算追隨ChatGPT！
華爲&北大：識別ChatGPT造假，AI打假檢測器來了！
中國最強ChatGPT：語言大模型“商量”，演示性能超文心一言！
ChatGPT清明節：上海雲生命公司“復原”逝者，數字生命丫丫！
360自研GPT：周鴻禕長文反駁馬斯克，自稱“拯救派”望彎道超車！
360版ChatGPT：實機演示“翻車”，答錯梅西進球數！
阿里版ChatGPT：發佈“通義千問”大模型，可在支付寶測試體驗！
百度打假蘋果：文心一言慘遭套皮，現已對蘋果發起訴訟！
元宇宙大會：6大國產GPT同日推出，華爲阿里等成立GPT聯盟！
復旦ChatGPT：開源MOSS大模型，3090顯卡即可運行！
搞錢GPT：國產首個帶貨AI，將顛覆全球千億美金市場！
國產GPT：推出AI數字人員工，元宇宙+GPT震撼登場！
稚暉君：賽博國風輪足機器人“哪吒”，未來或集成GPT大模型！
論文相關：
畢業季雜談——如何隨時免費使用中國知網？
畢業季雜談——論文降重的“奇技淫巧”
畢業季雜談——大學教材如何獲取
畢業論文——Latex論文排版語言介紹
ChatGPT：畢業論文降重必備，天才數學家盛讚論文功能！
更多遊戲資訊請關註：電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
