谷歌王炸！史上最強大模型免費，能看懂1小時電影！

4月12日，近期多家大模型進行更新，谷歌發佈了更新版Gemini Pro 1.5，支持音頻輸入和系統提示，上下文窗口達到100萬tokens，最長可以處理11個小時的音頻文件或者1小時的視頻文章，在沒有任何聲音字幕的情況下，也能夠看懂電影的事件和情節！目前，Gemini Pro 1.5已經完全免費，在超過180多個國家發佈，Gemini 1.5 Pro的API也暫時對開發者免費開放，用戶可在谷歌AI Studio中獲得API密鑰！

本週，谷歌進行了谷歌雲大會Google’s Cloud Next 2024，對AI大模型進行了一系列的更新，包括目前最強大模型Gemini 1.5 Pro，該模型最早在今年2月份公開，當時是使用了最新的混合專家模型MoE架構，上下文窗口超越GPT-4 Turbo和Claude 2.1一個數量級。

擴大上下文窗口

Gemini 1.5 Pro能力堪稱是科幻片，比如給他輸入一種來自新幾內亞的土著語言卡拉曼語，Gemini能夠瞬間從零學會卡拉曼語！這樣的能力主要得益於100萬tokens上下文窗口，最新更新的Gemini 1.5 Pro，能夠處理的token數量從12.8萬增加到了100萬。

新增音頻和視頻模式

這意味着Gemini 1.5 Pro可以理解和生成相當於70萬個單詞或大約3萬行代碼的文本，能力大約是Anthropic公司旗艦模型Claude 3的四倍，也是OpenAI的GPT-4 Turbo模型最大上下文窗口的八倍。

除了處理能力的提升，Gemini 1.5 Pro還首次引入了本地音頻（語音）理解功能，最長支持11小時音頻/1小時視頻輸入，這使得它能夠更好地理解和處理音頻、視頻文件，比如給定巴斯特·基頓拍攝的一個44分鐘長度無聲電影，Gemini 1.5 Pro可以讀懂電影中的畫面、事件和情節！

Gemini API 改進

Gemini 1.5 Pro對API進行改進，新增JSON模式，這對於需要從文本或圖像中提取結構化數據的應用程序非常有用，開發人員可以更容易地解析和使用模型的輸出，簡化文件的處理流程提高效率。

這些改進讓Gemini API更加強大和靈活，爲開發人員提供了更多的控制和定製選項，現在，Gemini 1.5 Pro不僅能夠處理文本數據，還能夠輕鬆對上傳到Google AI Studio中的視頻中的圖像（幀）和音頻（語音）內容進行推理！

全新的embedding

谷歌公開了新的embedding詞嵌入text-embedding-004，在測試中展現了卓越的檢索性能，谷歌已經免費開放Gemini 1.5 Pro，谷歌鼓勵開發人員立即開始在Google AI Studio中使用Gemini 1.5 Pro。

新一輪的AI大模型競賽仍在進行中，OpenAI更新了GPT-4-Turbo，Mistral也更新了Mixtral 8x22B，谷歌透露，上述更新只是衆多改進的開始，谷歌希望通過持續的改進和社區參與，推動Gemini的發展。

ChatGPT：

聊天機器人——ChatGPT全網爆紅，馬斯克驚歎誇讚！
聊天機器人——ChatGPT小白註冊教程，勿被電商割韭菜！
ChatGPT移動端——使用教程，5分鐘註冊iOS賬號！
微軟——解散元宇宙，900億投資壓注ChatGPT！
ChatGPT王炸官宣——僅需2.7美元，即可輸出100萬詞！
火爆全網——AI生成的漂亮小姐姐，形象逼近真人！
英偉達重磅：AI讀取視頻，可直出3D遊戲模型！
黃仁勳：給AI圈一點小小的英偉達震撼，11分鐘訓練ChatGPT！
ChatGPT免費開源平替——200億參數，前OpenAI團隊打造！
ChatGPT王炸升級——可識別圖片，考試成績超九成人類！
ChatGPT史詩升級——1秒生成網站，看圖玩梗能力堪比真人！
ChatGPT加強版——60秒生成彈球遊戲，零基礎也能開發遊戲！
ChatGPT王炸官宣——正式解除封印，接入互聯網開放插件！
ChatGPT重磅升級——新增函數功能，價格大幅下降！
ChatGPT：預計3億人將失業，斯坦福封神開源GPT平替版！
ChatGPT突發：iOS版應用上線，衝到總榜第二！
ChatGPT之父：重磅推出世界幣，將成爲AI時代“身份證”！
ChatGPT之父：奧特曼沒有公司股份，因爲熱愛創造了GPT！
ChatGPT：微軟聯手奧特曼，重磅投資核聚變發電！
遊戲界大變天：斯坦福最新成果，AI角色可模擬真人小鎮！
人工智能“覺醒”：自主學習，AutoGPT會顛覆ChatGPT嗎？
ChatGPT最強挑戰者：谷歌Claude，免註冊支持中文！
ChatGPT最強競品：谷歌免費升級克勞德，20秒逆天速通百頁論文！
ChatGPT：顯卡每日電費500萬，谷歌大腦合併阿爾法狗母公司！
ChatGPT：玩轉《我的世界》，北京大學強化學習攻克複雜任務！
ChatGPT：成功讓AI聽懂人話，學會與人類合作！
ChatGPT：7分鐘開發一款遊戲，成本僅0.3美元！
OpenAI重磅突破：用AI學習AI，開創人工智能新道路！
OpenAI王炸——AI繪畫集成ChatGPT，“大力3”來了！
谷歌官宣：史上最強大模型，碾壓GPT-4！
微軟重磅官宣：GPT-4接入Win11，下週二免費推送更新！
喬布斯劇本：奧特曼被OpenAI開除，美女工程師接任！
奧特曼迴歸？OpenAI員工施壓希望召回奧特曼！
奧特曼宣佈：加入微軟，光速跳槽甲方！
奧特曼迴歸：OpenAI上演“宮鬥”大結局！
GPT商店上線：“AI女友”機器人成熱門應用！
OpenAI王炸官宣——文生視頻模型Sora上線！
OpenAI新模型：Sora會衝擊影視行業嗎？技術解讀
OpenAI新模型：Sora會顛覆遊戲行業嗎？技術解讀
OpenAI估值：5700億，僅次於字節和SpaceX！
OpenAI王炸：僅需15秒音頻，即可克隆任何聲音！
OpenAI：開放GPT使用限制！
OpenAI創始人：電影將變成遊戲！