馬斯克開源Grok!3140億參數,參數量全球最一!

3月18日,馬斯克突然開源旗下的大模型Grok,代碼和模型權重已經上線Github和HuggingFace,可以看到Grok一共有3140億參數,馬斯克方面稱Grok也是採用MoE混合專家架構的大模型,爲目前全球開源參數量最多的大模型!




在3月11日,馬斯克突然宣佈要在下週(也就是本週)開源人工智能助手Grok,並將這條消息置頂,馬斯克表面上是希望通過開源的方式,推動技術發展。

實際上,馬斯克是在回擊之前OpenAI對他的反駁,上個月馬斯克一紙狀告OpenAI和老闆山姆·奧特曼,認爲他們違背了非營利性公司的願景,沒有公開GPT-4,隨後OpenAI逐條反駁馬斯克,還公開了雙方的郵件聊天往來。

OpenAI方面認爲己所不欲勿施於人,馬斯克自己都不開源,爲什麼還老是要求OpenAI方面開源,馬斯克方面則是以Grok開源的方式來給OpenAI施加輿論壓力。

而OpenAI方面似乎是迫於馬斯克的輿論大棒,開源了Transformer Debugger,其他的開發者可以利用TDB來分析解讀Transformer內部結構。

今天,馬斯克按照約定,在一週後開源Grok大模型,代碼和模型權重放在Github和HuggingFace上面,根據描述,Grok一共是314B(3140億)個參數。

官網描述稱Grok也是採用混合專家模型MoE架構,爲目前開源模型中參數最多的大模型,Grok由xAI在去年10月基於JAX和Rust實現,而且模型沒有針對任何特定方向進行微調。

但值得一提的是,馬斯克並非是最早開源的人,早在23年2月份,Meta就已經開源了LLama模型,而之後的Llama2也成爲最火的開源模型之一,成爲各大應用的熱門套皮大模型。

今年六、七月份,Llama3可能會即將推出,就目前來看,馬斯克選擇這個時間點開源更多是回應OpenAI,而且大家的目光很快就會被英偉達老黃的GTC大會所吸引。




馬斯克:

聊天機器人——ChatGPT全網爆紅,馬斯克驚歎誇讚!

馬斯克重磅:推出“真相GPT”,保證不會毀滅人類!

馬斯克:ChatGPT成功離不開我,特斯拉擎天柱將改變未來!

奧特曼、馬斯克:ChatGPT風險堪比核武器,希望全球監管!

馬斯克:腦機接口通過審批,全球首次人體臨牀試驗!

馬斯克:中國航天遠比想象中要先進得多,2030年前實現登月!

馬斯克:擴建上海超級工廠,特斯拉一夜大漲1800億!

馬斯克約架小扎:UFC總裁策劃比賽,100美元最低票價!

馬斯克:約架接受專業格鬥訓練,被曝患有抑鬱症!

馬斯克:機器女友成真,AI鑑別器難辨真假!

馬斯克:不讓ChatGPT白嫖數據,銳評程序員將被替代!

特斯拉:黑客破解自動駕駛,可雙手離開方向盤!

馬斯克:昏招限流推特崩盤,小扎偷家上線競品!

馬斯克:高調官宣成立AI公司,華人團隊佔主力!

馬斯克:我其實是外星人,希望研究宇宙萬法的源頭!

馬斯克:如果可樂阿斯巴甜致癌,那我早沒了!

馬斯克:賽博皮卡大戰福特,特斯拉獎金漲至1.5倍月薪!

馬斯克:《暗黑破壞神4》很好玩,暴雪幹得漂亮!

馬斯克:招募腦機接口志願者,實驗六年報名需年滿22歲

馬斯克:盲人也能重見光明,將推出腦機視覺芯片!

馬斯克:特斯拉賽博皮卡上架,起售6萬美元!

馬斯克:特斯拉賽博皮卡首測,遙遙領先比保時捷911還快!

馬斯克:推出X聊天機器人,說話不中立和馬斯克一樣損人!

馬斯克:重磅發佈擎天柱二代,手指靈活逼近真人!

馬斯克:降本增效,“推特崩了”衝上熱搜!

馬斯克:“超級高鐵”設想夢碎,項目破產出售!

馬斯克:19手火箭上岸時陰溝翻船,不幸“殞命”!

馬斯克:特斯拉交付181萬輛,全球銷冠Model Y!

馬斯克:再送4名宇航員上太空,希望八年內登陸火星!

馬斯克:特斯拉營收破新高,中國車企也極具競爭力!

馬斯克:特斯拉在日本銷量遇冷,當地市場缺乏認知!

馬斯克:重回世界首富,人類成功植入腦機接口!

馬斯克:4000億天價薪酬被否決,火星計劃推遲!

馬斯克:曬圖黃仁勳贈簽名版芯片,歷史性時刻!

馬斯克:丟失世界首富位置,亞馬遜老闆成新首富!


#gd的ai&遊戲雜談#

#ai人工智能#

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com