摩爾線程萬卡GPU集羣新進展!性能可提升20倍

快科技7月18日消息,摩爾線程官方宣佈,與清華系AI系統軟件公司清程極智正式建立戰略合作關係,旨在加速國產大規模GPU智算集羣的產業化進程,推動AI算力生態的快速發展,爲大模型行業提供更強大、靈活且高效的基礎設施支持。

摩爾線程近期宣佈了從千卡至萬卡的全功能GPU智算集羣擴展方案,雙方此番合作就將聚焦於萬卡級超大規模GPU智算集羣的開發與優化。

清程極智是一家致力於構建高效人工智能系統軟件,賦能國產算力,支撐大模型行業發展的公司,自主研發了智能編譯器IntelliGen、高效並行訓練系統FastMoE,能夠顯著加速Transformer類模型和混合專家MoE模型的處理速度,部分模型性能提升最高可達15-20倍。

目前,清程極智的核心產品已全面適配摩爾線程自研的MUSA平臺。

摩爾線程還宣佈,已與北京智源人工智能研究院順利完成基於Triton語言的高性能算子庫FlagGems的適配工作。

利用摩爾線程自研的統一系統計算架構MUSA,雙方只用了短短一個多星期,就成功完成了近60個算子的功能驗證,精度符合交付標準,並實現了對Bert-large模型的全面支持。

摩爾線程研發團隊經過充分調研論證,還形成了Triton編譯器在MUSA架構上適配的完整方案,力求實現開發者在基於摩爾線程全功能GPU進行Triton開發算子過程中,也能獲得與原來一致的體驗,做到CUDA框架、MUSA框架的無縫遷移。

在摩爾線程MUSA架構上,FlagGems算子庫展現出了接近手寫算子的計算性能,而且性能還在持續調優,極大加速了開源大模型在摩爾線程全功能GPU上的部署速度。

智源研究院是北京市於2018年11月推動成立的新型研發機構,核心目標是聚焦AI原始創新和核心技術,推動AI理論、方法、工具、系統和應用取得變革性、顛覆性突破,支撐北京建設成爲全球AI學術思想、基礎理論、頂尖人才、企業創新和發展政策的源頭。

智源研究院的FlagGems算子庫是一個使用Triton編程語言實現的高性能通用算子庫,旨在爲大語言模型提供一系列可應用於PyTorch框架的算子,加速模型的推理與訓練,降低新算法的開發門檻。

它以Triton編程語言的易用性和編譯器的標準接口爲基礎,爲多元芯片提供了一套易適配、高性能的算子解決方案,推動基於Triton的統一、開源的軟硬件生態建設。

來源:快科技

點擊此處查看原文>>>

更多遊戲資訊請關註:電玩幫遊戲資訊專區

電玩幫圖文攻略 www.vgover.com