7 月 31 日消息,華爲今日官宣,開源盤古 5050 億參數的 openPangu-2.0-Pro 模型(模型權重、基礎推理代碼)及技術報告正式開源上線。
開源盤古 openPangu 是華爲開源 AI 模型品牌,致力於通過昇騰原生訓練與推理技術,爲業界用好昇騰提供最佳實踐參考。
openPangu-2.0-Pro 是基於昇騰 NPU 訓練的大規模混合專家(MoE)語言模型,參數規模約 505B,每 token 激活參數規模約 18B,模型支持 512k 上下文長度,訓練數據總量約 34T tokens。後訓練階段完成快慢合一微調(SFT)、多專項強化學習(RL),並通過在線蒸餾(OPD)完成能力合一。
openPangu-2.0-Pro 在模型架構上實現了全面的升級:
Attention 架構:沿用高效 MLA,並採用 DSA+SWA 獨立分層混合架構,層配比爲 1:2;SWA 層負責局部窗口建模,DSA 層負責稀疏全局聚合,在保持精度的同時顯著降低長序列推理的計算、顯存與訪存開銷。
拓撲架構:將傳統殘差連接升級爲 4 支流 mHC 架構,提升表徵多樣性與泛化能力。
自投機模塊:採用 3 頭 MTP 架構,一次額外預測 3 個 token,顯著提升模型的推理速度。
Muon 優化器:訓練中採用 Muon 優化器,獲得更快的收斂速度。
在今年 6 月的華爲開發者大會 HDC 2026 主題演講中,華爲常務董事、產品投資評審委員會主任、終端 BG 董事長餘承東宣佈,openPangu 2.0 計劃從 6 月 30 日起陸續開源 7 大組件,包括新增開源的預訓練代碼、後訓練代碼、訓練算子。
6 月 30 日,92B 參數的 openPangu-2.0-Flash 模型已正式開源上線。
對於 openPangu-2.0-Pro 總參數僅 505B,餘承東曾解釋稱,算力大量支持了國內的其他企業需求,自己留的數量還是非常有限的;此外,AI 算力成本非常高,華爲更聚焦時延和吞吐率的提升。
openPangu-2.0 模型相關組件已陸續上線開源平臺。
附開源地址:
ai。gitcode。com/ascend-tribe/openPangu-2。0-Pro
![]()
![]()
更多遊戲資訊請關註:電玩幫遊戲資訊專區
電玩幫圖文攻略 www.vgover.com
