英偉達發文介紹“黃氏定律”：GPU 推理性能十年提升 1000 倍

正當人們爭論摩爾定律在 2020 年代是否會放緩、是否仍然適用、甚至已死的時候，英偉達發文宣佈了“黃氏定律（Huang's Law）”。

據英偉達一篇最新博客稱，在過去十年中，英偉達 GPU 人工智能處理能力增長了 1000 倍。“黃氏定律”意味着在“單芯片推理性能”中看到的加速不會逐漸消失，而是會繼續出現。

文中表示，英偉達首席科學家 Bill Dally 所描述的“後摩爾定律時代計算機性能如何實現的結構性轉變”主要基於人類的聰明才智。這一特徵似乎難以建立一條定律，但 Dally 認爲，下面的圖表標誌着“黃氏定律”的開始。

IT之家查詢發現，“黃氏定律”並非英偉達自己的首創說法。IEEE Spectrum 第一個提出以黃仁勳命名定律，“黃氏定律”後來因《華爾街日報》的一篇專欄而廣爲人知。

根據 Dally 最近在 Hot Chips 2023 會議上的演講，上圖顯示過去十年 GPU AI 推理性能增長了 1000 倍。Dally 表示，有趣的是，與摩爾定律不同，工藝縮小對黃氏定律的進展幾乎沒有影響。

Dally 回憶起如何通過改變英偉達 GPU 底層數字處理來實現 16 倍的增長。使用 Transformer 引擎的 Nvidia Hopper 架構的到來帶來了另一個巨大的推動。據稱，Hopper 使用 8 位和 16 位浮點與整數數學的動態組合，實現了 12.5 倍的性能飛躍，並且節省了能源。

Dally 還稱，儘管摩爾定律的收益不斷減少，但他相信“黃氏定律”仍將繼續存在。

來源：IT之家

點擊此處查看原文>>>