OpenAI創始人的故事——誰創造了ChatGPT？

2月14日，OpenAI公司迎來地震級消息，公司創始人、AI資深大牛Andrej Karpathy，宣佈離職創業，作爲全世界最受關注的科技公司和焦點人物，Karpathy的再次離職引發了各種各樣的爭議，許多人陰謀論認爲Karpathy也是逼宮奧特曼的始作俑者，還有人說Karpathy是馬斯克派到OpenAI當間諜的，但Karpathy也有另外一幅面孔，他是AI技術的代表人物，也是全世界最著名的GPT科普學者、CS231n的主講人，用最簡單的話語，帶大家瞭解如何“手搓GPT”。

AI人物誌

筆者之前已經介紹過何愷明、孫劍、湯曉鷗、周志華等多位AI巨佬，OpenAI刷臉最多是公司CEO山姆·奧特曼，自然很多人會認爲是“奧特曼創造了ChatGPT”，但是在ChatGPT背後，也有很多不爲公衆熟知的科研人員，而在OpenAI宮斗大戲的背後，也有科研人員們理念的重大分歧，今天則有機會聊聊這位極具傳奇色彩的人物Andrej Karpathy，在去年的微軟Build大會上，Karpathy首次爲公衆解密InstructGPT的原理。

大多數人瞭解到Karpathy，是斯坦福大學的CS231n課程，CS231n可以說是CV界最著名的課程，主講人正是在斯坦福讀博的Karpathy。2011年，Karpathy從加拿大UBC畢業，來到斯坦福大學讀博，師從知名AI科學家、谷歌雲首席科學家、成都七中著名校友李飛飛，同年Karpathy加入剛剛成立的谷歌大腦實習，主要方向爲視頻領域的大規模無監督學習，在博士時期，Karpathy與老師李飛飛，共同發起了ImageNet項目。

1. ImageNet——CV世界盃

用通俗一點的話來說，ImageNet就相當於CV領域的世界盃，Karpathy本人第一次接觸AI領域是大學時期，Karpathy1986年出生於捷克斯洛伐克，15歲移居多倫多，大學時期就讀於UoT，獲得計算機科學和物理學士學位。

在多大期間，Karpathy第一次接觸到了深度學習相關工作，當時AI圖靈獎三巨頭之一的Geoff Hinton開設了一門深度學習課程，和全世界的學生一樣，MNIST成爲Karpathy入坑的第一課。2009年，Karpathy進入英屬哥倫比亞大學，開始主攻機器學習方向。

當時深度學習還並未成爲“顯學”，主流的AI仍然在講深度優先搜索、廣度優先搜索、Alpha-Beta剪枝這些技術，Karpathy並不滿意這些，但是看到機器學習後，他深刻體會到這纔是他想研究的人工智能，這纔是真正有趣的東西。

研究生期間，Karpathy導師爲計算機科學系教授Michiel van de Panne，主要研究機器學習如何應用於敏捷機器人的物理模擬；2011年，Karpathy加入斯坦福大學，當時導師李飛飛組建研究團隊來搭建ImageNet數據庫，並對圖像進行分類，工作量極大。

Karpathy花費大量時間對圖像進行註釋和分類，比如ImageNet有大量狗狗的圖片，Karpathy每天待在實驗室，反覆將機器學習算法與其他算法進行對比，每年李飛飛都會舉辦ImageNet大規模視覺識別挑戰賽 (ILSVRC) ，在2012年的時候，AlexNet橫空出世，徹底開啓了深度學習時代。

ImageNet和ILSVRC也成爲AI領域的里程碑時間，我們毫不誇張地說，Karpathy憑藉學術生涯早期的項目ImageNet，就已經成爲AI領域繞不開的人物；然而這一時期Karpathy更加出色的是公開課，他毫無保留地將斯坦福大學CS231n課程公開給全世界的研究者，極大地推動了深度學習的發展，這也讓人想起另一位華人大佬吳恩達Andrew Ng......

2. Deepmind

Karpathy在Stanford讀博期間，還參與了三段實習，2011年，谷歌大腦剛剛成立，Karpathy加入谷歌大腦，當時谷歌大腦內部使用了一套深度學習神經網絡的訓練推理框架，研發團隊主要由Geoffery Hinton領導，實現了大家所熟知的反向傳播BP算法，四年後谷歌大腦將這套框架公開——TensorFlow！

在PyTorch崛起前，TF還是絕對的王者，由於當時谷歌大腦還是嬰幼兒階段，Karpathy當時對很多領域都感興趣，特別是無監督學習（Unsupervised learning），第二段是Karpathy在13年進入谷歌研究院實習，主要研究油管視頻的大規模監督學習，當時Karpathy在Quora上也非常活躍，常年給大量機器學習研究領域的學者們答疑，空閒時間，Karpathy用JS開發了很多深度學習庫，例如ConvNetJS、RecurrentJS、REINFORCEjs和t-sneJS等，

15年，Karpathy再次回到谷歌，則是直接進入了Deepmind實習，監督學習/無監督學習過後，Karpathy開始對Sutton的強化學習（Reinforcement Learning）感興趣，第二年，Deepmind的AlphaGo就以4-1擊敗李世石，成爲AI領域公衆最爲熟知的里程碑事件，第三年在烏鎮再橫掃八冠王柯潔。

Karpathy在Deepmind主要方向爲深度強化學習（Deep Reinforcement Learning），整個夏天，Karpathy一直在看David Silver的課程，就在AlphaGo大殺四方的同時，Karpathy與公衆分享AI玩Atar遊戲、擊敗圍棋世界冠軍、模擬動物學習奔跑跳躍等應用背後的原理，業餘時間Karpathy還在維護arxiv-sanity，整理了接近10萬篇arXiv上與機器學習相關的論文。

3. OpenAI

2015年，Karpathy從斯坦福畢業，同時離開了Deepmind，選擇創業加入了馬斯克領投的OpenAI公司！當時的OpenAI應該來說並不起眼，當提起OpenAI時，大家會想起這是馬斯克倡導發起建立的“非營利機構”，或者是Ilya Sutskever、Andrej Karpathy們創立的科技公司。

回到15年，Y Combinator總裁山姆·奧特曼（Sam Altman）、支付公司Stripe的CTO格雷格·布羅克曼（Greg Brockman），以及谷歌人工智能研究科學家伊爾亞·蘇茨克維（Ilya Sutskever）、特斯拉創始人馬斯克一起（四人剛好是宮斗大戲主角和看官），以“研究造福全人類的人工智能”爲願景，創立了一家非營利性人工智能研究公司，不求任何財務回報，創始人們認爲AI應該是人類個人意志、自由精神的延伸。

在過去，像AlphaGo、深藍等擊敗人類的智能算法，都是爲解決某些任務而製造，每當人類以爲自己掌握了AI的鑰匙時，會發現這些解決方案並沒有人們希望的那麼通用，深度學習經過了數十年的探索終於成爲主流，開始在各種問題領域取得最先進的成果，OpenAI希望能夠創造更加通用的算法，例如圖像識別、機器翻譯、語音識別等領域。

多位大佬的學生加入了OpenAI，包括本文主角李飛飛學生Andrej Karpathy，AI三巨頭Lecun的學生Wojciech Zaremba，吳恩達的得意門生Pieter Abbeel、Pieter Abbeel的學生約翰·舒爾曼（John Schulman）等；此外Bengio和學生Ian Goodfellow等也作爲OpenAI的顧問，當時兩大負責人則是山姆·奧特曼，以及大金主伊隆·馬斯克。

有了充足的資金和專業的科研人員，再加上非常簡單高效的組織結構，Karpathy在OpenAI充滿了技術熱情，馬斯克非常欣賞Karpathy，評價是Karpathy在ImageNet時讓計算機有了視覺能力，在Deepmind時期，通過生成模型給了計算機想象力，通過深度強化學習給予計算機瀏覽互聯網能力，馬斯克對Karpathy評價相當高。

4. Tesla→迴歸OpenAI

這也不難解釋，爲何Karpathy在17年離開OpenAI，被馬斯克帶到特斯拉，Karpathy成爲特斯拉AI部門的主管，負責Autopilot，擁有直接向馬斯克彙報的權力，特斯拉也成功推出FSD；在2023年2月份，Karpathy迴歸OpenAI，製作的“從零開始手搓GPT”、“一小時弄懂大模型”等視頻，很快成爲全球最火的GPT科普視頻，這也是OpenAI首次有人公開給工作做科普。

馬斯克當時對於Karpathy的離開，是非常罕見地給予了祝福，馬斯克表示，“謝謝你爲特斯拉所做的一切，和Karpathy在一起工作是我的榮幸！”就這樣，Karpathy以OpenAI元老的身份，重回這個全世界最受關注的公司，山姆·奧特曼看起來也希望借用Karpathy在社區的影響力。

去年底，OpenAI曝出驚天宮斗大戲，Sutskever宣佈山姆·奧特曼和格雷格·布羅克曼被光速解僱，就在員工們選邊站的同時，Karpathy置身事外沒有選擇站隊，而是發了一個輻射警告的標誌，再加上Karpathy本人沉迷技術的特點，也被認爲是少有的中立派。但是在OpenAI生態大會上，Karpathy這位知名大牛卻沒有被分到任何主題演講，要知道他可是第一個以OpenAI官方身份與公衆分享ChatGPT訓練思路的人。

2月14日，Karpathy宣佈二次從OpenAI離職，在他十多年的職業生涯中，一直積極爲開源社區做貢獻，創建了多個有關構建深度神經網絡的課程，在自媒體時代，也成爲最棒的GPT科普視頻製作者，Karpathy的二次離職也讓外界對OpenAI近期的動作表示質疑，山姆·奧特曼表示將投資7萬億美元主攻AI芯片領域，如今的AI時代商業爲贏，所有人都在追逐各種各樣的新概念，而像Karpathy這樣的“老實人”也選擇離開OpenAI，在離職聲明中，Karpathy表示自己將專注於個人項目繼續創業。