這篇文章系統(tǒng)梳理了 OpenAI o1模型背后的核心人才。
今天凌晨，OpenAI 震撼發(fā)布 o1 大模型，醞釀已久的「草莓」終于面世。
新模型能夠進(jìn)行復(fù)雜推理，具備真正的通用推理能力，可解決比以往的科學(xué)、代碼和數(shù)學(xué)模型所能處理的更難的問(wèn)題。它在一系列高難基準(zhǔn)測(cè)試中展現(xiàn)出了超強(qiáng)實(shí)力，相比 GPT-4o 有巨大提升，甚至能在博士級(jí)別的科學(xué)問(wèn)答環(huán)節(jié)上超越人類專家（詳情請(qǐng)參見(jiàn)《剛剛，OpenAI 震撼發(fā)布 o1 大模型！強(qiáng)化學(xué)習(xí)突破 LLM 推理極限》）。
雖然 o1 很強(qiáng)，但有趣的是，它并不會(huì)嘗試去推理和解答「黎曼猜想」這類人類自己還沒(méi)解決的難題，以至于 Andrej Karpathy 忍不住吐嘈說(shuō)它很懶。
對(duì)于 o1 模型背后的那些貢獻(xiàn)者來(lái)說(shuō)，這一天可以說(shuō)非同尋常。在模型正式發(fā)布后，他們終于可以公開(kāi)談?wù)撨@一成果。每個(gè)人臉上都洋溢著輕松的笑容。
OpenAI o1 幕后團(tuán)隊(duì)在模型發(fā)布后接受了簡(jiǎn)單的采訪，解釋了與 o1 相關(guān)的推理的含義、研發(fā)過(guò)程中的「Aha moment」、用強(qiáng)化學(xué)習(xí)訓(xùn)練模型來(lái)生成和磨練它自己的思維鏈等內(nèi)容。
其中，思維鏈提出者 Jason Wei 在第一時(shí)間就分享了自己提煉出的經(jīng)驗(yàn)和感悟。
Jason Wei 提到，OpenAI o1 雖然很強(qiáng)，但能夠激發(fā)它潛力的提示卻沒(méi)有那么好寫(xiě)。因此，針對(duì)該模型的提示工程還是一個(gè)待研究的問(wèn)題。
OpenAI API 文檔中提及的提示建議。示例參見(jiàn)：https://platform.openai.com/docs/guides/reasoning/advice-on-prompting
此外，參與該模型安全相關(guān)工作的 Lilian Weng（OpenAI 安全系統(tǒng)團(tuán)隊(duì)負(fù)責(zé)人）也發(fā)表了推文，表示 o1 的安全性和穩(wěn)健性也得到了顯著提升。這表明，「能力和安全并不是兩個(gè)相互沖突的目標(biāo)」。
在過(guò)去的幾年，Lilian Weng 一直以博客的形式進(jìn)行高質(zhì)量的技術(shù)分享，幾乎每篇博客都是精品，被很多 AI 研究者視為重要的參考資料。所以，在她的推文評(píng)論區(qū)，大家已經(jīng)在催更了。如果后續(xù)有更新，機(jī)器之心將第一時(shí)間跟蹤報(bào)道。
OpenAI o1 是一個(gè)龐大的項(xiàng)目，背后藏著一支強(qiáng)大的研究團(tuán)隊(duì)，Jason Wei、Lilian Weng 都是其中之一。在一個(gè)單獨(dú)的博客中，OpenAI 列出了該項(xiàng)目的所有貢獻(xiàn)者。有意思的是，已經(jīng)離職的前首席科學(xué)家 Ilya 也出現(xiàn)在了核心貢獻(xiàn)者名單中。所以，這個(gè) OpenAI o1 就是 Ilya 所看到的嗎？還是說(shuō)，他看到了更了不得的東西？
在這篇文章中，機(jī)器之心對(duì) o1 項(xiàng)目的貢獻(xiàn)者名單進(jìn)行了梳理。
推理研究核心貢獻(xiàn)者
Ahmed El-Kishky
Ahmed El-Kishky 是 OpenAI 的一名 AI 研究員，他于 2024 年 2 月加入該公司，至今才 8 個(gè)月的時(shí)間。在此之前，Ahmed 在 X（原名推特）、Meta 等公司任職。他本科畢業(yè)于塔爾薩大學(xué)、博士畢業(yè)于伊利諾伊大學(xué)厄巴納 - 香檳分校，導(dǎo)師是韓家煒教授。
Ahmed El-Kishky 主要研究方向包括大規(guī)模機(jī)器學(xué)習(xí)，自然語(yǔ)言處理，圖機(jī)器學(xué)習(xí)和推薦系統(tǒng)。
Daniel Selsam
Daniel Selsam 于 2022 年加入 OpenAI，現(xiàn)在是該公司的一名研究員，曾任職于微軟，還在 DeepMind（現(xiàn)在為谷歌 DeepMind）做過(guò)實(shí)習(xí)生。Daniel Selsam 博士畢業(yè)于斯坦福大學(xué)，他還是 GPT-4 的貢獻(xiàn)者。
Francis Song
Francis Song 在 2022 年 6 月加入 OpenAI，至今已經(jīng) 2 年多了，現(xiàn)在是一名技術(shù)人員。在加入 OpenAI 之前，F(xiàn)rancis Song 是 DeepMind 的一名研究科學(xué)家。此前，他博士畢業(yè)于耶魯大學(xué)。
Giambattista Parascandolo
Giambattista Parascandolo 現(xiàn)在是 OpenAI 的一名 AI 研究科學(xué)家，目前在 OpenAI 領(lǐng)導(dǎo)一個(gè)團(tuán)隊(duì)，專注于解決模型推理問(wèn)題。他在 2021 年加入 OpenAI，至今已經(jīng)三年多了。此前，他任職于 DeepMind 等機(jī)構(gòu)。博士畢業(yè)于蘇黎世聯(lián)邦理工學(xué)院。Giambattista Parascandolo 還參與過(guò) GPT-4 的研究。
Hongyu Ren
Hongyu Ren 在去年 7 月加入，現(xiàn)在是 OpenAI 的一名研究科學(xué)家，他還是 GPT-4o 、GPT-4o mini 的核心貢獻(xiàn)者，并致力于 GPT-Next 的研究。Hongyu Ren 本科畢業(yè)于北京大學(xué)、博士畢業(yè)于斯坦福大學(xué)。此前，他在蘋(píng)果、谷歌、英偉達(dá)、微軟等工作過(guò)。
Hunter Lightman
Hunter Lightman 現(xiàn)在是 OpenAI 的一名研究工程師，于 2022 年加入。他本科畢業(yè)于賓夕法尼亞大學(xué)。
Hyung Won Chung
Hyung Won Chung 現(xiàn)在是 OpenAI 的一名研究科學(xué)家。研究重點(diǎn)是大型語(yǔ)言模型。在那之前，他在谷歌大腦工作，并在 MIT 攻讀博士學(xué)位。
他曾參與過(guò)一些重要項(xiàng)目的研究工作，比如 5400 億參數(shù)的大型語(yǔ)言模型 PaLM 和 1760 億參數(shù)的開(kāi)放式多語(yǔ)言語(yǔ)言模型 BLOOM。機(jī)器之心也曾介紹過(guò)他為一作的論文《Scaling Instruction-Finetuned Language Models》。
擴(kuò)展閱讀：OpenAI 科學(xué)家最新大語(yǔ)言模型演講火了，洞見(jiàn) LLM 成功的關(guān)鍵
Ilge Akkaya
Ilge Akkaya 在 2019 年加入，現(xiàn)在是 OpenAI 一名工程師，專注于程序合成研究。Akkaya 博士畢業(yè)于 UC Berkeley。還參與過(guò) GPT-4 的研究。
Ilya Sutskever
雖然 Ilya 在今年 5 月離開(kāi)了 OpenAI，但還是出現(xiàn)在了 o1 的核心貢獻(xiàn)者名單中。幾天前，Ilya 新成立的公司 SSI（安全超級(jí)智能）剛完成 10 億美元的融資，估值達(dá)到 50 億美元。關(guān)于 Ilya 與 OpenAI 的故事，大家可以參考這篇文章「突發(fā)！Ilya Sutskever 成立新公司 SSI，安全超級(jí)智能是唯一目標(biāo)與產(chǎn)品」，了解更多內(nèi)容。
Jason Wei
Jason Wei 現(xiàn)在是 OpenAI 一名研究員，于 2023 年 2 月加入。此前，他從 2020 年到 2023 年擔(dān)任 Google Brain 的研究科學(xué)家。Jason Wei 是思維鏈的提出者，并和 Yi Tay、Jeff Dean 等人合著了關(guān)于大模型涌現(xiàn)能力的論文，還參與過(guò) GPT-4 研究。
Jonathan Gordon
Jonathan Gordon 于 2020 年加入 OpenAI，現(xiàn)在是 OpenAI 的一名研究科學(xué)家和團(tuán)隊(duì)負(fù)責(zé)人，主要研究大型語(yǔ)言模型，還參與過(guò) GPT-4 的研究。此前，Gordon 博士畢業(yè)于劍橋大學(xué)。
Karl Cobbe
Karl Cobbe 早在 2018 年就加入 OpenAI，至今已經(jīng) 6 年多了。他本科畢業(yè)于斯坦福大學(xué)，主要研究方向是人工智能和強(qiáng)化學(xué)習(xí)。曾參與過(guò)論文《Let’s Verify Step by Step》，這篇論文作者包括 Ilya Sutskever、John Schulman、Jan Leike 等知名大佬。
Kevin Yu
Kevin Yu 在 2022 年加入 OpenAI，現(xiàn)在為 OpenAI 一名研究員，他博士畢業(yè)于加州大學(xué)伯克利分校。
Lukas Kondraciuk
Lukas Kondraciuk 于 2022 加入 OpenAI，現(xiàn)在是一名研究員。此前，他還任職于谷歌、英偉達(dá)。本科和碩士均畢業(yè)于華沙大學(xué)。還參與過(guò) GPT-4o、GPT-4 的研究。
Max Schwarzer
Max Schwarzer 于 2023 年 11 月加盟 OpenAI， 致力于提升機(jī)器學(xué)習(xí)系統(tǒng)的能力。他畢業(yè)于蒙特利爾大學(xué)，曾是約書(shū)亞·本希奧（Yoshua Bengio）建立的 Mila 實(shí)驗(yàn)室的博士生，專注于強(qiáng)化學(xué)習(xí)和自監(jiān)督學(xué)習(xí)領(lǐng)域的研究。
Mostafa Rohaninejad
Mostafa Rohaninejad 在 2023 年 10 月加入了 OpenAI，成為 AI 科學(xué)家（AI Scientist）團(tuán)隊(duì)的一員。他是元學(xué)習(xí)領(lǐng)域知名的 SNAIL 架構(gòu)的二作，詳情可以參見(jiàn)機(jī)器之心此前的報(bào)道：入門(mén) |從零開(kāi)始，了解元學(xué)習(xí)。他在加州大學(xué)伯克利分校獲得了學(xué)士和碩士學(xué)位。加入 OpenAI 之前，他曾就職于工業(yè)機(jī)器人公司 Covariant，BAIR 實(shí)驗(yàn)室。同時(shí)，他還是一名舉重運(yùn)動(dòng)員。
Noam Brown
Noam Brown 在 2023 年 6 月入職了 OpenAI ，現(xiàn)在是一名專注于多步推理、自我博弈和多智能體 AI 的研究員。他在今年五月刊發(fā)的新論文「The Update-Equivalence Framework for Decision-Time Planning」提出了一種新搜索方法，解決了模型長(zhǎng)路徑搜索的問(wèn)題，有人猜測(cè) OpenAI o1 采用了類似方法。
此前，他是 Meta FAIR 的一員，主導(dǎo)了曾火遍一時(shí)的 CICERO 項(xiàng)目。這是第一個(gè)在策略游戲《Diplomacy》中達(dá)到人類水平表現(xiàn)的 AI，可以參閱機(jī)器之心此前的報(bào)道：爭(zhēng)取盟友、洞察人心，最新的 Meta 智能體是個(gè)談判高手。
隨后，他開(kāi)發(fā)了第一個(gè)在無(wú)限注德州撲克中擊敗頂尖人類選手的 AI：Libratus 和 Pluribus。Libratus 獲得了馬文·明斯基獎(jiǎng)，以表彰其杰出成就。Pluribus 登上了《Science》雜志封面，并入圍了 2019 年《Science》雜志年度突破獎(jiǎng)。機(jī)器之心也曾詳細(xì)報(bào)道過(guò) Libratus 和 Pluribus。
拓展閱讀：
學(xué)界 | Science 論文揭秘：Libratus 如何在雙人無(wú)限注德?lián)渲袚魯∪祟愴敿?jí)選手
7 papers | 多人德?lián)?AI、手機(jī) GPU 上的亞毫秒級(jí)人臉識(shí)別
加入工業(yè)界之前，他在卡內(nèi)基梅隆大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。更早之前，他就任于聯(lián)邦儲(chǔ)備委員會(huì)的國(guó)際金融市場(chǎng)部門(mén)，專注于金融市場(chǎng)中的算法交易研究。
在推特上，有人懷疑Noam Brown是新模型的領(lǐng)導(dǎo)者，但他澄清說(shuō)自己不是，并表明該項(xiàng)目是團(tuán)隊(duì)協(xié)作的產(chǎn)物。
Shengjia Zhao
Shengjia Zhao 于 2022 年 6 月加入，現(xiàn)在是 OpenAI 的一名研究科學(xué)家，主攻 ChatGPT。他是 ChatGPT、GPT-4、GPT-4o mini 的作者之一 。他的主要研究方向是大語(yǔ)言模型的訓(xùn)練和校準(zhǔn)。此前，他本科畢業(yè)于清華大學(xué)，博士畢業(yè)于斯坦福大學(xué)。
Trapit Bansal
2022 年，Trapit Bansal 加入 OpenAI 成為了一名研究員，直接對(duì)接 Ilya Sutskever。他是馬薩諸塞大學(xué)阿默斯特分校的計(jì)算機(jī)科學(xué)博士，主要研究機(jī)器學(xué)習(xí)和自然語(yǔ)言處理。他關(guān)于元學(xué)習(xí)（meta-learning）的研究獲得了 2018 年 ICLR 的最佳論文獎(jiǎng)，他的多篇論文也曾入選 EMNLP、ACL Oral。
Vineet Kosaraju
Vineet Kosaraju 在 2020 年就已加入 OpenAI，是數(shù)學(xué)生成團(tuán)隊(duì)（Mathgen）的一員。他在斯坦福大學(xué)完成了計(jì)算機(jī)科學(xué)的學(xué)士和碩士學(xué)位，主要研究計(jì)算機(jī)視覺(jué)與自動(dòng)駕駛技術(shù)。他是現(xiàn)在流行的大模型能力測(cè)試集 GSM8K 的作者，是大模型可以搜索網(wǎng)頁(yè)并產(chǎn)出回答的 WebGPT 技術(shù)的開(kāi)發(fā)者，也是大名鼎鼎的《Let’s Verify Step by Step》論文二作。
Wenda Zhou
Wenda Zhou 于 2023 年 7 月入職 OpenAI，在此之前，他曾就職于紐約大學(xué)等機(jī)構(gòu)。他本科畢業(yè)于劍橋，博士畢業(yè)于哥倫比亞大學(xué)，曾在 NeurIPS、ICLR 等頂會(huì)發(fā)表多篇論文。
他的研究興趣集中在高維統(tǒng)計(jì)學(xué)、壓縮感知和深度學(xué)習(xí)領(lǐng)域。最近，他在探索機(jī)器學(xué)習(xí)在不同情境下的應(yīng)用，比如數(shù)據(jù)壓縮和化學(xué)。
以上介紹的是基礎(chǔ)貢獻(xiàn)者，完整的「推理研究」部分的名單如下：
推理技術(shù)安全貢獻(xiàn)者
在「推理技術(shù)安全」版塊，OpenAI 列出了與新模型相關(guān)的貢獻(xiàn)者。除了 Lilian Weng，里面還有很多其他華人科學(xué)家的身影。其中擔(dān)任領(lǐng)導(dǎo)職位（o1 Safety Leads 和 Safety Leadership）的包括：
Jieqi Yu
Jieqi Yu 是 OpenAI 的工程經(jīng)理，2023 年 8 月加入 OpenAI。
她本科畢業(yè)于復(fù)旦大學(xué)，期間曾在香港科技大學(xué)短暫交流，2012 年在美國(guó)普林斯頓大學(xué)拿到電氣工程博士學(xué)位。
在加入 OpenAI 之前，她在 Facebook 工作了 12 年（包含實(shí)習(xí)）。
Kai Xiao
Kai Xiao 是 OpenAI 的機(jī)器學(xué)習(xí)工程師，在麻省理工學(xué)院獲得學(xué)士學(xué)位，隨后獲得計(jì)算機(jī)科學(xué)博士學(xué)位。
他在個(gè)人資料中寫(xiě)道，「我的博士研究主要集中在穩(wěn)健可靠的機(jī)器學(xué)習(xí)方面。我有興趣了解當(dāng)前機(jī)器學(xué)習(xí)實(shí)踐造成的 bias，包括我們對(duì)模型架構(gòu)、訓(xùn)練算法和數(shù)據(jù)集的選擇。此外，我還想開(kāi)發(fā)一些方法，讓模型更穩(wěn)健地應(yīng)對(duì)這些不必要的 bias。我希望，通過(guò)識(shí)別和修復(fù)這些 bias，機(jī)器學(xué)習(xí)可以為現(xiàn)實(shí)世界的部署做好更充分的準(zhǔn)備�！�
過(guò)去的幾年，他曾在微軟研究院、Deepmind、Citadel、DE Shaw、A9 和 Jane Street 實(shí)習(xí)，并于 2022 年 9 月加入 OpenAI。
Lilian Weng
Lilian Weng，中文名翁麗蓮，是 OpenAI 安全系統(tǒng)團(tuán)隊(duì)負(fù)責(zé)人。
她本科畢業(yè)于北京大學(xué)信息系統(tǒng)與計(jì)算機(jī)科學(xué)專業(yè)，曾前往香港大學(xué)進(jìn)行短期交流，之后在印第安納大學(xué)布魯明頓分校（Indiana University Bloomington）獲得博士學(xué)位。
她 2018 年加入 OpenAI，參與了 GPT-4 項(xiàng)目的預(yù)訓(xùn)練、強(qiáng)化學(xué)習(xí) & 對(duì)齊、模型安全等方面的工作。
正如前面所說(shuō)，她的博客深入、細(xì)致，具有前瞻性，被很多 AI 研究者視為重要的參考資料。機(jī)器之心報(bào)道過(guò)的博客包括：
《Sora 之后，OpenAI Lilian Weng 親自撰文教你從頭設(shè)計(jì)視頻生成擴(kuò)散模型》
《OpenAI 安全系統(tǒng)負(fù)責(zé)人長(zhǎng)文梳理：大模型的對(duì)抗攻擊與防御》
《大模型自主智能體爆火，OpenAI 也在暗中觀察、發(fā)力，這是內(nèi)部人的分析博客》
《為內(nèi)存塞不下 Transformer 犯愁？OpenAI 應(yīng)用 AI 研究負(fù)責(zé)人寫(xiě)了份指南》
《關(guān)于 Prompt Engineering 你該了解啥？OpenAI 應(yīng)用研究負(fù)責(zé)人幫你梳理了》
《OpenAI Lilian Weng 萬(wàn)字長(zhǎng)文解讀 LLM 幻覺(jué)：從理解到克服》
「安全」部分的完整名單如下：
參考鏈接：https://openai.com/openai-o1-contributions/
