機器之心報道
編輯：Panda、蛋醬
2024 年 12 月 10-15 日，今年度的 NeurIPS 已在加拿大溫哥華成功舉辦。今年的會議上，我們看到了 Ilya Sutskever 關(guān)于預(yù)訓(xùn)練即將終結(jié)的預(yù)測，也看到了引發(fā)廣泛爭議的 MIT 教授 NeurIPS 演講公開歧視中國學(xué)生的事件。
該會議也展現(xiàn)了人工智能領(lǐng)域的研究盛況 本屆 NeurIPS 共收到 15671 篇有效論文投稿，比去年又增長了 27%，但最終接收率僅有 25.8%。如此低的接收率就必然意味著許多研究者的失意和挫敗。但這并不是研究者們感到挫敗的唯一原因。
近日，紐約大學(xué)計算機科學(xué)和數(shù)據(jù)科學(xué)教授、生物技術(shù)公司 Prescient Design 聯(lián)合創(chuàng)始人兼資深主管 Kyunghyun Cho 一篇題為「我在 NeurIPS’24 上感受到了焦慮和挫敗」的博客文章引發(fā)了廣泛討論。他在文中指出，現(xiàn)在許多博士生和博士后很有挫敗感，因為許學(xué)校培養(yǎng)的本科生就已經(jīng)具備企業(yè)所需的標(biāo)準(zhǔn)化機器學(xué)習(xí)開發(fā)技能，而大量博士生卻因此找不到合適的工作；原因是隨著 AI 相關(guān)技術(shù)的產(chǎn)品化，企業(yè)對博士技能（研究和創(chuàng)新）的需求已經(jīng)大幅下降，而更多需要支持其產(chǎn)品迭代的工程師。
看完這篇文章后，許多讀者也分享了自己的經(jīng)歷和看法。
有 AI 博士現(xiàn)身說法，指出很多博士研究者對學(xué)術(shù)環(huán)境之外的狀況關(guān)注不足，從而對未來的職業(yè)有了過高的期待。
一些讀者對文章表示認(rèn)可，表示要在科技行業(yè)工作，光有專業(yè)技能還不夠，還得通過 leetcode / 系統(tǒng)設(shè)計和領(lǐng)導(dǎo)力準(zhǔn)則考試。
而博士研究者雖然收入高，但行業(yè)需求不足，畢竟一家公司并不需要那么多研究科學(xué)家：
但也有讀者并不認(rèn)可，表示參加 NeurIPS 的人已經(jīng)有頂會論文傍身，找份工作應(yīng)該不難。
以下是 Kyunghyun Cho 教授的博客全文，也請與我們分享你的經(jīng)歷和看法。
我在 NeurIPS’24 上感受到了焦慮和挫敗
上周在 NeurIPS’24 上，一個非常突出的現(xiàn)象是：四年級博士生和博士后表現(xiàn)出了焦慮和挫敗，他們對就業(yè)市場感到困惑，因為無論是看起來還是感覺上，就業(yè)市場與他們五年前申請博士項目時的預(yù)期大不相同。并且，其中一些博士生和博士后正是在我自己的指導(dǎo)之下。這讓我反思人工智能研究和開發(fā)領(lǐng)域正在發(fā)生的情況。這篇文章更像是一連串的思考，而不是一篇結(jié)構(gòu)良好的文章（不過我好像也沒有寫過一篇結(jié)構(gòu)良好、經(jīng)過深思熟慮、準(zhǔn)備充分的博客文章。）。
對機器學(xué)習(xí)領(lǐng)域以及更廣大的人工智能領(lǐng)域而言，過去十年左右是一段非常有趣的時間。從 2010 年左右的語音識別開始，深度學(xué)習(xí)已經(jīng)在當(dāng)年的最佳技術(shù)上實現(xiàn)了大幅提升，并且已經(jīng)可以解決多種多樣的高難度也實用的問題，比如從圖像中識別物體和機器翻譯。到 2014 年，很明顯大的要來了，每一家大公司，無論是不是科技公司，都想確保自己是這場持續(xù)革命的一部分，并從中獲利。
由于那時候，深度學(xué)習(xí)很多年來都未曾成為主流，因此幾乎沒有本科課程嚴(yán)肅地教授深度學(xué)習(xí)背后的基本思想和技術(shù)。事實上，當(dāng)然許多機器學(xué)習(xí)和人工智能課程都只會簡單提到人工神經(jīng)網(wǎng)絡(luò)。于是，深度學(xué)習(xí)人才方面出現(xiàn)了巨大的供需不平衡，這就迫使那些比其他公司更早看到這場革命的公司激進地從全球少數(shù)實驗室招募博士生。
因為當(dāng)時世界上只有少數(shù)幾個實驗室在認(rèn)真研究深度學(xué)習(xí)（不像現(xiàn)在這樣），所以公司們都在激烈爭奪這些實驗室的畢業(yè)生甚至教授。這種激烈的爭奪自然導(dǎo)致這些擁有人工神經(jīng)網(wǎng)絡(luò)經(jīng)驗和專業(yè)知識的博士生的薪酬大幅增加。這使得人工智能領(lǐng)域中的學(xué)術(shù)薪酬與行業(yè)薪酬之間的差距還要更大，讓大學(xué)很難招募到此類人才來教育學(xué)生。事實上，在 2010 年至 2015 年期間獲得博士學(xué)位并且在攻讀博士學(xué)位期間研究人工神經(jīng)網(wǎng)絡(luò)，并作為終身教職人員加入大學(xué)的人非常少，我就是其中之一。這種現(xiàn)象自然會導(dǎo)致人才供應(yīng)的增加大大延遲，而需求還在繼續(xù)飆升。
這種激烈的人才爭奪有一個有趣的副作用：即使這些人才不能為營收或利潤做出貢獻，公司也會招募他們。這些公司聘用他們的原因是為不可避免的、迫在眉睫的革命做好準(zhǔn)備 這場革命將改變他們所做的一切。因此，那時候很多被聘用的博士的任務(wù)就是自由地做研究；也就是說，他們可以選擇自己想做的事情，發(fā)表自己想發(fā)表的文章。這就像一個學(xué)術(shù)研究職位，但薪酬是原來的 2-5 倍，而且外部可見度更高，沒有教學(xué)任務(wù)、行政開銷，也沒有不斷撰寫資助提案的壓力。真是一個絕佳的機會！
我想，這在當(dāng)時的學(xué)生看來是個不可錯過的機會，包括大學(xué)生和高中生（甚至初中生）。有機會獲得驚人的金錢回報、優(yōu)厚的福利，可以自由選擇自己喜歡的研究課題，只要它是在人工智能領(lǐng)域內(nèi)。然而，這個機會看起來只提供給在人工神經(jīng)網(wǎng)絡(luò)方面發(fā)表過學(xué)術(shù)論文的博士。這就導(dǎo)致大量的博士申請者申請成為（現(xiàn)在所謂的）人工智能博士生（AI PhD students）。
申請者的大量涌入并不一定意味著我們最終會有大量博士生，因為限制博士生數(shù)量的并不是申請者的數(shù)量，而是導(dǎo)師的數(shù)量。雖然 15 年前那會兒，研究人工智能的實驗室并不多，但到 2016 年時，許多教授已經(jīng)將他們的實驗室轉(zhuǎn)型為深度學(xué)習(xí)實驗室，并通過招收大量博士生來積極擴大實驗室規(guī)模。
因此，我們似乎已經(jīng)造出了一個非常好的 AI 人才訓(xùn)練管道。很多優(yōu)秀的學(xué)生申請攻讀博士學(xué)位。大量研究 AI 的教授錄取并培養(yǎng)這些優(yōu)秀的學(xué)生成為下一代博士。少數(shù)大型科技公司和其他公司用難以想象的優(yōu)厚薪酬和研究自由來聘用他們。
然而，事后看來，這顯然是不可持續(xù)的。要繼續(xù)下去，唯一的辦法就是讓深度學(xué)習(xí)繼續(xù)成為能夠在五年內(nèi)徹底改變行業(yè)（甚至整個社會）的東西，而且每年都必須是五年。如前所述，公司正在招募這些人才，并投資建設(shè)給他們進行研究的環(huán)境，以應(yīng)對未來不可避免的變化。換句話說，他們必須為未來做準(zhǔn)備，才能讓這條管道繼續(xù)下去。
第一代幸運的博士（包括我！）是因為運氣好（或不好）進入了這個領(lǐng)域，而不是因為職業(yè)前景；之后，我們開始有一系列更聰明、更有目標(biāo)的博士從事深度學(xué)習(xí)工作。因為這些人非常有動力，他們不是靠運氣而是靠他們的優(yōu)點和熱情被選中。他們開始取得更快、更明顯的進步。不久之后，這些進步開始以實際產(chǎn)品的形式出現(xiàn)。尤其是以大規(guī)模對話語言模型為代表的大規(guī)模模型開始展現(xiàn)出：這些產(chǎn)品是真正革命性的產(chǎn)品，既可以改變未來，又可以在當(dāng)下產(chǎn)生經(jīng)濟價值。換句話說，通過將深度學(xué)習(xí)變成大規(guī)模對話語言模型及其變體形式的產(chǎn)品，這些新一代的優(yōu)秀博士們成功地將未來帶入了當(dāng)下。
產(chǎn)品化意味著很多事情，但本文尤其關(guān)注兩個方面。
第一，產(chǎn)品化需要在開發(fā)和部署過程中實現(xiàn)某種標(biāo)準(zhǔn)化。然而，這種流程標(biāo)準(zhǔn)化與科學(xué)研究背道而馳。我們不需要持續(xù)不斷的創(chuàng)造性和顛覆性創(chuàng)新，而需要基于標(biāo)準(zhǔn)化流程的漸進式和穩(wěn)定的改進。博士們不擅長這方面，因為這恰恰與博士項目的培養(yǎng)目標(biāo)背道而馳。博士生的目標(biāo)是提出創(chuàng)新的想法（是的，雖然每個想法都能否算是創(chuàng)新想法這一點值得商榷，但往往至少有大量噪聲才算是創(chuàng)新），從理論或?qū)嵶C角度驗證這些想法，通過撰寫論文向社區(qū)報告研究結(jié)果，然后繼續(xù)前進。一旦某樣?xùn)|西變成了真正的產(chǎn)品（或產(chǎn)品類別），我們就不能簡單地創(chuàng)新然后繼續(xù)前進，而需要堅持下去，不斷為它提供支持。有了完善的流程體系，博士學(xué)位的必要性就會迅速消失。
第二，產(chǎn)品化創(chuàng)造了一條通往收入的明顯而具體的路徑。這對那些投資招募這些杰出人才并提供資源讓他們在組織內(nèi)部而不是其他地方進行創(chuàng)新的公司來說是件好事。不幸的是，一旦有了一條通往收入（最終是利潤）的具體路徑，研究人員就越來越難以繼續(xù)要求充分的研究自由。許多人將被要求直接為產(chǎn)品（或產(chǎn)品類別）做出貢獻，并證明他們的報酬以及整體就業(yè)情況的合理性，只有少數(shù)人將被允許繼續(xù)享有研究自由。這是很自然的事情，也可能是大多數(shù)組織（包括營利組織、非營利組織、政府組織等）的研究團隊往往比產(chǎn)品團隊小得多、獲得的資源也少得多的原因。
此外，在過去幾年中，大學(xué)在一定程度上跟上了需求，開始對本科生和碩士生進行這些新技術(shù)背后的基礎(chǔ)知識和實用理念方面的教育、培訓(xùn)和培養(yǎng)。他們知道如何訓(xùn)練這些模型、測試這些模型和部署這些模型，以及這些模型背后的理論理念。更好的是，他們大概率沒有博士那么「自我」，而且通常思想更加開放。
這些因素加在一起，徹底打破了之前概述的人工智能人才梯隊。公司不再需要那么多博士，因為他們可以招聘本科生或碩士生，這些學(xué)生可以按照標(biāo)準(zhǔn)化流程立即直接為人工智能產(chǎn)品做出貢獻。學(xué)生們不需要進入博士課程學(xué)習(xí)必要的技能，因為大學(xué)可以將其作為本科課程的一部分進行培訓(xùn)。目前的博士生們，即使是因為基于這一人工智能人才梯隊的積極職業(yè)前景而加入博士課程，也會被排除在人工智能人才梯隊的這次大重組之外。
在這一點上，這些即將結(jié)束博士學(xué)業(yè)的學(xué)生焦慮和挫敗的程度大大增加也許并不奇怪。他們仰慕我這一代人（雖然還相對年輕、資歷較淺，但在這個領(lǐng)域可能算是資歷較深的人），認(rèn)為只要他們的博士學(xué)位與機器學(xué)習(xí)及鄰近領(lǐng)域有一定關(guān)聯(lián)，他們就能享有類似的職業(yè)前景 成為大科技公司的高薪研究科學(xué)家，享有極大的研究自由。
但從他們的角度來看，就業(yè)市場突然要求他們在大規(guī)模語言模型及其變體這個狹窄得多的領(lǐng)域展示自己的創(chuàng)新能力，并直接為這些建立在大規(guī)模模型之上的產(chǎn)品做出貢獻。
話雖如此，但我必須強調(diào)，這絕不意味著這些大模型之外的人工智能研究課題不重要或不受追捧。
例如，在 Prescient Design 公司，我們一直在不斷招聘博士級研究科學(xué)家，他們專門從事不確定性量化、因果機器學(xué)習(xí)、幾何深度學(xué)習(xí)、計算機視覺等方面的研究，因為這些領(lǐng)域的研究和開發(fā)與我們的工作（即 lab-in-the-loop）直接相關(guān)。
大模型只是近年來備受關(guān)注的人工智能的一個特殊子領(lǐng)域。我對這些大模型的進展和進步感到無比興奮，但它們并不是唯一值得關(guān)注和投資的領(lǐng)域。然而，對大語言模型及其變體的關(guān)注程度高得離譜，這很容易蒙蔽我們的眼睛，尤其是那些還是學(xué)生的人，甚至是所謂精英大學(xué)的教師。學(xué)生們?nèi)绻麤]有或正在撰寫關(guān)于大模型的論文，自然會感到焦慮，因為他們可能得不到這些機會。
在這一點上，我覺得上周在 NeurIPS 大會上與高年級博士生和博士后的交談和聆聽中感受到的高度焦慮和挫敗感是事出有因的。他們中的一些人可能感到被背叛了，因為他們之前得到的承諾與現(xiàn)在看到的差距正在迅速拉大。他們中的一些人可能感到無助，因為他們選擇的研究課題和他們在這些課題上的工作似乎不太受這些公司的歡迎。他們中的一些人可能感到挫敗，因為本科生或碩士生似乎更擅長訓(xùn)練和部署這些大模型，而且看起來比他們更有價值。
遺憾的是，我只能努力理解這些才華橫溢的學(xué)生感受到的焦慮和挫敗感，卻想不出什么辦法來幫助他們減輕這種挫敗感！
參考鏈接：
https://kyunghyuncho.me/i-sensed-anxiety-and-frustration-at-neurips24/
https://www.reddit.com/r/MachineLearning/comments/1hjp5gc/d_i_sensed_anxiety_and_frustration_at_neurips24/
