劃重點
01兩位機器學習先驅(qū)John J. Hopfield和Geoffrey E. Hinton榮獲2024諾貝爾物理學獎，引發(fā)AI領(lǐng)域熱議。
02Hopfield網(wǎng)絡(luò)和Hinton的工作影響了統(tǒng)計物理學、計算機科學與AI、神經(jīng)科學等多個領(lǐng)域。
03由于他們的貢獻，許多物理學家進入了神經(jīng)科學和AI領(lǐng)域，為物理學博士創(chuàng)造了大量就業(yè)機會。
04此外，Hopfield網(wǎng)絡(luò)還為后續(xù)許多記憶計算模型奠定了基礎(chǔ)，將記憶回憶概念化為能量曲線向下滾動的想法成為神經(jīng)科學中的典型隱喻。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
編輯：杜偉、陳陳
昨天，兩位機器學習先驅(qū) John J. Hopfield 和 Geoffrey E. Hinton 獲得 2024 諾貝爾物理學獎的消息引爆了整個 AI 領(lǐng)域，讓很多人直呼「物理學不存在了」。
就連 AI（GPT-4o）都不敢相信今年的物理諾獎會花落機器學習和人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域，認為這些領(lǐng)域通常不屬于物理學范疇。
諾貝爾獎官方推特（X）也發(fā)起了一項問卷調(diào)查，「你知道機器學習模型是基于物理等式嗎？」從結(jié)果來看，不知道的人占比更高。
但無論如何，兩位泰斗級人物的獲獎成為了 AI 圈的又一盛事。各路大佬紛紛為他們送上了祝賀，包括同為 2018 年圖靈獎得主的 Meta 首席 AI 科學家 Yann LeCun 和 UdeM 全職教授、Mila 創(chuàng)始人和科學主任 Yoshua Bengio。
Yann LeCun 表示，「恭喜我的兩位前同事 John 和 Geoff。我在多倫多做過 Geoff 實驗室的博士后，之后加入了貝爾實驗室，而 John 在那里擔任兼職科學家。事實上，正是因為 John，我才加入了神經(jīng)網(wǎng)絡(luò)研究部門。我第一次見到他們二人都是在 1985 年，其中 1985 年初在 Les Houches 的一個研討會上遇到了 John，1985 年 6 月在巴黎的 Cognitiva 會議上遇到了 Geoff�！�
Yoshua Bengio 表示，「John 和 Geoff 及其合作者在物理學和 AI 之間架起了一座美麗且富有洞察力的橋梁。他們發(fā)明的神經(jīng)網(wǎng)絡(luò)不僅受到大腦的啟發(fā)，還受到物理學中核心概念的啟發(fā)，例如能量、溫度、系統(tǒng)動力學、能量屏障、隨機性和噪聲的作用，將局部屬性（如原子或神經(jīng)元）與全局屬性（如熵和吸引子）聯(lián)系起來。他們超越了物理學，展示了這些想法如何產(chǎn)生記憶、學習和生成模型。這些概念仍然處于現(xiàn)代 AI 研究的前沿�！�
此外，他們二人的想法給了 Bengio 深刻的啟發(fā)，以至于他決定選擇神經(jīng)網(wǎng)絡(luò)學習作為自己的研究生課題。他們激勵 Bengio 探索抽象的原理，這些原理可以像物理定律一樣簡單，但又可以解釋生物和 AI。Bengio 由衷地為他們二人以及所在的領(lǐng)域感到高興。
與此同時，谷歌首席科學家 Jeff Dean、SSI 創(chuàng)始人 Ilya Sutskever、「AI 教母」李飛飛教授、Coursera 聯(lián)合創(chuàng)始人吳恩達等也對他們二人表達了祝賀。
Jeff Dean：祝賀我的好朋友兼前谷歌同事 Geoff Hinton 獲得 2024 年諾貝爾物理學獎（與 John Hopfield 一起）！隨著神經(jīng)網(wǎng)絡(luò)應(yīng)用于越來越多的領(lǐng)域，Geoff 對許多科學領(lǐng)域的影響不斷增長。
Ilya Sutskever 祝賀 Geoff Hinton 獲得諾貝爾物理學獎。
李飛飛這太令人興奮了！AI 的深遠影響才剛剛開始。祝賀他們。
吳恩達：我是第一個稱 Geoff Hinton 為「深度學習教父」的人，后來被稱為「AI 教父」。很高興看到他和 John Hopfield 一道為 AI 領(lǐng)域贏得諾貝爾獎。
凌晨兩點接到電話，Hinton 以為是惡作劇
「我怎么能確定這不是一個惡作劇電話呢？」在得獎的第一時間，Hinton 正在加州的一個酒店房間里，然后他接到了這個電話，當時大約是在凌晨 2 點。
有趣的是，當時 Hinton 并不相信自己得獎了，而是電話那頭多個瑞典的口音幫他確認了他獲得諾貝爾物理學獎是真實的。
下面是電話連線內(nèi)容。
主持人：你好 Geoffrey Hinton，我是諾貝爾獎官網(wǎng)的工作人員 Adam Smith，從諾貝爾獎網(wǎng)站打來電話。我們可以聊幾分鐘嗎？首先當然是恭喜你獲獎，請問你是從哪里得到這個消息的？
Hinton：我是在加州的一家廉價旅館里。沒有互聯(lián)網(wǎng)連接，手機信號也不太好，我原本打算今天去做核磁共振掃描，但我想我必須取消了，我甚至不知道我會被提名為諾貝爾物理學獎，這讓我感到非常驚訝。
并且現(xiàn)在是凌晨兩點。我的第一個想法是我怎么能確定這不是一個惡作劇電話。
主持人：你怎么確定的呢？
Hinton：瑞典口音，那個人有著濃重的瑞典口音，而且有這種口音的人不止一個，是好幾個。如果電話是假的，那么必須有人故意模仿，這種情況我認為不太可能。
主持人：你怎么形容你自己？是一名計算機科學家？還是一名物理學家？
Hinton：我會說我是一個不真正知道自己處于哪個領(lǐng)域的人，但我想要理解大腦是如何工作的。在試圖理解大腦工作機制的過程中，幫助創(chuàng)造了一種表現(xiàn)出奇的好的技術(shù) 。
主持人：值得注意的是，我想您已經(jīng)公開表達了對技術(shù)可能帶來的危害的擔憂，您認為需要做什么才能減輕您和其他人所表達的擔憂。
Hinton：我認為這和氣候變化的情況大不相同。在氣候變化問題上，每個人都知道需要做什么 我們需要停止燃燒碳。問題只在于大公司為了巨額利潤不愿意采取行動。但在這里，我們面臨的是一個我們對將會發(fā)生什么以及如何應(yīng)對都知之甚少的問題。因此，我希望我有一個簡單的方案，如果做了就能保證一切都會好轉(zhuǎn)，但我沒有。特別是關(guān)于這些事物失控并取代我們的存在威脅，我認為我們正處于歷史的一個分岔點，未來幾年我們需要找出是否有辦法應(yīng)對這一威脅。因此，我認為現(xiàn)在對于人們來說，研究如何保持控制非常重要，我們需要投入大量研究努力。我認為政府可以做的一件事是迫使大公司投入更多資源進行安全研究，這樣像 OpenAI 這樣的公司就不能把安全研究置于次要地位。
主持人：在生物技術(shù)革命期間，那些頂尖的科技公司在阿西洛馬會議中聚集起來，并坐下來討論，指出這里存在潛在的危險，我們需要自己來關(guān)注這一點。
Hinton：是的，我認為與此有一些相似之處，我認為他們做的非常好。遺憾的是，AI 領(lǐng)域的應(yīng)用更為廣泛和復雜，這使得管理和監(jiān)控潛在風險更具挑戰(zhàn)性。
對于像克隆這樣的事情，生物學家們一直在努力控制。我覺得生物學家們的做法是一個很好的典型，他們能夠達成一致且令人印象深刻的結(jié)果。
主持人：關(guān)于大語言模型，我猜想這可能是你的擔憂之一，當涉及諾貝爾獎在這一領(lǐng)域的影響時，你認為它會帶來改變嗎？
Hinton：是的，我認為這會有所改變。希望這能使我在說這些事情時更有信譽，真的能理解它們的本質(zhì)。
有一整個語言學派別來自喬姆斯基，他們認為這些模型理解語言是完全沒有意義的，因為這些模型并不像我們?nèi)祟愐粯犹幚碚Z言。我認為這個學派是錯誤的，現(xiàn)在很明顯，神經(jīng)網(wǎng)絡(luò)在處理語言方面遠勝于喬姆斯基語言學派所產(chǎn)生的任何東西。但是，關(guān)于這一點在語言學家中仍然有很多爭論。
主持人：現(xiàn)在，我只是想回到你在酒店房間里半夜接到這個消息的情況，某種程度上，在這樣一個孤獨的地方聽到這樣的消息，沒有人可以分享，只能自己慶祝。
Hinton：嗯，我和我的伴侶在一起，她很興奮。
主持人：再次祝賀你。
Hinton：謝謝，再見。
Hopfield 網(wǎng)絡(luò)：它影響了很多領(lǐng)域
雖然今年的諾貝爾物理學獎頒給了兩位享譽盛名的 AI 科學家，但他們的工作尤其是 Hopfield 網(wǎng)絡(luò)產(chǎn)生的影響已經(jīng)足夠大。比如 MIT 沃森人工智能實驗室的 Dmitry Krotov 認為，Hopfield 網(wǎng)絡(luò)至少對統(tǒng)計物理學、計算機科學與 AI、神經(jīng)科學具有巨大的影響。
Dmitry Krotov 是一位在 AI 和神經(jīng)科學領(lǐng)域有重要貢獻的科學家。他投稿的論文「Can a Fruit Fly Learn Word Embeddings?」曾在 ICLR 2021 會議上引起廣泛關(guān)注。
在統(tǒng)計物理學中，Hopfield 模型成為最常研究的 Hamiltonians 學派之一，關(guān)于它的論文和書籍已有數(shù)萬篇。這個想法為數(shù)百名物理學家進入神經(jīng)科學和 AI 領(lǐng)域提供了切入點，Dmitry Krotov 自己就是其中之一。
在計算機科學中，Hopfield 網(wǎng)絡(luò)是促使 AI 寒冬（1974-1981 年）結(jié)束以及隨后人工神經(jīng)網(wǎng)絡(luò)復興的主要驅(qū)動思想。Hopfield 在 1982 年發(fā)表的論文標志著現(xiàn)代神經(jīng)網(wǎng)絡(luò)時代的開始。
論文地址：https://www.pnas.org/doi/pdf/10.1073/pnas.79.8.2554
此外，AI 頂會之一 NeurIPS 的歷史可追溯到 1984-1986 年在加州理工學院召開的會議，當時這些會議被稱為「Hopfests」，具體參閱 John Moody 撰寫的 NIPS 1991 會議記錄。
Hopfield 網(wǎng)絡(luò)還是受限玻爾茲曼機開發(fā)的主要靈感來源，而受限玻爾茲曼機在深度學習的早期發(fā)揮了重要作用。基于能量的建模是突出的 AI 范例，是 Hopfield 基于能量的記憶的發(fā)展。
最后在神經(jīng)科學中，Hopfield 網(wǎng)絡(luò)為后續(xù)許多記憶計算模型奠定了基矗并且將記憶回憶概念化為能量曲線向下滾動的想法也成為了神經(jīng)科學中的典型隱喻。
正如有人評價稱，John Hopfield 獲獎當之無愧，他為 AI 領(lǐng)域的物理學博士創(chuàng)造了大量的就業(yè)機會，從而保持了物理學的活力。
Pedro Domingos 為華盛頓大學計算機科學教授。
