新智元報(bào)道
編輯：KingHZ 澤正【新智元導(dǎo)讀】本月，OpenAI科學(xué)家就當(dāng)前LLM的scaling方法論能否實(shí)現(xiàn)AGI話題展開深入辯論，認(rèn)為將來AI至少與人類平分秋色；LLM scaling目前的問題可以通過后訓(xùn)練、強(qiáng)化學(xué)習(xí)、合成數(shù)據(jù)、智能體協(xié)作等方法得到解決；按現(xiàn)在的趨勢估計(jì)，明年LLM就能贏得IMO金牌。隨著AI不斷刷新各項(xiàng)基準(zhǔn)測試，關(guān)于AI的發(fā)展各方也態(tài)度不一。
早在本月5日，「泛化的未知未來」研討會上，眾多知名研究員就相關(guān)話題展開了一場針鋒相對的辯論。
此次辯題是 「當(dāng)今的LLM沿著既有路線持續(xù)發(fā)展是否就足以實(shí)現(xiàn)真正的AGI」。
辯論分為兩個(gè)陣營：「火花派」認(rèn)為現(xiàn)有技術(shù)已經(jīng)具備或即將具備解決這些難題的能力；「余燼派」則持懷疑態(tài)度，認(rèn)為需要更多質(zhì)的變化。
正方辯手Sébastien Bubeck
辯論正方是Sébastien Bubeck，在辯論五周前加入OpenAI，是「Sparks of Artificial General Intelligence」的第一作者。
論文地址：https://arxiv.org/pdf/2303.12712
在過去幾年里，Sébastien Bubek由于專注于研究大模型的智能涌現(xiàn)問題，所以更加主張隨著大模型的智能涌現(xiàn)，就足以產(chǎn)生解決現(xiàn)存NP難題以及黎曼假設(shè)的智能水平。
反方辯手Tom McCoy
反方是Tom McCoy，目前是耶魯大學(xué)語言學(xué)助理教授，是「Embers of Autoregression」一文的第一作者。
論文地址：https://arxiv.org/pdf/2309.13638
他在約翰霍普金斯大學(xué)獲得認(rèn)知科學(xué)博士學(xué)位，并在普林斯頓大學(xué)作過計(jì)算機(jī)科學(xué)的博士后， 博士后導(dǎo)師是Thomas Griffiths。
今年他開始在耶魯大學(xué)擔(dān)任語言學(xué)助理教授，從事計(jì)算語言學(xué)、認(rèn)知科學(xué)和人工智能的研究。他對人和機(jī)器如何學(xué)習(xí)以及表示語言結(jié)構(gòu)感興趣。
現(xiàn)有的LLM能夠基于擴(kuò)展解決重大數(shù)學(xué)問題嗎？
Sébastien表示過去幾年LLM取得的進(jìn)步「簡直是奇跡」。
重大未決數(shù)學(xué)猜想是指那些大多數(shù)人類專家認(rèn)為無法用當(dāng)前證明技術(shù)解決的問題，比如P≠NP或黎曼猜想。
比如，在MMLU基準(zhǔn)中，最佳模型已超過了90%，已經(jīng)徹底飽和。在醫(yī)療診斷領(lǐng)域，GPT-4則達(dá)到了90%正確率，而人類醫(yī)生才達(dá)到了75%準(zhǔn)確率。
并且與辯題相關(guān)的高中數(shù)學(xué)競賽基準(zhǔn)很快也會飽和。
Google最新發(fā)布的AI數(shù)學(xué)家，通過微調(diào)的Gemini系統(tǒng)，可以拿到2024年國際數(shù)學(xué)奧林匹克競賽銀牌。
基于這種趨勢， Sébastien認(rèn)為到明年LLM拿下IMO的金牌不是問題。
隨著各種基準(zhǔn)日益飽和，Sébastien表示真正衡量AI進(jìn)步的尺度應(yīng)該是「AGI時(shí)間」。
Sébastien：擴(kuò)展AGI時(shí)間足以解決GPT-4目前處于「秒級AGI」，在許多情況下可以快速響應(yīng)并給出答案，類似于人類可以極短時(shí)間內(nèi)作出反應(yīng)。
對于某些編程任務(wù)，GPT-4可能已經(jīng)達(dá)到了「分鐘級AGI」，即它能像人類一樣花幾分鐘時(shí)間編寫代碼片段。
而o1則可能已經(jīng)達(dá)到了「小時(shí)級AGI」。
在數(shù)學(xué)領(lǐng)域，GPT-4仍然停留在AGI秒階段，即便是o1也只是「分鐘級AGI」，因?yàn)樗鼰o法像人類那樣花費(fèi)較長時(shí)間深入思考復(fù)雜的數(shù)學(xué)問題。
Sébastien表示對于重大開放性問題的解決，類似于黎曼猜想等重大數(shù)學(xué)問題的證明，那就可能需要AGI能夠持續(xù)深入研究問題并堅(jiān)持?jǐn)?shù)周。
他表示道：「如果你有『周級AGI』的能力，那么你就擁有了這一切�！�
Tom：依然欠缺創(chuàng)造性飛躍而Tom則對Sébastien的觀點(diǎn)抱以懷疑的態(tài)度，他認(rèn)為僅靠現(xiàn)有方法的擴(kuò)展是不足以去解決復(fù)雜的數(shù)學(xué)猜想的。
Tom McCoy的核心觀點(diǎn)是證明數(shù)學(xué)猜想需要某種創(chuàng)造性的飛躍。
「很可能我們還欠缺某種創(chuàng)造性的飛躍，也就是一種全新的證明思路。在有了這種新思路之后，還需要結(jié)合長時(shí)間的推理與規(guī)劃，最后才能形成符合學(xué)術(shù)標(biāo)準(zhǔn)的可信且完整的證明」。
他表示雖然LLM不僅僅是記憶，但是其泛化能力并不足以解決數(shù)學(xué)猜想，因?yàn)榻鉀Q數(shù)學(xué)猜想「需要提出一個(gè)全新的想法，而不僅僅是已有想法的組合�！�
而且他認(rèn)為LLM缺乏長期推理和規(guī)劃的能力，它們的能力很大程度上取決于訓(xùn)練數(shù)據(jù)的性質(zhì)。這也是他們「Embers of Autoregression」論文的主要觀點(diǎn)。
而且至關(guān)重要的是，到目前為止的擴(kuò)展（scaling），并沒有從根本上解決這個(gè)問題。
「我們需要的是根本性的變革，因?yàn)閷τ谛碌淖C明方法來講，其在訓(xùn)練數(shù)據(jù)中的頻率是0。所以無論怎么去繼續(xù)擴(kuò)展規(guī)模，都不會讓LLM能夠接觸到這些新的證明方法，至于繼續(xù)從這些新的方法里繼續(xù)學(xué)習(xí)也就無從談起了」。
Tom還表示由于LLM幻覺的存在，讓其形成洋洋灑灑數(shù)十頁乃至數(shù)百頁的可信數(shù)學(xué)證明是不現(xiàn)實(shí)的。
「問題在于，當(dāng)需要撰寫的證明很長時(shí)，即使我們能大幅降低幻覺出現(xiàn)的概率，但只要這個(gè)概率不為零，當(dāng)證明足夠長時(shí)，證明中出現(xiàn)錯(cuò)誤的可能性就幾乎是必然的。而且只要證明中存在一處缺陷，這個(gè)證明就無效了」。
所以Tom認(rèn)為，為了給出可信的嚴(yán)謹(jǐn)證明，LLM需要的是質(zhì)變，而不僅僅是擴(kuò)大規(guī)模所帶來的那種量變收益。
總的來說，Tom認(rèn)為有兩個(gè)關(guān)鍵因素阻礙了當(dāng)前LLM方法實(shí)現(xiàn)解決重大數(shù)學(xué)猜想。
第一是需要實(shí)現(xiàn)創(chuàng)造性的飛躍，產(chǎn)生全新性質(zhì)的想法。第二是能夠在數(shù)十頁或數(shù)百頁的篇幅中進(jìn)行持續(xù)的長期推理和規(guī)劃。
結(jié)合與擴(kuò)展推理
Sébastien：「組合」就足以強(qiáng)大為了反駁Tom的「模型的泛化能力僅僅是將兩個(gè)不同的想法組合」，Sébastien詢問在坐的聽眾：「你覺得你做的比僅僅將現(xiàn)有的想法結(jié)合起來更多嗎？」
Sébastien認(rèn)為將事物互相結(jié)合的這個(gè)過程本身就附帶了一定的隨機(jī)性，類似于在「思維空間里隨機(jī)游走」。不斷地組合現(xiàn)存事物，即可產(chǎn)生突破性的成果。
「至少對我來說，當(dāng)我回顧自己所做的事時(shí)，我覺得大部分都是在做組合的工作，然后添加一點(diǎn)隨機(jī)性進(jìn)去。實(shí)際上，我寫過很多論文，在其中我借鑒了別人的成果，然后意識到他們所做的其實(shí)也只是在組合已有的東西�！�
錯(cuò)誤也可以在多智能體環(huán)境被糾正Tom的第二個(gè)核心論點(diǎn)是「隨著推理變得越來越長，錯(cuò)誤是不可避免」。
對此，Sébastien認(rèn)為問題被夸大了。即便是知名研究員撰寫的論文，如果它們超過了50頁還能保持完全正確的，也是非常非常少。
但這不意味著論文的結(jié)果是錯(cuò)誤的，況且錯(cuò)誤也可以被他人所指正。
「我可以想象一個(gè)未來，有一群AI共同工作。那將是一個(gè)多智能體的環(huán)境，其中一些AI在閱讀其他AI寫的論文，然后指出錯(cuò)誤并得到修正回饋，等等。這絕對是一個(gè)可能的未來」。
后訓(xùn)練是否可以解決現(xiàn)存問題
Sébastien對于「Embers of Autoregression」一文中提到的問題，即訓(xùn)練數(shù)據(jù)表示不充分時(shí)會出現(xiàn)更多錯(cuò)誤。
「當(dāng)然，這絕對是一個(gè)真實(shí)的陳述，但它只是針對基礎(chǔ)模型的真實(shí)陳述。」
但是Sébastien認(rèn)為這并不意味著模型本身就不具備能力，只是因?yàn)橛?xùn)練數(shù)據(jù)中一些任務(wù)表示不夠充分。所以可以通過后訓(xùn)練來提取相應(yīng)的能力。
他對Tom講道：「我認(rèn)為你在Embers of Autoregression論文中提到的只是關(guān)于基礎(chǔ)模型的內(nèi)容。如果你對其進(jìn)行后訓(xùn)練，一些結(jié)論可能會改變。」
Tom回應(yīng)：后訓(xùn)練不行Tom表示其論點(diǎn)是基于基礎(chǔ)模型的。
他認(rèn)為這些由預(yù)訓(xùn)練產(chǎn)生的效果在后訓(xùn)練中仍然持續(xù)存在:「我們分析過的模型全都經(jīng)過后期訓(xùn)練，但它們依然表現(xiàn)出這種自回歸的痕跡�！�
o1表現(xiàn)確實(shí)比之前的模型都要好得多，但它仍然在處理字母順序上比逆向字母順序表現(xiàn)出更好的效果，以及其他類似的情況。
「即使這些后訓(xùn)練方法也不足以改變模型的基本性質(zhì)，其基于自回歸的根本特性。」
因此猜測「要完全消除這些問題，需要從預(yù)訓(xùn)練階段就明確且直接地對推理進(jìn)行訓(xùn)練，因?yàn)槟壳暗那闆r，模型中的推理實(shí)際上是在最后拼湊上去的�！�
這是一個(gè)非常重要的步驟，而且在訓(xùn)練浮點(diǎn)運(yùn)算次數(shù)等方面，與其他方法相比它要少得多。
「因此，為了達(dá)到所需的穩(wěn)健性，這需要某種質(zhì)的變化。」
是的，另一個(gè)問題是，除了能夠組合現(xiàn)有的想法，找出哪些想法需要被組合起來也很重要。
據(jù)他了解，那些令人印象深刻的想法組合，大部分是人類告訴AI模型的：「這里有兩件事，我們要你把它們組合起來�！�
但他認(rèn)為，「知道哪些東西的組合會產(chǎn)生新的證明技巧， 這是一個(gè)更難的問題。」
此外，他完全同意「一些著名證明的想法，確實(shí)是通過令人印象深刻的方式將現(xiàn)有想法組合在一起而產(chǎn)生的。」
從新穎性或創(chuàng)意角度來看，有些方法雖然未解決問題但也很成功， 他表示「像費(fèi)馬大定理這樣的問題，之所以受到盛大的慶祝，是因?yàn)樗鼈儤O具創(chuàng)意，并且以非常新穎的方式使用了舊技術(shù)。」
Sébastien：人機(jī)交互很重要這次Sébastien表示要稍微偏題一下，那就是「AI自行解決問題之前，它將與所有人進(jìn)行合作。」
他分享了與AI一起合作做研究的經(jīng)歷。
「凸函數(shù)的梯度流能有多長？」
這個(gè)問題當(dāng)時(shí)還是他在Dropbox中的草稿，并且還沒有發(fā)表。所以可以肯定這沒有被包含在訓(xùn)練數(shù)據(jù)中。
他向o1模型問了這個(gè)專業(yè)問題，沒想到o1將問題與所謂的自收縮曲線聯(lián)系了起來。
但這種關(guān)聯(lián)并不直觀，而且它解釋了為什么在這兩者之間建立聯(lián)系是個(gè)好主意。并提供了相關(guān)文獻(xiàn)。
而Sébastien自己花了三天時(shí)間才找到這個(gè)聯(lián)系。
也就是說，即便僅僅是目前的基礎(chǔ)模型，也足以讓他能夠加快三天的研究進(jìn)度。
他表示在明年更多的科學(xué)家會經(jīng)歷類似的體驗(yàn)。
「這和醫(yī)療診斷領(lǐng)域發(fā)生的一樣。在每個(gè)領(lǐng)域都有同樣的故事。AI至少將與我們幾乎平分秋色。」
隨后Tom也認(rèn)為AI可與人類合作，但這不必然意味著它可以不依賴于人類而獨(dú)自做出對數(shù)學(xué)的創(chuàng)新貢獻(xiàn)。
「為了解決某些未解決的數(shù)學(xué)問題，僅僅和人類一樣好是不夠的，實(shí)際上它必須在某種程度上比人類更好，或者至少比我們迄今為止所提到的任何人類（比如高斯）都要好」，Tom回應(yīng)道。
Tom：推理時(shí)間擴(kuò)展面臨指數(shù)級增長困境Tom發(fā)起了一個(gè)疑問，「在假設(shè)有無限的時(shí)間和數(shù)據(jù)的前提下，擴(kuò)展是否會最終達(dá)到目標(biāo)？」
如果我們把這個(gè)問題降到實(shí)際層面，即是否有一個(gè)數(shù)字X，在經(jīng)過X年后，通過擴(kuò)展能否達(dá)成目標(biāo)。
他認(rèn)為首先，人們已經(jīng)開始擔(dān)心現(xiàn)有的互聯(lián)網(wǎng)數(shù)據(jù)量是否足夠支持這種數(shù)據(jù)規(guī)模的繼續(xù)增長。例如，繼續(xù)現(xiàn)有的數(shù)據(jù)擴(kuò)展水平。
測試時(shí)擴(kuò)展變得如此令人興奮的原因之一就在于它提供了一種不同的擴(kuò)展方式，這種擴(kuò)展不再那么依賴預(yù)訓(xùn)練數(shù)據(jù)的規(guī)模。
但是即使是對于測試時(shí)擴(kuò)展或訓(xùn)練周期數(shù)量的擴(kuò)展，也存在一個(gè)問題：許多已觀察到的scaling law表明，性能改善隨著規(guī)模擴(kuò)大是按對數(shù)增長的。
這意味著我們需要更多指數(shù)級的數(shù)據(jù)或推理時(shí)間才能繼續(xù)看到性能提升。
Tom擔(dān)憂「到了某個(gè)時(shí)候，這種指數(shù)型增長可能會變得不可行」。
同時(shí)，Tom認(rèn)為對于 AI 系統(tǒng)來說，穩(wěn)健地用新方式使用那些熟悉的想法也很重要。
「我們也有證據(jù)表明，AI系統(tǒng)在以熟悉的方式使用某些概念時(shí)，表現(xiàn)得比以新穎方式使用時(shí)要好得多。有趣的是，這與人類的情況有點(diǎn)類似�！�
比如，給GPT-4一個(gè)數(shù)字，讓它乘以9/5再加上32，其準(zhǔn)確率大約為11%。但若同時(shí)告訴GPT-4「也就是將數(shù)字從華氏度轉(zhuǎn)化到攝氏度」，其準(zhǔn)確率提升到了62%。同樣的計(jì)算，僅僅認(rèn)識到這是熟悉的場景，就足以顯著提高性能。
Tom總結(jié)：總體樂觀，但懷疑Scaling不行
Tom在總結(jié)時(shí)以一個(gè)笑話開始。
這個(gè)笑話是這樣的：
一群朋友在公園里散步時(shí)， 遇到了一個(gè)男人和他的寵物狗正在下棋。他們走上前說：「哇～，你的狗竟然會下棋！真是太神奇了！」那個(gè)男人回答：「哦，其實(shí)也沒啥，通常都是它輸了�！�
故事的笑點(diǎn)是，這個(gè)人對他的狗會下棋習(xí)以為常，然而對一只狗而言，會下棋就已經(jīng)很神奇了，哪怕它并不擅長下棋。
Tom對大語言模型的批評也是如此：「大語言模型能做這么多的事情，真是令人驚嘆，即便在很多事情上做得并不完美。所以，大語言模型確實(shí)很厲害，但重要的是，不要過度夸大它們的能力。」
他認(rèn)為：「大語言模型的這些能力來源訓(xùn)練數(shù)據(jù)�！�
通過反復(fù)觀察，他非常清楚地看到大語言模型的能力與訓(xùn)練數(shù)據(jù)的頻率緊密相關(guān)。
這樣看來，大語言模型擁有如此廣泛和令人印象深刻的能力，可能更多地反映了訓(xùn)練數(shù)據(jù)的多樣性，而不是說其具備深層次的泛化能力。
這意味著如果我們希望大語言模型能夠真正地別開生面，這就需要不同于當(dāng)前的范式。
只用當(dāng)前的范式Scaling是不夠的，因?yàn)樗璧哪芰Σ⒉话谟?xùn)練分布中。
現(xiàn)在，確實(shí)有可能存在一個(gè)學(xué)習(xí)器（learner）能夠做到超出其數(shù)據(jù)范圍的事情， 因?yàn)槿祟惥涂梢裕?畢竟人類過去已經(jīng)解決了數(shù)學(xué)中的多個(gè)猜想。
但到目前為止，還沒有證據(jù)表明大語言模型能夠達(dá)到這種創(chuàng)造力和深度。
他認(rèn)為「總體上，我對AI能夠幫助我們解決這些未解問題是樂觀的，但我懷疑僅靠擴(kuò)大規(guī)模不能做到這一點(diǎn)�！�
他認(rèn)為需要改進(jìn)以下關(guān)鍵點(diǎn)：
第一點(diǎn)是增強(qiáng)長距離推理和規(guī)劃能力，以及更好的長期記憶。
因?yàn)閮H僅給大語言模型更大的內(nèi)存可能還不夠，還需要找出如何讓它們有效地利用增強(qiáng)的記憶，確保能夠在非常長的記憶背景下識別出重要信息。
第二點(diǎn)，需要找到解決幻覺和可靠性問題的方法。一種潛在的技術(shù)是更流暢地與符號組件（如證明驗(yàn)證器）進(jìn)行集成。
另一個(gè)是他之前提到過的想法，可能從一開始就優(yōu)化系統(tǒng)，使其更適合操作思想而不是語言。
大語言模型首先是一種語言模型，它們主要的初始預(yù)訓(xùn)練階段基于語言預(yù)測。
而最近的方法確實(shí)包含額外的微調(diào)和后訓(xùn)練階段，但基本模型本質(zhì)上仍然以語言為基礎(chǔ)。
因此，這就導(dǎo)致了這樣一個(gè)效果：大語言模型處理概念的能力必須通過語言間接地涌現(xiàn)。
他認(rèn)為這很可能解釋了為什么如此多的LLM推理仍然相對脆弱或容易受到概率的影響。
為了繞過這個(gè)問題，重要的是讓模型直接優(yōu)化推理能力，而不是從語言開始優(yōu)化。
最后的一點(diǎn)是，采取什么措施來產(chǎn)生創(chuàng)造力，這確實(shí)非常令人困惑。
他認(rèn)為沒有人知道具體需要什么才能具有創(chuàng)造力。
但有幾個(gè)因素可能很重要，那就是抽象能力和類比能力，因?yàn)槌橄蠛皖惐葘⒁孕碌姆绞娇创煜さ南敕�，從而建立前所未有的�?lián)系。
這一切說起來容易做起來難，但他確信點(diǎn)燃AGI星星之火需要持續(xù)不斷的富含人類智慧的創(chuàng)新。
Sébastien總結(jié)：創(chuàng)意就是模式識別
Sébastien認(rèn)為「在進(jìn)入大學(xué)階段或剛?cè)氪髮W(xué)階段，我們會接觸到很多東西，知識也逐漸擴(kuò)展。然后進(jìn)入研究生階段，就開始深入研究了，會花很長時(shí)間思考問題。在讀研的第一年，你可能會選擇一篇論文，然后花費(fèi)一個(gè)月的時(shí)間來鉆研它。」
而大語言模型在互聯(lián)網(wǎng)數(shù)據(jù)上的預(yù)訓(xùn)練也是如此。
它們被訓(xùn)練地特別針對性地深入地思考某個(gè)具體的問題領(lǐng)域。
Sébastien認(rèn)為第二個(gè)非常關(guān)鍵的要點(diǎn)是：「一切都是涌現(xiàn)，沒有硬編碼。」
不用向AI下達(dá)「請檢查答案」「請回溯」「請做XXX」這類指令。
不用向模型傳授任何錦囊妙計(jì)。
通過強(qiáng)化學(xué)習(xí)， LLM能學(xué)到這一切。
GPT-4的智能涌現(xiàn)讓Sébastien感到驚訝不已：「一旦事物開始以這種方式涌現(xiàn)，這種能力的極限到底在哪里，你怎么能說得清楚呢？這真的很難說。但這個(gè)非常重要�！�
然而問題是現(xiàn)在LLM卡在這里了，即便是o1也是如此。
此路不通，可以另尋他路，其中一種方法當(dāng)然是合成數(shù)據(jù)。Sébastien與微軟團(tuán)隊(duì)一起開發(fā)的Phi系列模型，一直在這樣做。
Sébastien的最后一個(gè)觀點(diǎn)是關(guān)于真正的創(chuàng)造力。
他表示美好的時(shí)刻就是「審視自己的工作以及那些人所做的工作的時(shí)刻」， 真正的創(chuàng)意時(shí)刻就是「識別出模式的時(shí)刻�！�
他再次強(qiáng)調(diào)，「識別模式有點(diǎn)像組合事物，但它可以在不同的規(guī)模上進(jìn)行組合」。
他感慨到：「這不僅僅是將兩個(gè)想法結(jié)合在一起。就像你突然發(fā)現(xiàn)很多事情以一種非常新穎的方式相互關(guān)聯(lián)�！�
這就是一個(gè)好定義的含義。
一個(gè)好定義能夠涵蓋可能無限多的東西，并將其濃縮成精煉的一句話。
「所以構(gòu)建那些好定義的過程，全在于識別模式，全在于抽象化�，F(xiàn)在關(guān)鍵點(diǎn)是這似乎是一種可以傳授的技能。你可以給出一些例子。你可以設(shè)計(jì)許多關(guān)于如何提出一個(gè)好的定義的例子。一旦你將這種抽象能力注入模型中，想出一個(gè)好的定義，然后把它和其他我們說過的內(nèi)容結(jié)合起來，我就看不到這些模型能做的事情有什么限制�！�
參考資料：https://x.com/tsarnick/status/1871869965135179909https://x.com/tsarnick/status/1871874919661023589https://simons.berkeley.edu/talks/sebastien-bubeck-open-ai2024-12-05
