文：Web3天空之城城主
【城主說】 正在舉行的深度學(xué)習(xí)頂會NeuralPS2024上，Ilya意外現(xiàn)身會場做了主題演講。AI巨佬上來就是王炸：直接斷言當(dāng)下大模型的核心“預(yù)訓(xùn)練”機制即將走到終結(jié)。同時提出了對未來AI進(jìn)展方式的展望。
以下和大家解讀Ilya這個備受關(guān)注的主題演講的重點，同時附上全文和視頻供有興趣的同學(xué)進(jìn)一步研究。
過去| 深度學(xué)習(xí)的早期假設(shè)神經(jīng)網(wǎng)絡(luò)的能力:
十年前，Ilya 和他的團(tuán)隊假設(shè)，如果一個神經(jīng)網(wǎng)絡(luò)擁有十層，它就能夠在一瞬間完成任何人類能夠完成的任務(wù)。這個假設(shè)基于深度學(xué)習(xí)的核心理念，即人工神經(jīng)元與生物神經(jīng)元在某種程度上是相似的。由于生物神經(jīng)元的處理速度相對較慢，因此如果人類能夠在一瞬間完成某項任務(wù)，那么一個足夠大的神經(jīng)網(wǎng)絡(luò)理論上也應(yīng)該能夠做到。十層這個數(shù)字盡管現(xiàn)在看起來比較幼稚，但反映了當(dāng)時對深度學(xué)習(xí)潛力的樂觀預(yù)期。
自回歸模型的貢獻(xiàn)和局限：
Ilya 回顧了十年前他們在 NeurIPS 會議上提出的關(guān)于自回歸模型的一些觀點。當(dāng)時的一些觀點是正確的，但也有觀點是錯誤的。
正確觀點：自回歸模型能夠捕捉序列的正確分布：如果一個自回歸模型能夠很好地預(yù)測下一個標(biāo)記，那么它實際上就抓住了接下來序列的正確分布。這一點在當(dāng)時是一個相對較新的想法，也是他們工作的核心。這一觀點推動了自回歸模型在機器翻譯等領(lǐng)域的應(yīng)用，并最終促成了預(yù)訓(xùn)練時代的到來，例如 GPT 模型的出現(xiàn)。
錯誤觀點：流水線并行化是明智的：他們在當(dāng)時使用了流水線并行化來加速訓(xùn)練過程，但在今天看來，這種方法并不是最佳選擇�，F(xiàn)在的深度學(xué)習(xí)模型訓(xùn)練更傾向于使用其他并行化策略。
“大模型預(yù)訓(xùn)練時代即將終結(jié)”AI巨佬ILya最新頂會演講
現(xiàn)在| 關(guān)于預(yù)訓(xùn)練時代的終結(jié)Ilya在演講中深入探討了“預(yù)訓(xùn)練時代”，這是一個深度學(xué)習(xí)領(lǐng)域取得巨大進(jìn)步的時期。
預(yù)訓(xùn)練時代的核心是使用超大型神經(jīng)網(wǎng)絡(luò)在海量數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后再針對特定任務(wù)進(jìn)行微調(diào)。 這種方法極大地提高了模型的性能，并在自然語言處理、計算機視覺等領(lǐng)域取得了突破性進(jìn)展。GPT 模型系列就是預(yù)訓(xùn)練時代最具代表性的成果。
但是，Ilya認(rèn)為，預(yù)訓(xùn)練時代即將走向終結(jié)。雖然計算能力通過更好的硬件、更好的算法和更大的集群在增長，但數(shù)據(jù)量卻沒有相應(yīng)的增長。他將數(shù)據(jù)比喻為人工智能的“化石燃料”，認(rèn)為我們已經(jīng)達(dá)到了數(shù)據(jù)的巔峰，再也不會有更多的數(shù)據(jù)。
預(yù)訓(xùn)練時代終結(jié)的原因：
數(shù)據(jù)量增長停滯：計算能力的提升速度遠(yuǎn)超數(shù)據(jù)量的增長速度。
數(shù)據(jù)是有限資源：我們只有一個互聯(lián)網(wǎng)，可用的數(shù)據(jù)總量是有限的。
預(yù)訓(xùn)練時代結(jié)束后，深度學(xué)習(xí)將走向何方？ Ilya提出了幾種可能性：
代理 (Agents)：代理可以自主學(xué)習(xí)和行動，有望成為深度學(xué)習(xí)的新突破口。
合成數(shù)據(jù)：合成數(shù)據(jù)可以彌補真實數(shù)據(jù)不足，但如何生成高質(zhì)量的合成數(shù)據(jù)是一個挑戰(zhàn)。
推理時間計算：推理時間計算可以提高模型的效率和靈活性。
從生物學(xué)中汲取靈感：生物系統(tǒng)，特別是人腦的運作機制，可以為深度學(xué)習(xí)提供新的啟示。
Ilya 認(rèn)為，未來深度學(xué)習(xí)的關(guān)鍵在于找到新的方法來克服數(shù)據(jù)量的限制。這需要探索新的學(xué)習(xí)算法，例如能夠從有限數(shù)據(jù)中學(xué)習(xí)的算法，以及更高效地利用計算資源的算法。
未來| 超智能：深度學(xué)習(xí)的終極目標(biāo)？Ilya 在演講中談到了超級智能的概念，并認(rèn)為這是深度學(xué)習(xí)發(fā)展的終極目標(biāo)。雖然他沒有詳細(xì)闡述超級智能的定義和實現(xiàn)路徑，但從他的演講中，我們可以總結(jié)出他對超級智能的一些理解：
與人類智能有質(zhì)的區(qū)別：超級智能并非簡單的人類智能的增強版，而是擁有全新的能力和屬性。這就像類人猿的大腦進(jìn)化與其他哺乳動物的顯著差異一樣，超級智能也可能以一種我們無法預(yù)見的方式超越人類智能。
具備強大的代理能力：超級智能將不再是被動的信息處理系統(tǒng)，而是能夠主動地進(jìn)行推理、規(guī)劃和行動。他們將能夠理解和處理復(fù)雜的現(xiàn)實世界問題，并做出自主的決策。
擁有自我意識：Ilya 認(rèn)為，超級智能可能會發(fā)展出自我意識， 這將使其擁有更強大的學(xué)習(xí)和適應(yīng)能力。自我意識也將使超級智能能夠更好地理解人類和其他智能體，并與之互動。
Ilya 并沒有給出超級智能何時會出現(xiàn)的具體時間，但他認(rèn)為這只是一個時間問題。他強調(diào)，我們應(yīng)該認(rèn)真思考超級智能帶來的挑戰(zhàn)，例如：
超級智能的不可預(yù)測性：超級智能的推理能力將遠(yuǎn)超人類， 其行為和決策將變得難以預(yù)測。
如何控制超級智能：如何確保超級智能的行為符合人類的利益和價值觀，是一個至關(guān)重要的問題。
超級智能與人類的關(guān)系：超級智能的出現(xiàn)將重新定義人類在宇宙中的位置， 我們需要思考如何與超級智能共存。
演講全文Web3天空之城書面版
我想感謝組織者選擇這篇論文獲得這個獎項。這真的非常好。我還要感謝我出色的合著者和合作伙伴，Oriol Vinyals 和 Quoc Le，他們剛才就在你面前。
你們現(xiàn)在看到的是一張圖片，一張截圖，來自十年前2014年在蒙特利爾 NeurIPS 會議上的類似演講。這是一個更加無邪的時代。這是我們，當(dāng)時拍攝的照片。這里是之前的場景。順便說一下，這里是之后。
現(xiàn)在我們有了我經(jīng)驗豐富的，可能是護(hù)目鏡的視角。但在這里，我想談?wù)勥@項工作的內(nèi)容，或許進(jìn)行一個十年的回顧。因為在這項工作中的很多觀點是正確的，但有些則不是。我們可以回顧這些觀點，看看發(fā)生了什么，以及它是如何溫和地演變成我們今天所處的位置。
那么讓我們先談?wù)勎覀冏隽耸裁�。我們將通過展示十年前同一次演講的幻燈片來進(jìn)行總結(jié)。我們工作的總結(jié)如下三點：這是一個基于文本訓(xùn)練的自回歸模型，一個大型神經(jīng)網(wǎng)絡(luò)，還有一個大型數(shù)據(jù)集�，F(xiàn)在讓我們更深入探討一些細(xì)節(jié)。這是一張十年前的幻燈片，還不錯。我們在這里討論的是深度學(xué)習(xí)假設(shè)：如果你有一個十層的大型神經(jīng)網(wǎng)絡(luò)，它可以在一瞬間完成任何人類能夠完成的事情。
為什么我們?nèi)绱藦娬{(diào)人類在短短一秒鐘內(nèi)能夠做的事情？為什么特別是這個內(nèi)容？如果你相信深度學(xué)習(xí)的教義，或認(rèn)為人工神經(jīng)元和生物神經(jīng)元是相似的，或者至少差異不大，并且相信真實的神經(jīng)元比我們?nèi)祟惪焖偻瓿傻娜魏问虑槎家�，我甚至是指全世界的某一個人。如果全世界有一個人能在一瞬間完成某項任務(wù)，那么一個十層的神經(jīng)網(wǎng)絡(luò)也可以做到。這就成立了。你只需將他們的連接提取出來并嵌入到你的人工神經(jīng)網(wǎng)絡(luò)中。
這就是動機。任何一個人能夠在一瞬間完成的事情，一個大型的十層神經(jīng)網(wǎng)絡(luò)也能夠做到。我們專注于十層神經(jīng)網(wǎng)絡(luò)是因為當(dāng)時我們只知道如何訓(xùn)練這樣的網(wǎng)絡(luò)。如果在層數(shù)上有所突破，就可以做更多的事情。但在那時我們只能做到十層，這就是為什么我們強調(diào)人類在瞬間內(nèi)能做的任何事情。這是演講中的另一張幻燈片，說明我們主要想法的一張幻燈片。你可能能夠識別出兩個東西，或者至少一個東西。你可能會意識到這里發(fā)生了一些自回歸的事情。
它到底在說什么？這張幻燈片到底在說什么？
這張幻燈片講的是，如果你有一個自回歸模型，并且它能很好地預(yù)測下一個標(biāo)記，那么它實際上能捕捉到接下來序列的正確分布。而這在當(dāng)時是相對較新的事情。這并不是字面意義上的第一個自回歸神經(jīng)網(wǎng)絡(luò)，但我認(rèn)為它是第一個我們真正相信如果你訓(xùn)練得很好，那么你將獲得任何你想要的自回歸神經(jīng)網(wǎng)絡(luò)。在我們的案例中，彼時的任務(wù)是謙遜的，今天看來依舊謙遜，但當(dāng)時卻是極為大膽的翻譯工作。
現(xiàn)在我將向你展示一些許多人可能從未見過的古老歷史。它被稱為LSTM。對于那些不熟悉的人，LSTM是以前貧困的深度學(xué)習(xí)研究者在變換器出現(xiàn)之前所做的事情。它基本上是一個ResNet，但旋轉(zhuǎn)了90度。所以這就是LSTM。它出現(xiàn)得更早，有點像是略微復(fù)雜的ResNet。你可以看到這里是你的積分器，現(xiàn)在稱為殘差流，同時還有一些乘法運算。這稍微復(fù)雜了一些，但這就是我們所做的。這是一個旋轉(zhuǎn)了90度的ResNet。
我想強調(diào)的另一個來自那次舊演講的酷炫特點是我們使用了并行化。但不僅僅是任何并行化，我們使用了流水線，如同每個GPU一層的證據(jù)所示。
流水線是明智的嗎？
正如我們現(xiàn)在所知，流水線并不是明智之舉。但在那時，我們沒有那么聰明。所以我們使用了這個，并在使用八個GPU時獲得了3.5倍的加速。
而結(jié)論幻燈片在某種意義上，正是當(dāng)時演講的結(jié)論幻燈片，是最重要的幻燈片。因為它清楚地闡明了可以說是擴展假設(shè)的起點，也就是說，如果你擁有一個非常大的數(shù)據(jù)集，并且訓(xùn)練一個非常大的神經(jīng)網(wǎng)絡(luò)，那么成功是有保證的。有人可以爭辯，如果你是寬容一點的話，這確實是在發(fā)生的事情。
我想提到另一個想法。而這個，我聲稱，是經(jīng)得起時間考驗的真正想法。這是深度學(xué)習(xí)本身的核心理念。這是連接主義的理念。這是一個思想，如果你允許自己相信人工神經(jīng)元在某種程度上類似于生物神經(jīng)元，那么這會給你信心，相信非常大的神經(jīng)網(wǎng)絡(luò)不需要與人類大腦同等規(guī)模。它們可能會小一些，但可以配置它們做幾乎所有人類所能做的事情。這仍然是有區(qū)別的，因為人類大腦還會想辦法重新配置自己。
我們使用的最佳學(xué)習(xí)算法需要的數(shù)據(jù)信息點與參數(shù)數(shù)量相同。在這方面，人類仍然更優(yōu)秀。不過，這導(dǎo)致了我所稱的“預(yù)訓(xùn)練時代”的到來。
預(yù)訓(xùn)練時代是指我們所討論的GPT-2模型、GPT-3模型和縮放法則。我想特別提到我的前同事Alec Radford、Jared Kaplan和Dario Amodei，感謝他們做出的真正貢獻(xiàn)。這一切推動了我們今天看到的所有進(jìn)步，尤其是超大型神經(jīng)網(wǎng)絡(luò)。它們在巨大數(shù)據(jù)集上進(jìn)行異常龐大的訓(xùn)練。
但是，預(yù)訓(xùn)練如我們所知無疑將會結(jié)束。預(yù)訓(xùn)練將會結(jié)束。它為什么會結(jié)束？
因為雖然計算能力通過更好的硬件、更好的算法和更大的集群在增長，但所有這些都在不斷增加你的計算能力�？墒菙�(shù)據(jù)并沒有增長，因為我們只有一個內(nèi)部網(wǎng)。你甚至可以說，數(shù)據(jù)是人工智能的化石燃料。它像是某種方式被創(chuàng)造出來的，現(xiàn)在我們使用它，但我們已經(jīng)達(dá)到了數(shù)據(jù)的巔峰，再也不會有更多了。我們必須處理我們擁有的數(shù)據(jù)。我仍然認(rèn)為這會讓我們走得很遠(yuǎn)，但這只是一個內(nèi)部網(wǎng)。
所以，在這里我會稍微放肆一下，推測一下接下來會發(fā)生什么。實際上，我不需要推測，因為很多人也在推測，我會提到他們的推測。你可能聽過“代理”的說法。這很常見，我相信最終會發(fā)生某些事情，但人們覺得某些代理是未來。更具體地說，還有些模糊的方向是合成數(shù)據(jù)。
但合成數(shù)據(jù)是什么意思？
弄清楚這一點是一個大挑戰(zhàn)，我確信不同的人在這里都會有各種有趣的進(jìn)展。以及推理時間計算，或者最近在 O1 模型中看到的比較生動的東西。這些都是人們在預(yù)訓(xùn)練之后嘗試弄清楚該做什么的例子。這些都是非常好的事情。我想提一個來自生物學(xué)的例子，我覺得這真的很酷。這個例子是這樣的。
很多年前，在一個會議上，我看了一場演講，有人展示了一張圖表。圖表顯示了哺乳動物的身體大小和大腦大小之間的關(guān)系。在這個例子中，是以質(zhì)量來衡量的。我記得他們在討論中提到，生物學(xué)里一切都那么混亂，但在這里，你有一個罕見的例子，動物的身體大小和大腦之間有著非常緊密的關(guān)系。我出于好奇，對這張圖產(chǎn)生了興趣。
于是我在谷歌上尋找這張圖。在谷歌圖片中，找到了一張相關(guān)的圖片。這個圖像有趣的是，上面展示了各種不同的哺乳動物，以及非人類的靈長類動物，這基本上屬于同一類群體。根據(jù)我的了解，類人猿是與人類在進(jìn)化上密切相關(guān)的親屬，比如尼安德特人，還有許多其他的，可能稱為能人。他們都在這里。有趣的是，他們的腦-體比的斜率指數(shù)不同，這很酷。這意味著有先例，有生物學(xué)找出某種不同縮放的例子，顯然有些東西是不同的，所以我覺得這很酷。
順便說一下，我想強調(diào)，這個x軸是對數(shù)尺度。你看，這里是100，這里是1,000，10,000，100,000，以克為單位：1克，10克，100克，1,000克。所以，事情有可能會有所不同。我們正在做的事情，迄今為止所擴展的事情，其實是我們最初找到的擴展方式。毫無疑問，整個領(lǐng)域，所有在這里工作的人，將會找出該做什么。
但是，我想在這里談一談，我想花幾分鐘時間來推測一下更長遠(yuǎn)的未來。我們都朝哪里走呢？我們在取得所有這些進(jìn)展，真是令人驚訝。十年前，當(dāng)您回顧這個領(lǐng)域時，還記得一切是多么無能嗎？您當(dāng)然可以說，即使已經(jīng)有深度學(xué)習(xí)技術(shù)，但看到它的實際應(yīng)用仍然難以置信。我無法完全表達(dá)那種感覺。
您知道，如果您在過去兩年才加入這個領(lǐng)域，與計算機對話并得到回應(yīng)是理所當(dāng)然的事情，這就是計算機的本質(zhì)。然而，這并不總是如此。
我想稍微談?wù)劤壷悄�，這顯然是這個領(lǐng)域的發(fā)展方向。這是我們在這里構(gòu)建的內(nèi)容。超智能的特點是，它在質(zhì)量上將與我們現(xiàn)有的技術(shù)截然不同。
接下來一分鐘，我的目標(biāo)是嘗試給您一些具體的直覺，讓您自己能夠推理出它會有多么不同�，F(xiàn)在我們擁有令人難以置信的語言模型及其出色的聊天機器人，它們甚至可以做到一些事情，但在某種程度上又奇怪地不可靠，會感到困惑，同時在評估中表現(xiàn)出驚人的超人能力。因此，如何調(diào)和這個問題真的很不清楚。但最終，系統(tǒng)遲早會實現(xiàn)具備代理能力的目標(biāo)。目前，這些系統(tǒng)在有意義的層面上還不是代理。它們只是微弱地開始具有代理性功能。系統(tǒng)實際上會進(jìn)行推理。
順便提一下推理的問題：一個進(jìn)行推理的系統(tǒng)，推理越多，越不可預(yù)測。我們習(xí)慣的深度學(xué)習(xí)非�？深A(yù)測，因為其本質(zhì)上是在復(fù)制人類的直覺反應(yīng)。
如果我們考慮到0.1秒的反應(yīng)時間，我們大腦中的處理就是直覺。所以我們賦予了人工智能一些直覺。但是推理卻是不可預(yù)測的，我們看到了一些早期的跡象。其中一個原因是，因為下棋的人工智能，即便是對最優(yōu)秀的人類棋手來說，也是不容易預(yù)料的。
因此，我們將不得不面對極其不可預(yù)測的人工智能系統(tǒng)。它們將從有限的數(shù)據(jù)中理解事物，不會感到困惑，而這些都是目前的重大限制。順便說一下，我并不是在談?wù)撊绾�，也不是在談�(wù)摵螘r。我只是說這會發(fā)生。當(dāng)所有這些事情發(fā)生時，加上自我意識，因為為什么不呢？自我意識是有用的。它是我們自己的一部分，是我們自己世界模型的一部分。當(dāng)所有這些事情匯聚在一起時，我們將擁有與今天截然不同的質(zhì)量和屬性的系統(tǒng)。它們將擁有令人難以置信和驚人的能力。但是，這樣的系統(tǒng)所帶來的問題，我將把它留作想象的練習(xí)。這與我們習(xí)慣的非常不同。
而且，我會說，預(yù)測未來肯定也是不可能的。真的，各種事情都是可能的。但在這個振奮人心的音符上，我將結(jié)束。非常感謝。謝謝。
(全場長時間掌聲）
Q&A：
在2024年，有沒有其他生物結(jié)構(gòu)是人類認(rèn)知的一部分，你認(rèn)為值得以類似的方式探索，或者是你感興趣的任何方式？
所以，我回答這個問題的方式是，如果你或者某人有一種特定的洞見，認(rèn)為我們都非常愚蠢，因為大腦顯然在做某些事情，而我們卻沒有，這可以做的話，他們應(yīng)該去追求它。我個人不這樣做。這要看你所關(guān)注的抽象層次。也許我會這樣回答，對生物啟發(fā)的人工智能有很大的渴望。你可以在某種程度上認(rèn)為，生物啟發(fā)的人工智能是非常成功的，因為深度學(xué)習(xí)的所有內(nèi)容都是生物啟發(fā)的人工智能。但另一方面，生物啟發(fā)是非常有限的，這僅僅使用神經(jīng)元，這就是生物啟發(fā)的全部程度。更詳細(xì)的生物啟發(fā)一直很難獲得。但我不會將其排除在外。我認(rèn)為如果有人有獨特的洞見，他們可能會看到一些東西，這會是有用的。
我有一個關(guān)于自動校正的問題問你。你提到推理作為未來建模的核心方面之一，也許是一種區(qū)分因素。我們在一些海報會議中看到的是，模型中的幻覺現(xiàn)象。今天我們分析這種幻覺現(xiàn)象的方式，也許你可以糾正我，因為你是這個領(lǐng)域的專家。我們知道模型缺乏推理能力的危險，因此我們正在使用統(tǒng)計分析的方法，比如某個標(biāo)準(zhǔn)差或距均值的距離等。在未來，你不覺得給定推理的模型將能夠自我糾正，或者說自動糾正，這將是未來模型的核心特性，以便減少許多幻覺，因為模型會識別出何時發(fā)生幻覺？也許這個問題太抽象了，但模型將能夠推理并理解何時發(fā)生幻覺？這個問題有意義嗎？
是的，答案也是肯定的。我認(rèn)為你所描述的極其可信。你應(yīng)該去檢查。我不會排除目前一些早期推理模型可能已經(jīng)在發(fā)生這種情況，我不知道。但是，從長遠(yuǎn)來看，為什么不呢？這是Microsoft Word的一部分，自動糾正是核心特性。
我認(rèn)為將其稱為自動糾正實際上是對其的不公。當(dāng)你提到自動更正時，你似乎覺得它比自動更正要宏偉得多，但撇開這一點，答案是肯定的。
謝謝。伊利亞。我喜歡這個結(jié)局，神秘地留下了懸念，他們會取代我們嗎？或者他們更優(yōu)越嗎？他們需要權(quán)利嗎？
這是一種新的人類智力物種。所以，也許他們需要這些東西。我覺得現(xiàn)實生活中的一些人認(rèn)為我們需要為這些事物爭取權(quán)利。
我有一個與此無關(guān)的問題。我們該如何創(chuàng)造正確的激勵機制，讓人類實際上能夠以給予他們作為智人所擁有的自由的方式來創(chuàng)造它？
我覺得在某種意義上，這就是人們應(yīng)該更多反思的問題。但是關(guān)于我們應(yīng)該創(chuàng)造什么激勵結(jié)構(gòu)的問題，我并不覺得我知道。我對回答這樣的問題沒有信心，因為這就像在談?wù)搫?chuàng)造某種自上而下的政府結(jié)構(gòu)，我不知道。這也可能是一種加密貨幣。
我的意思是，有 BitTensor，有些事情。我覺得我不是評論加密貨幣的合適人選，但是。但是，順便說一下，你所描述的事情有可能會發(fā)生，確實在某種意義上，如果你有人工智能，而他們所想的只是與我們共存并擁有權(quán)利，也許那樣還不錯。
但我不知道，我的意思是事情是如此不可預(yù)測。我猶豫要發(fā)表評論，但我鼓勵這種推測。
感謝你的精彩演講。我叫Shalev Lifshitz，來自多倫多大學(xué)，與Sheila一起工作。感謝你所做的所有工作。我想問一下，你認(rèn)為大語言模型（LLM）能否在分布外進(jìn)行多跳推理的泛化？
這個問題的假設(shè)是答案只有“是”或“否”，但實際上問題不應(yīng)該只用“是”或“否”來回答。因為“分布外泛化”是什么意思呢？分布內(nèi)的意思是什么，分布外的意思又是什么？由于這是一次關(guān)于時間的討論，我想說很久以前，在人們使用深度學(xué)習(xí)之前，依賴的是字符串匹配這類的方法，比如N-元組。對于機器翻譯，人們使用的是統(tǒng)計短語表。你能想象嗎？他們有成千上萬的復(fù)雜代碼，這真的讓人難以理解。
在那時，泛化的意思是數(shù)據(jù)集中措辭是否完全不同。現(xiàn)在，我們可能會說，我的模型在某個數(shù)學(xué)競賽上獲得了很高分?jǐn)?shù)，但也許這些數(shù)學(xué)題或某個論壇上的一些討論談?wù)摰氖窍嗤南敕�，因此它被模型記住了。好吧，你可以說，也許它在分布內(nèi)，也許這是記憶，但我也認(rèn)為我們對什么算作泛化的標(biāo)準(zhǔn)確實大幅提高了，這種提高是戲劇性的，不可思議的，如果你一直在跟蹤的話。
因此，我認(rèn)為答案在某種程度上可能不如人類好。我認(rèn)為人類的確在概括方面做得更好，但與此同時，他們確實在某種程度上越界概括。
我希望這是一個有用的同義反復(fù)的回答。謝謝。
