劃重點(diǎn)
01英偉達(dá)CEO黃仁勛在播客節(jié)目BG2中討論了AGI、機(jī)器學(xué)習(xí)加速、英偉達(dá)的競(jìng)爭(zhēng)優(yōu)勢(shì)等方面的內(nèi)容。
02黃仁勛認(rèn)為，AI行業(yè)投入了海量技術(shù)和努力來(lái)訓(xùn)練語(yǔ)言模型，而現(xiàn)在我們可以在每一步都使用LLM。
03此外，黃仁勛強(qiáng)調(diào)英偉達(dá)在優(yōu)化算法和框架方面的所有工作都有助于各種安裝基礎(chǔ)，包括軟件、硬件和整個(gè)堆棧。
04對(duì)于OpenAI，黃仁勛表示，OpenAI是我們這個(gè)時(shí)代最具影響力的公司之一，具有巨大的發(fā)展?jié)摿Α?/p>
05最后，黃仁勛談到了英偉達(dá)在未來(lái)10年的發(fā)展規(guī)劃，將繼續(xù)致力于推動(dòng)AI技術(shù)的發(fā)展。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
機(jī)器之心報(bào)道
機(jī)器之心編輯部
10 月 4 日，播客節(jié)目 BG2（Brad Gerstner 和 Clark Tang）邀請(qǐng)到了英偉達(dá) CEO 黃仁勛，他們一起討論了 AGI、機(jī)器學(xué)習(xí)加速、英偉達(dá)的競(jìng)爭(zhēng)優(yōu)勢(shì)、推理與訓(xùn)練的重要性、AI 領(lǐng)域未來(lái)的市場(chǎng)動(dòng)態(tài)、AI 對(duì)各個(gè)行業(yè)的影響、工作的未來(lái)、AI 提高生產(chǎn)力的潛力、開源與閉源之間的平衡、馬斯克的 Memphis 超級(jí)集群、X.ai、OpenAI、AI 的安全開發(fā)等。
近日，BG2 發(fā)布了這期播客節(jié)目。機(jī)器之心簡(jiǎn)要整理了其中的關(guān)鍵信息。
AGI 和個(gè)人助理的進(jìn)化
Brad Gerstner：今年 AI 領(lǐng)域的主題是「向 AGI 擴(kuò)展」。我們先進(jìn)行一個(gè)思想實(shí)驗(yàn)：如果我把 AGI 看作是口袋中的個(gè)人助理，它知道有關(guān)我的一切，可以與我溝通、幫我訂酒店、預(yù)約醫(yī)生…… 你認(rèn)為我們什么時(shí)候能有這種形式的個(gè)人助理？
黃仁勛：很快就會(huì)以某種形式實(shí)現(xiàn)（soon in some form）。這種助理會(huì)隨時(shí)間變得越來(lái)越好。這就是技術(shù)之美。開始時(shí)它會(huì)變得很有用處，但并不完美，然后它會(huì)越來(lái)越完美。
Gerstner：伊隆·馬斯克曾經(jīng)說過真正重要的是變化速度（rate of change），看起來(lái)變化速度已經(jīng)提升了很多。你認(rèn)為現(xiàn)在是變化速度最快的時(shí)候嗎？
黃仁勛：確實(shí)是。我們已經(jīng)重新發(fā)明了計(jì)算，因?yàn)槲覀円呀?jīng)在過去 10 年中將計(jì)算的邊際成本降低了 10 萬(wàn)倍，而按照摩爾定律預(yù)測(cè)，這個(gè)倍數(shù)應(yīng)該是 100 倍左右。我們通過多種途徑做到了這一點(diǎn)。一是引入了加速計(jì)算 將在 CPU 上效率不高的計(jì)算放到了 GPU 上。我們還引入了新的數(shù)值精度、提出了新的架構(gòu)、發(fā)明 Tensor Core、NVLink 和 InfiniBand、HBM 高速內(nèi)存。這些加在一起并大規(guī)模擴(kuò)展，可說是實(shí)現(xiàn)了超級(jí)摩爾定律的創(chuàng)新速度。這樣帶來(lái)的一個(gè)驚人結(jié)果是從人類編程邁向了機(jī)器學(xué)習(xí)，而機(jī)器學(xué)習(xí)的速度很快。這其中要用到張量并行化、工作流程并行化等各種并行化，這能幫助我們更快地發(fā)明新算法。
回顧過去，在之前的摩爾定律時(shí)代，軟件是靜態(tài)的，硬件以摩爾定律增長(zhǎng)。后來(lái)，我們更多談?wù)摰氖擒浖臄U(kuò)展（scaling） 比如模型大小和數(shù)據(jù)集規(guī)模的擴(kuò)展。如果模型大小和數(shù)據(jù)集都增加一倍，那么所需的計(jì)算能力要增長(zhǎng) 4 倍。而現(xiàn)在，我們又開始談?wù)摵笥?xùn)練和推理階段的擴(kuò)展了。以前人們覺得訓(xùn)練很難，推理很簡(jiǎn)單，但現(xiàn)在一切都變困難了。
人們現(xiàn)在也在研究快速思考和慢速思考的概念，還有推理、反思、迭代和模擬等等。
英偉達(dá)的競(jìng)爭(zhēng)優(yōu)勢(shì)
Clark Tang：我們知道也有人在研發(fā)新芯片，有時(shí)候他們能做出一些浮點(diǎn)數(shù)更高或者其它性能更優(yōu)的芯片。但英偉達(dá)有自己的「護(hù)城河」，那就是你們擁有從硬件到軟件的整個(gè)堆棧。你覺得這三四年來(lái)你們的護(hù)城河是變大了還是變小了？
黃仁勛：有更高算力的芯片確實(shí)很重要，但不幸的是，那是老式思維 認(rèn)為軟件是靜態(tài)的，改進(jìn)系統(tǒng)的最好方法是生產(chǎn)更快的芯片。但我們認(rèn)識(shí)到機(jī)器學(xué)習(xí)不是人類編程，它并不只與軟件有關(guān)，而是涉及整個(gè)數(shù)據(jù)管道。機(jī)器學(xué)習(xí)就像是一個(gè)飛輪，能讓數(shù)據(jù)科學(xué)家和研究者更有生產(chǎn)力，而很多人沒有認(rèn)識(shí)到：一開始啟動(dòng)這個(gè)飛輪的是讓 AI 去調(diào)整數(shù)據(jù)，而那個(gè) AI 身就已經(jīng)很復(fù)雜了。
現(xiàn)在我們有合成數(shù)據(jù)生成以及各種調(diào)整數(shù)據(jù)的方法，這方面的 AI 也越來(lái)越聰明。也就是說在訓(xùn)練之前，就已經(jīng)涉及到大量數(shù)據(jù)處理了。很多人認(rèn)為 PyTorch 就是一切了，但不要忘了，PyTorch 之前有大量工作，PyTorch 之后也有。
這就像是一整套飛輪。我們需要設(shè)計(jì)一個(gè)計(jì)算系統(tǒng)讓這個(gè)飛輪盡可能有效地運(yùn)轉(zhuǎn)。訓(xùn)練只是其中一環(huán)。而這個(gè)飛輪的每個(gè)環(huán)節(jié)都很困難。OpenAI、X、DeepMind 他們做的事情并不簡(jiǎn)單。就算你能加速其中一個(gè)環(huán)節(jié)，也并不代表你能夠加速整個(gè)流程。而我們能夠加速整個(gè)流程。
以物理 AI 和視頻處理系統(tǒng)為例，每秒處理的數(shù)據(jù)量可高達(dá) TB 級(jí)。我們需要一個(gè)工作流程將這樣龐大的數(shù)據(jù)變成訓(xùn)練可用的數(shù)據(jù)，而這個(gè)過程可以使用 CUDA 來(lái)加速。
Tang：現(xiàn)在人們主要關(guān)注文本模型，但未來(lái)是視頻模型以及 o1 這樣的文本模型。這都需要在得到結(jié)果之前處理大量數(shù)據(jù)。
黃仁勛：AI 行業(yè)投入了海量技術(shù)和努力來(lái)訓(xùn)練語(yǔ)言模型，而現(xiàn)在我們可以在每一步都使用 LLM。
Gerstner：也就是說，從整個(gè)流程上看，英偉達(dá)的優(yōu)勢(shì)比三四年更大了。也就是在整體堆棧方面，你們?cè)诟倪M(jìn)每一個(gè)組件。但是其它企業(yè)有什么優(yōu)勢(shì)嗎，比如英特爾？
黃仁勛：英特爾是一家了不起的公司，因?yàn)樗赡苁堑谝患曳浅Ｉ瞄L(zhǎng)制造過程工程、制造的公司。他們?cè)O(shè)計(jì)生產(chǎn)了越來(lái)越快的 x86 芯片。我們公司的不同之處在于，我們認(rèn)識(shí)到，并行處理并不需要每個(gè)晶體管都是很棒，而串行處理需要每個(gè)晶體管都很棒。
并行處理需要大量晶體管才能更具成本效益。我寧愿多 10 倍的晶體管，但每個(gè)晶體管慢 20%，也不要晶體管減少 10 倍，速度提高 20%。而他們的想法剛好相反。
并行計(jì)算和并行處理很難，因?yàn)槊總�(gè)算法都需要不同的重構(gòu)方式和架構(gòu)算法。
我們徹底改變了深度學(xué)習(xí)，因?yàn)槲覀冮_發(fā)了一個(gè)軟件庫(kù) cuDNN。但人們很少談?wù)撍�，因�(yàn)樗?PyTorch 和 TensorFlow 等工具框架的下面一層，我們還有其它特定領(lǐng)域的軟件庫(kù)，比如 cuQuantum、RAPIDS。
如果我們沒有發(fā)明這些算法，那么那些應(yīng)用就無(wú)法運(yùn)行。所以數(shù)學(xué)才是英偉達(dá)真正擅長(zhǎng)的算法。在上層科學(xué)和底層架構(gòu)之間的融合，才是我們真正擅長(zhǎng)的地方。
AI 推理和訓(xùn)練的未來(lái)
Tang：現(xiàn)在人們都在關(guān)注推理。你認(rèn)為現(xiàn)在我們處于推理時(shí)代嗎？
黃仁勛：其實(shí)訓(xùn)練就是大規(guī)模推理。如果訓(xùn)練得很好，那么推理也會(huì)做得很好。如果你基于這個(gè)架構(gòu)構(gòu)建，那么就能在這個(gè)架構(gòu)上運(yùn)行，當(dāng)然你也可以針對(duì)其它架構(gòu)進(jìn)行優(yōu)化。
當(dāng)然，在資本投入方面，當(dāng)你訓(xùn)練新模型時(shí)，你希望用你最好的新設(shè)備進(jìn)行訓(xùn)練。而你之前的設(shè)備可以用于推理。這對(duì)你來(lái)說就是免費(fèi)的。為此，我們非常重視確保兼容性，這樣舊設(shè)備也能出色地發(fā)揮作用。
我們也投入了大量精力來(lái)不斷地重新發(fā)明新算法，這樣當(dāng)時(shí)機(jī)成熟時(shí)， Hopper 架構(gòu)會(huì)比他們購(gòu)買時(shí)好兩、三、四倍。但同時(shí)，你的基礎(chǔ)設(shè)施仍然能有效運(yùn)行。
因此，我們?cè)诟倪M(jìn)算法和框架方面的所有工作都有助于各種安裝基矗Sam 告訴我他們剛剛停用了 OpenAI 的 Volta 基礎(chǔ)設(shè)施。另外，我們也希望在云端創(chuàng)造的東西也能在邊緣設(shè)備上完美地運(yùn)行，所以這種架構(gòu)兼容性很重要。
為訓(xùn)練 LLM 設(shè)計(jì)新架構(gòu)讓我們受益，我們也在思考如何在某一天創(chuàng)造出優(yōu)秀的推理架構(gòu)。
構(gòu)建 AI 基礎(chǔ)設(shè)施
黃仁勛：如何構(gòu)建優(yōu)秀的推理模型架構(gòu)，以便在將來(lái)某一天實(shí)現(xiàn)高效的推理能力。
我們一直在思考如何設(shè)計(jì)迭代型推理模型，以及如何創(chuàng)建具有交互體驗(yàn)的推理模型。對(duì)于個(gè)人智能體，你肯定不希望它在回應(yīng)你之前需要長(zhǎng)時(shí)間思考，而是希望它能夠快速與你互動(dòng)。
因此，我們?cè)O(shè)計(jì)了 NVLINK，這樣一來(lái)，當(dāng)訓(xùn)練完成后，這些系統(tǒng)在推理性能上也表現(xiàn)得非常出色。
我們的目標(biāo)是優(yōu)化首個(gè) token 的響應(yīng)時(shí)間，實(shí)際上這是非常難以實(shí)現(xiàn)的。因?yàn)榈谝粋�(gè) token 需要大量帶寬， 而且如果你的上下文也很豐富，那么你就需要大量的浮點(diǎn)運(yùn)算（FLOPS）。因此，為了實(shí)現(xiàn)幾毫秒的響應(yīng)時(shí)間，你需要無(wú)限的帶寬和無(wú)限的 FLOPS。這樣的架構(gòu)真的很難實(shí)現(xiàn)，我們?yōu)榇税l(fā)明了 Grace Blackwell NVLink 。
Gerstner：早些時(shí)候我和 Andy Jassy 共進(jìn)晚餐，Andy 說 NVIDIA 是非常重要的合作伙伴，未來(lái)也是，世界依賴于 NVIDIA。
所以，當(dāng)你考慮到正在建造的定制化 ASIC，可能是 Meta 的推理加速器，或者亞馬遜的 Trainium，還有谷歌的 TPUs，考慮到現(xiàn)今的供應(yīng)短缺，這些情況是否改變了這種動(dòng)態(tài)？
黃仁勛：我們正試圖做不同的事情。正如你所知，NVIDIA 正嘗試為這個(gè)新的世界 機(jī)器學(xué)習(xí)世界、生成式 AI 世界、智能體世界 構(gòu)建一個(gè)計(jì)算平臺(tái)。
在經(jīng)歷了 60 年的計(jì)算技術(shù)發(fā)展之后，我們徹底改革了整個(gè)計(jì)算堆棧，從編程到機(jī)器學(xué)習(xí)軟件編寫方式，從 CPU 到 GPU 的軟件處理方式，從傳統(tǒng)軟件到人工智能的應(yīng)用轉(zhuǎn)變，從軟件工具到人工智能的轉(zhuǎn)變。因此，計(jì)算堆棧和技術(shù)堆棧的每一個(gè)方面都已經(jīng)發(fā)生了變化。
我們想要?jiǎng)?chuàng)建的是一個(gè)無(wú)處不在的計(jì)算平臺(tái)，這實(shí)際上是我們工作的復(fù)雜性所在。
如果你考慮我們所做的事情，我們正在構(gòu)建一個(gè)完整的 AI 基礎(chǔ)設(shè)施，并將其視為一臺(tái)計(jì)算機(jī)。
我曾經(jīng)說過，數(shù)據(jù)中心現(xiàn)在是計(jì)算的單位。當(dāng)我想到一臺(tái)計(jì)算機(jī)時(shí)，我不只是想到那個(gè)芯片，我想到的是整體，包括軟件和內(nèi)部的所有機(jī)械設(shè)備，這是我的計(jì)算機(jī)。我們每年都在嘗試構(gòu)建一臺(tái)全新的計(jì)算機(jī)，這是之前從未有人做過的事情。我們每年都能交付兩到三倍的性能提升，每年將成本降低兩到三倍，每年將能效提高兩到三倍。
因此，我們要求我們的客戶不要一次性購(gòu)買所有設(shè)備，而是每年購(gòu)買一點(diǎn)。這樣做的原因是，我們希望他們能夠?qū)⒊杀酒骄謹(jǐn)偟轿磥?lái)。所有這些都是架構(gòu)兼容的。
Gerstner：是什么促使你每年都這樣做
黃仁勛：整個(gè)電子生態(tài)系統(tǒng)如何致力于與我們合作，最終構(gòu)建一個(gè)集成到各種不同生態(tài)系統(tǒng)中的計(jì)算機(jī)方塊，并且協(xié)調(diào)工作非常流暢。
顯然，這涉及 API、方法論、商業(yè)流程和設(shè)計(jì)規(guī)則。
我們發(fā)明了龐大的計(jì)算基礎(chǔ)設(shè)施，它被整合到了每一個(gè)地方，可以通過 Dell 或 HP 銷售，也可以在云端托管，甚至應(yīng)用于邊緣計(jì)算，人們?cè)跈C(jī)器人系統(tǒng)中使用它，包括人形機(jī)器人和自動(dòng)駕駛汽車，所有這些都是架構(gòu)兼容的。
至于我們公司，我們不是為了從別人那里奪取市場(chǎng)份額，而是為了創(chuàng)造市常如果你看看我們公司的介紹，你會(huì)發(fā)現(xiàn)我們從不談?wù)撌袌?chǎng)份額，我們討論的全是如何解決下一個(gè)問題，如何做得更好，如何加快從一年縮短到一個(gè)月的速度。我們考慮所有這些不同的事情，但我們非常清楚我們的使命是非常單一的，唯一的問題是這個(gè)使命是否必要。所有偉大的公司都應(yīng)該具有這樣的問題：你在做什么，它是否必要，它是否有價(jià)值，它是否有影響，它是否幫助了人們。
作為一位開發(fā)者，如果你是一個(gè) AI 初創(chuàng)公司，正在決定如何成立公司，你唯一不需要做的選擇是支持哪一種 ASIC。如果你支持 CUDA，你可以走向全世界，以后也可以隨時(shí)改變主意。我們是進(jìn)入 AI 世界的入口，一旦你決定加入我們的平臺(tái)，其他的決定可以推遲，你總是可以稍后自己構(gòu)建 ASIC，我們對(duì)此并不反感。
我們與各大云服務(wù)提供商（例如 Google Cloud Platform、Azure）合作時(shí)，我們會(huì)提前幾年向他們展示我們的路線圖，盡管他們不會(huì)向我們展示他們的 ASIC 路線圖，這也不會(huì)讓我們感到被冒犯。我們的路線圖在 GTC 上是透明的。即使合作伙伴正在構(gòu)建自己的 ASIC，我們也沒有任何問題。
Gerstner：你最近說過人們對(duì) Blackwell 的需求簡(jiǎn)直瘋狂。你說你工作中最困難的部分之一是在計(jì)算資源短缺的世界中向人們說「不」�；叵� 2023 年初，那時(shí)對(duì) Nvidia 全年的預(yù)測(cè)是 260 億美元的收入，但實(shí)際上你們做到了 600 億美元，是吧？
那是在 2022 年 11 月，有人告訴我如果你無(wú)法算出投資我們公司的利潤(rùn)，那就買 Nvidia 股票吧，因?yàn)槿澜绲娜硕荚谠噲D獲取 Nvidia 芯片來(lái)構(gòu)建將改變世界的應(yīng)用程序。當(dāng)然，ChatGPT 的出現(xiàn)標(biāo)志著新紀(jì)元的到來(lái)。
你曾用非常簡(jiǎn)單的英語(yǔ)說，Blackwell 的需求是瘋狂的，而且將來(lái)也會(huì)這樣，盡管未來(lái)是未知且無(wú)法預(yù)測(cè)的。
黃仁勛：談?wù)撐磥?lái)最好的方式是從基本原理出發(fā)進(jìn)行推理。那么問題來(lái)了，我們正在做的事情的基本原理是什么？
首先，我們?cè)谧鍪裁矗课覀冋谧龅牡谝患率侵匦露x計(jì)算，未來(lái)的計(jì)算方式將高度依賴機(jī)器學(xué)習(xí)。
現(xiàn)在幾乎每一個(gè)應(yīng)用程序，比如 Word、Excel、PowerPoint、Photoshop，它們都是手工設(shè)計(jì)的。我向你保證，未來(lái)它們將高度依賴機(jī)器學(xué)習(xí)，而且還會(huì)有智能體幫助你使用它們。
所以，我們現(xiàn)在可以肯定地說，我們已經(jīng)重新定義了計(jì)算，整個(gè)計(jì)算技術(shù)堆棧正在被重新定義。此外，軟件將會(huì)有所不同，軟件能寫的內(nèi)容將會(huì)有所不同，我們使用軟件的方式也會(huì)有所不同，所以這些都是基本事實(shí)了。
黃仁勛：OpenAI 是我們這個(gè)時(shí)代最具影響力的公司之一
Gerstner：眾所周知，OpenAI 最近籌集了 65 億美元，估值約為 1500 億美元。
據(jù)報(bào)道，他們今年的收入或運(yùn)營(yíng)收入約為 50 億美元，明年可能達(dá)到 100 億美元。如果你看看 OpenAI 現(xiàn)在的業(yè)務(wù)，其收入大約是谷歌首次公開募股時(shí)的兩倍。他們大約有 2.5 億的周平均用戶數(shù)，我們估計(jì)這是谷歌 IPO 時(shí)的兩倍。
請(qǐng)和我們談?wù)?OpenAI 作為合作伙伴對(duì)你的重要性，以及 OpenAI 作為推動(dòng)公眾對(duì) AI 的認(rèn)識(shí)和使用的重要作用。
黃仁勛：OpenAI 確實(shí)是我們這個(gè)時(shí)代最具影響力的公司之一，一家純粹追求通用人工智能（AGI）愿景的 AI 公司。不管它的定義是什么，我?guī)缀跽J(rèn)為定義本身并不完全重要。在它達(dá)到任何人對(duì) AGI 的定義之前，我們將會(huì)把它用到極致。
你所要做的就是去和數(shù)字生物學(xué)家、氣候技術(shù)研究者、材料研究者、物理科學(xué)家、天體物理學(xué)家、量子化學(xué)家交談，去問視頻游戲設(shè)計(jì)師、制造工程師、機(jī)器人學(xué)家他們的感受。
無(wú)論你想選擇哪個(gè)行業(yè)，深入其中和那些重要的人交談，問他們?nèi)斯ぶ悄苁欠褚呀?jīng)革新了他們的工作方式。然后你收集這些數(shù)據(jù)點(diǎn)，你對(duì)此持有多大的懷疑態(tài)度。因?yàn)樗麄冇懻摰牟皇侨斯ぶ悄茏鳛橐粋�(gè)概念上的好處，他們是在討論現(xiàn)在就在使用的 AI 所帶來(lái)的好處。
現(xiàn)在，農(nóng)業(yè)技術(shù)、材料技術(shù)、氣候技術(shù)等等正在進(jìn)步，AI 正在幫助研究者推進(jìn)工作�，F(xiàn)在，正如我們所說，每一個(gè)行業(yè)、每一家公司、每一所高校，將以某種方式改變業(yè)務(wù)。
這種改變今天就發(fā)生了。所以，我認(rèn)為 ChatGPT 的覺醒引發(fā)了這一切，這完全令人難以置信。我喜歡他們的速度和他們推動(dòng)這一領(lǐng)域發(fā)展的獨(dú)特目標(biāo)，這真的意義重大。
AI 模型的未來(lái)
Gerstner：他們?cè)诮?jīng)濟(jì)引擎中構(gòu)建，以資助下一個(gè)模型前沿。我認(rèn)為硅谷日益達(dá)成的共識(shí)是整個(gè)模型層的商品化正在使得很多人能夠以非常低的成本構(gòu)建模型。所以早期，我們有很多模型公司。很多人質(zhì)疑這些公司是否能構(gòu)建在經(jīng)濟(jì)引擎上的逃逸速度，繼續(xù)資助下一代模型。我個(gè)人認(rèn)為，這就是為什么你看到了整合。顯然，OpenAI 已經(jīng)達(dá)到了那種逃逸速度，他們可以資助自己的未來(lái)。對(duì)我來(lái)說不確定的是，其他公司是否也能做到。
黃仁勛：首先，模型和 AI 之間存在根本的不同。模型是 AI 的一個(gè)基本成分。它是必要的，但不是充分的。比如用于自動(dòng)駕駛汽車的人工智能與用于人形機(jī)器人的人工智能相關(guān)，但并不是一樣的。
因此，你必須了解分類�，F(xiàn)在你只需將模型一詞替換為 GPU。
有些公司非常擅長(zhǎng)制造 GPU，但卻不知道如何成為一家加速計(jì)算公司，現(xiàn)在不止一家公司在制造 GPU，但它們并不是加速計(jì)算公司。盡管有些加速器可用于應(yīng)用加速，但這與加速計(jì)算公司是不同的。
你必須決定你想成立什么樣的公司，在不同領(lǐng)域可能都有機(jī)會(huì)。但就像創(chuàng)建公司一樣，你必須留意生態(tài)系統(tǒng)的變化以及隨著時(shí)間的推移哪些東西會(huì)被商品化，認(rèn)識(shí)到什么是功能，什么是產(chǎn)品，什么是公司。你可以用很多不同的方式來(lái)思考這個(gè)問題。
黃仁勛談 xAI：別人用 4 年完成的事情，埃隆用了 19 天
Gerstner：當(dāng)然，有一家新入局者既有錢、又有智慧、還有野心，那就是 xAI。你認(rèn)為他們有能力建立超級(jí)集群?jiǎn)幔?/p>
黃仁勛：答案是肯定的。首先是對(duì)他們成就的認(rèn)可。從概念到建成一個(gè)準(zhǔn)備好安裝 Nvidia 設(shè)備的數(shù)據(jù)中心，再到通電，連接好一切并進(jìn)行首次訓(xùn)練，這一切都值得贊揚(yáng)。
在如此短的時(shí)間內(nèi)建造一個(gè)巨大的工廠，包括液冷、供電、獲得許可，這簡(jiǎn)直像超人一樣。據(jù)我所知，世界上只有一個(gè)人能做到這一點(diǎn)。埃隆在理解大型系統(tǒng)的工程和建設(shè)以及資源整合方面是獨(dú)一無(wú)二的，這簡(jiǎn)直令人難以置信。當(dāng)然，他的工程團(tuán)隊(duì)也是非凡的，軟件團(tuán)隊(duì)、網(wǎng)絡(luò)團(tuán)隊(duì)和基礎(chǔ)設(shè)施團(tuán)隊(duì)也很棒。
從規(guī)劃開始，與我們的工程團(tuán)隊(duì)、網(wǎng)絡(luò)團(tuán)隊(duì)、基礎(chǔ)設(shè)施計(jì)算團(tuán)隊(duì)、軟件團(tuán)隊(duì)一起，所有的準(zhǔn)備工作都提前完成。然后所有的基礎(chǔ)設(shè)施、后勤以及在那一天進(jìn)場(chǎng)的所有技術(shù)和設(shè)備、視頻基礎(chǔ)設(shè)施和計(jì)算基礎(chǔ)設(shè)施等等，都在 19 天內(nèi)完成，這實(shí)在是不可思議。
所以我認(rèn)為埃隆所取得的成就是獨(dú)一無(wú)二、前所未有的。十萬(wàn)個(gè) GPU，這簡(jiǎn)直是地球上搭建最快的超級(jí)計(jì)算機(jī)集群。通常來(lái)說，你要建造的超級(jí)計(jì)算機(jī)集群需要三年時(shí)間來(lái)規(guī)劃，然后交付設(shè)備、安裝和運(yùn)行還需要一年時(shí)間。別人要用 4 年完成的事情，埃隆只用了 19 天。
Brad Gerstner：那我們?cè)僬務(wù)?OpenAI 的 o1。Noam Brown 是該模型的核心貢獻(xiàn)者之一，他在 Meta 工作時(shí)曾有 Libratus、Pluribus 和 Cicero 等成果。Inference-Time 推理（Reasoning）作為擴(kuò)展智能的全新載體，與僅僅構(gòu)建更大的模型截然不同，這有多重要？
黃仁勛：這是一件大事。我認(rèn)為，很多智能無(wú)法先驗(yàn)地完成，甚至很多計(jì)算都無(wú)法重新排序。無(wú)序執(zhí)行可以優(yōu)先完成，很多事情只能在運(yùn)行時(shí)完成。
無(wú)論你是從計(jì)算機(jī)科學(xué)的角度還是從智能的角度來(lái)思考，其中大多數(shù)的內(nèi)容都需要考慮上下文以及正在尋找的答案類型。有時(shí)，一個(gè)快速的答案就足夠了。這取決于答案的結(jié)果，取決于答案的使用屬性。所以，有些答案需要花一個(gè)晚上，有些答案需要一周的時(shí)間。
所以我完全可以想象我給人工智能發(fā)送一個(gè)提示，然后告訴它，考慮一個(gè)晚上，不要馬上告訴我，然后明天再回來(lái)告訴我。我認(rèn)為從產(chǎn)品的角度來(lái)看，智能的質(zhì)量和細(xì)分會(huì)產(chǎn)生一擊即中的版本，當(dāng)然也會(huì)有一些需要五分鐘的版本。
Brad Gerstner：「智能層」會(huì)將這些問題導(dǎo)向正確的模型，對(duì)癥下藥。使用高級(jí)語(yǔ)音模式和 o1 預(yù)覽版，我輔導(dǎo)了兒子的 AP 歷史考試，就像有世界上最好的歷史老師坐在旁邊思考這些問題。又回到了這個(gè)問題上，你知道，你今天 40% 以上的收入都是推理得來(lái)的，且推理又得益于推理鏈。未來(lái)還會(huì)帶來(lái)十億倍的增長(zhǎng)，是這樣嗎
黃仁勛：沒錯(cuò)，這是大多數(shù)人還沒有完全內(nèi)化的部分。這就是我們說的工業(yè)革命。
Brad Gerstner：所以每個(gè)人都非常關(guān)注英偉達(dá)，在訓(xùn)練更大的模型。想問：是不是如果收入比例變?yōu)?50:50，你未來(lái)會(huì)做更多的推理呢？訓(xùn)練永遠(yuǎn)是重要的，但推理的增長(zhǎng)會(huì)比我們希望的多得多。
黃仁勛：是的，我們希望是這樣。
Brad Gerstner：你們是否已經(jīng)使用了推理鏈等工具來(lái)改善自己的業(yè)務(wù)？
黃仁勛：是的，我們今天的網(wǎng)絡(luò)安全系統(tǒng)離不開我們自己的智能體。智能體幫助設(shè)計(jì)芯片，我們有 AI 芯片設(shè)計(jì)師、AI 軟件工程師、AI 驗(yàn)證工程師。我們?cè)趦?nèi)部組建了這些團(tuán)隊(duì)，我們有能力而且愿意利用這個(gè)機(jī)會(huì)探索技術(shù)。
AI 在業(yè)務(wù)增長(zhǎng)和提升生產(chǎn)力方面的作用
Brad Gerstner：英偉達(dá)很獨(dú)特。每個(gè)員工大約 400 萬(wàn)的收入，每個(gè)員工有大約 200 萬(wàn)的利潤(rùn)或自由現(xiàn)金流。你建立了一種效率文化，而這種文化真正釋放了創(chuàng)造力、創(chuàng)新、所有權(quán)和責(zé)任。你打破了職能管理的模式。每個(gè)人都喜歡談?wù)撃闼械闹苯酉聦�。AI 的杠桿作用將繼續(xù)讓你在高效的同時(shí)保持超級(jí)創(chuàng)造力。
黃仁勛：毫無(wú)疑問。英偉達(dá)現(xiàn)在有 3.2 萬(wàn)名員工，我希望英偉達(dá)某天將成為一家擁有 5 萬(wàn)名員工的公司，同時(shí)會(huì)有 1 億個(gè) AI 輔助我們。我們將有一個(gè) AI 擅長(zhǎng)事務(wù)的目錄。我們的收件箱里面也會(huì)充滿這些擅長(zhǎng)不同事務(wù)的 AI 發(fā)來(lái)的信息。AI 也會(huì)招募其它 AI 來(lái)解決問題，它們還會(huì)在 Slack 頻道里面交流。
當(dāng)然，它們也會(huì)與人類交流。可以說，我們就是一個(gè)龐大的員工群體，其中一些是數(shù)字化的 AI，另一些則是生物體的人類。我還希望某天其中一些會(huì)是電子化的機(jī)器人。
Brad Gerstner：人們常誤解 AI 會(huì)替代人類的工作。但你公司的員工數(shù)量還在增長(zhǎng)，并且你會(huì)用 5 萬(wàn)人完成原本 15 萬(wàn)人才能完成的工作。
黃仁勛：AI 并不會(huì)接替每一項(xiàng)工作。AI 將極大地影響人們看待工作的方式。讓我們承認(rèn)這一點(diǎn)，AI 有潛力做很棒的好事，它也有可能造成傷害。
被忽視的部分是，當(dāng)公司使用 AI 變得更有效率時(shí)，就可能帶來(lái)更好的收益或更好的增長(zhǎng)。當(dāng)這種情況發(fā)生時(shí)，CEO 的下一封電子郵件很可能就不是裁員。
Brad Gerstner：因?yàn)闃I(yè)務(wù)在增長(zhǎng)，需要更多人。
黃仁勛：這是因?yàn)槲覀冇懈嗟南敕ǹ梢蕴剿�，我們需要人在自�?dòng)化之前進(jìn)行思考。當(dāng)然，AI 也可以幫助我們思考，但也仍然需要我們?nèi)ヅ宄鉀Q什么問題。人類可做的事情有很多。因此，隨著生產(chǎn)力的提高，我們將雇傭更多的人。人們常忘記這一點(diǎn)。回顧過去，顯然我們今天比 200 年前有更多的想法。因此 GDP 更高，就業(yè)人數(shù)更多了，即便我們一直在大量進(jìn)行自動(dòng)化。
Brad Gerstner：有調(diào)查說，過去十年是生產(chǎn)力增長(zhǎng)最慢的十年。人們還在辯論其原因，但如果世界就像你剛才所描述的那樣，我們將利用和制造智能，那么我們的生產(chǎn)力是正處于急劇擴(kuò)張的邊緣嗎？
黃仁勛：我們希望如此。當(dāng)然，你知道，我們生活在這個(gè)世界上，所以我們有直接的證據(jù)�，F(xiàn)在，一個(gè)獨(dú)立的研究人員就能夠使用 AI 以難以想象的非凡規(guī)模探索科學(xué)。這就是生產(chǎn)力。
另外，我們正在設(shè)計(jì)非常驚人的芯片，其復(fù)雜性呈指數(shù)級(jí)增長(zhǎng)，而公司的員工基礎(chǔ)并不是衡量生產(chǎn)力的標(biāo)準(zhǔn)。我們開發(fā)的軟件越來(lái)越好，因?yàn)槲覀冊(cè)谑褂?AI 和超級(jí)計(jì)算機(jī)來(lái)幫助我們。因此，很多行業(yè)都有這樣的增長(zhǎng)。
毫無(wú)疑問，智能是世界上已知的最有價(jià)值的商品�，F(xiàn)在我們要大規(guī)模生產(chǎn)它。我們將被 AI 包圍。如果它們做得非常好，比你好得多，會(huì)發(fā)生什么？但反思一下，這就是我現(xiàn)在的生活。我有 60 個(gè)向我報(bào)告的人，他們?cè)诟髯灶I(lǐng)域都比我優(yōu)秀得多。我與他們互動(dòng)沒有任何問題。對(duì) AI 也是如此。所以我認(rèn)為人們將會(huì)學(xué)到的是：他們都將成為 CEO，成為 AI 智能體的首席執(zhí)行官。
確保安全的 AI 開發(fā)
Brad Gerstner：我們來(lái)談?wù)?AI 的安全和監(jiān)管吧。我們是在正確的道路上嗎？你認(rèn)為我們?cè)撊绾未_保 AI 是有利的，而不會(huì)導(dǎo)致一個(gè)反烏托邦的世界。
黃仁勛：關(guān)于安全的對(duì)話非常重要和有益。AI 是一個(gè)巨大的神經(jīng)元網(wǎng)絡(luò)，是一個(gè)很抽象的觀念。人工智能和大型語(yǔ)言模型確實(shí)相關(guān)，但并不一樣�，F(xiàn)在這方面有很多出色的工作。
一、開源模型，這樣一來(lái)，整個(gè)研究社區(qū)、每個(gè)行業(yè)和每個(gè)公司都可以參與 AI，將這種能力用在自己的應(yīng)用中。
二，人們?cè)诎l(fā)明 AI 來(lái)保證 AI 安全，人們低估了這方面的技術(shù)。比如用 AI 來(lái)整理數(shù)據(jù)、對(duì)齊 AI、合成數(shù)據(jù)來(lái)擴(kuò)展 AI 知識(shí)、減少幻覺、監(jiān)控其它 AI、創(chuàng)建安全護(hù)欄等等。整個(gè)行業(yè)都在為之努力，包括方法論研究、紅隊(duì)研究、工作流程、模型卡、評(píng)估系統(tǒng)、基準(zhǔn)測(cè)試系統(tǒng)…… 人們正在以非常快的速度構(gòu)建各種工具。但這些努力都被低估了，沒有得到應(yīng)有的贊譽(yù)。
這是這些智能體、不同功能構(gòu)建的理由。我們?cè)俅位氐搅说谝恍栽怼?/p>
Brad Gerstner：我們必須回到開源的話題上。你們發(fā)布了規(guī)參數(shù)很大、非常重要且可用的開源模型。
黃仁勛：最近是 Nemotron。
Brad Gerstner：很明顯的是，Meta 對(duì)于業(yè)界有重要的開源貢獻(xiàn)。推特上都是大模型開源 vs 閉源的討論。如何保證你們自己的開源大模型一直處于前沿水平？第二個(gè)問題，在商業(yè)項(xiàng)目中，既有開源大模型，也有閉源模型的情況，是否會(huì)是未來(lái)合理的生態(tài)，這樣安全嗎？
黃仁勛：開源 vs 閉源，和安全有關(guān)，但不僅僅是安全的問題。舉個(gè)例子，用閉源模型顯然是完全沒問題的，這是保持創(chuàng)新所必須的。我全心全意支持這一點(diǎn)。不是封閉或開源，應(yīng)該是封閉和開源。開源是促進(jìn)很多行業(yè)的必需品，現(xiàn)在如果沒有開源，那么多科學(xué)領(lǐng)域如何發(fā)展？它們都從 AI 的發(fā)展中受益了。
因?yàn)樗麄儽仨氶_發(fā)自己特定領(lǐng)域的人工智能，因此必須使用開源模型來(lái)開發(fā)特定領(lǐng)域人工智能。它們是相關(guān)的，但又不是一回事。只是因?yàn)槟阌幸粋�(gè)開源模型并不意味著你就有了人工智能，所以你必須有那個(gè)開源模型來(lái)創(chuàng)建人工智能。
所以，金融服務(wù)、醫(yī)療保艦運(yùn)輸?shù)纫幌盗行袠I(yè)現(xiàn)在因?yàn)殚_源而活躍。這令人難以置信。
Brad Gerstner：你們的開源大模型需求量很大嗎？
黃仁勛：首先不得不提的是行業(yè)老大 Llama，扎克伯格他們的成果太棒了，是難以估量的，很大程度上促進(jìn)了每一個(gè)行業(yè)、科技領(lǐng)域。
我們把 Nemotron 定位于生成合成數(shù)據(jù)。直觀的想法是，一個(gè)人工智能會(huì)在那里循環(huán)生成數(shù)據(jù)，自我學(xué)習(xí)，這聽起來(lái)很脆弱，你可以無(wú)限循環(huán)多少次，這個(gè)循環(huán)值得懷疑。但這有點(diǎn)像我腦海中的一個(gè)畫面 就像你把一個(gè)超級(jí)聰明的人關(guān)進(jìn)一個(gè)舒適的房間，關(guān)上門，大約一個(gè)月，你知道出來(lái)的可能不是一個(gè)更聰明的人。
< style="background-color:rgb(255, 255, 255);margin-bottom:1.8em;margin-left:0px;margin-right:0px;margin-top:0.63em;padding:0px;text-align:left;text-indent:0px">但理論上你可以讓兩三個(gè)人坐在一起，我們有不同的人工智能，我們有不同的知識(shí)分布，我們可以互相提問回答，這樣每個(gè)人都會(huì)變得更加聰明。
所以，你可以讓人工智能模型進(jìn)行交流、互動(dòng)，來(lái)回辯論，強(qiáng)化學(xué)習(xí)并合成數(shù)據(jù)生成，這種想法在直覺上是有道理的。我們的模型 Nemotron-4 340B 是世界上最好的獎(jiǎng)勵(lì)系統(tǒng)模型。
它是最好的批評(píng)家，這是一個(gè)增強(qiáng)其他所有模型的絕佳模型。所以不管別人的模型有多棒，我都建議使用 Nemotron-4 340B 來(lái)增強(qiáng)和改進(jìn)它。我們已經(jīng)看到 Llama 變得更好，其他所有模型也都變得更好。
Brad Gerstner：我們的采訪快要結(jié)束了。
黃仁勛：謝天謝地（笑）。
Brad Gerstner：作為 2016 年交付了 DGX-1 的人，這真是一段不可思議的旅程，你們走過的旅程既不可思議又令人難以置信。你們存活了下來(lái) 從 2016 年的 DGX-1 到 2022 年技術(shù)突破的出現(xiàn)。
所以有一個(gè)問題我也經(jīng)常被問到，你能夠堅(jiān)持今天所做的事情多久？60 份報(bào)告都在說，英偉達(dá)無(wú)處不在，你們?cè)谝I(lǐng)這場(chǎng)變革。你覺得現(xiàn)在很享受嗎？有沒有想要做的其他事？
黃仁勛：一個(gè)半小時(shí)的采訪后，你就想問這個(gè)？（笑）
回答是：這是一段很棒的經(jīng)歷，我無(wú)法想象還能做什么更好的事了。
我認(rèn)為，我認(rèn)為不應(yīng)該給人留下這樣的印象，即我們的工作總是充滿樂趣。我的工作并不總是充滿樂趣，我也不指望它總是充滿樂趣，我曾經(jīng)期望它總是充滿樂趣。我認(rèn)為這一直很重要，是的。
我不會(huì)太認(rèn)真對(duì)待自己，我非常認(rèn)真地對(duì)待工作，我非常認(rèn)真地對(duì)待我們的責(zé)任，我非常認(rèn)真地對(duì)待我們的貢獻(xiàn)和我們的時(shí)機(jī)。
這總是充滿樂趣嗎？不是的。但我是不是一直深愛著這份事業(yè)？是的。就像所有的事情一樣，無(wú)論是家人、朋友、孩子，總是充滿樂趣嗎？不是的。但我們總是深深地愛著他們。
所以，我能做多久？真正的問題是，我能堅(jiān)持多久。這唯一重要的信息是，這個(gè)問題只能用我將如何繼續(xù)學(xué)習(xí)來(lái)回答。不過可以確定的是，我今天更加樂觀了。我這么說不僅僅是因?yàn)槲覀兘裉斓闹黝}，我對(duì)自己的能力更加樂觀，保持關(guān)注并繼續(xù)學(xué)習(xí)，因?yàn)槿斯ぶ悄堋?/p>
是的，我在使用它，我不知道你們是怎樣的，我每天都在使用 AI。我的每一項(xiàng)研究都涉及到人工智能，所有的問題，即使我知道答案，我也會(huì)用人工智能驗(yàn)算一下。令人驚訝的是，我接下來(lái)追問的兩三個(gè)問題揭示了一些我不知道的東西。你只需要選擇話題。
我認(rèn)為人工智能作為導(dǎo)師、作為助手、也能作為頭腦風(fēng)暴的伙伴，仔細(xì)檢查我的工作。這是完全革命性的，我是一名信息工作者，我的輸出是信息，所以我認(rèn)為，這一切對(duì)社會(huì)的貢獻(xiàn)都是非凡的。這樣我就能保持跟進(jìn)，我就可以繼續(xù)做出貢獻(xiàn)。
我知道這項(xiàng)工作對(duì)我來(lái)說非常重要，我想繼續(xù)從事下去。我的生活質(zhì)量令人難以置信。
Brad Gerstner：我無(wú)法想象你和我已經(jīng)在這個(gè)領(lǐng)域工作了幾十年，我無(wú)法想象錯(cuò)過這一段經(jīng)歷。這是我們職業(yè)生涯中最重要的時(shí)刻，我們非常感謝這種合作關(guān)系。
黃仁勛：不要錯(cuò)過未來(lái) 10 年。
Brad Gerstner：你會(huì)讓 AI 變得更聰明。謝謝你的講述，真的非常享受。
黃仁勛：非常感謝 Brad，謝謝 Clark。
參考內(nèi)容：
https://www.youtube.com/watch?v=bUrCR4jQQg8
