劃重點(diǎn)
黃仁勛認(rèn)為,傳統(tǒng)面試過(guò)程并不總是判斷一個(gè)人是否適合的好方法,他更相信背景調(diào)查。
在解釋英偉達(dá)為何放棄Arm而選擇收購(gòu)Mellanox時(shí),黃仁勛稱文化融合充滿了挑戰(zhàn)。
黃仁勛始終期待計(jì)算機(jī)能夠展現(xiàn)出智能行為,并堅(jiān)信軟件將讓算法以看似智能的方式解決問(wèn)題。
為了確保每一代產(chǎn)品都能實(shí)現(xiàn)性能飛躍,英偉達(dá)為每個(gè)系統(tǒng)設(shè)計(jì)了六到七款全新芯片,并通過(guò)協(xié)同設(shè)計(jì)的方式,對(duì)整個(gè)系統(tǒng)進(jìn)行徹底的革新。
黃仁勛自曝每天都使用ChatGPT,并相信其推理能力將越來(lái)越強(qiáng),而答案的質(zhì)量卻會(huì)顯著提升。
黃仁勛的許多演講不僅篇幅冗長(zhǎng),而且內(nèi)容極其專業(yè)精深,但他的表現(xiàn)通常很棒。對(duì)此,他坦言自己無(wú)暇排練,只能硬著頭皮上。
在Arm攜手美國(guó)全國(guó)公共媒體(NPM)精心打造的定制化播客系列《Tech Unheard》的首秀中,英偉達(dá)首席執(zhí)行官黃仁勛作為特邀嘉賓接受了Arm首席執(zhí)行官雷內(nèi)哈斯(Rene Haas)的獨(dú)家專訪。哈斯對(duì)黃仁勛贊譽(yù)有加,認(rèn)為他是一位名副其實(shí)的遠(yuǎn)見(jiàn)卓識(shí)者。
訪談期間,哈斯與黃仁勛深入交流了后者的個(gè)人創(chuàng)業(yè)歷程、人工智能的未來(lái)前景,以及英偉達(dá)如何通過(guò)其獨(dú)特的持續(xù)創(chuàng)新精神與勃勃雄心,不斷推動(dòng)技術(shù)邊界的拓展。此外,黃仁勛還闡述了如何重塑英偉達(dá)使其聚焦于系統(tǒng)芯片領(lǐng)域,并引領(lǐng)人工智能的工業(yè)革命的幕后故事,同時(shí)他還表達(dá)了對(duì)創(chuàng)新步伐能夠進(jìn)一步加速的渴望。
《Tech Unheard》播客系列共計(jì)12集,哈斯將邀請(qǐng)行業(yè)領(lǐng)袖與政策制定者進(jìn)行一對(duì)一的深度對(duì)話,分享他們的獨(dú)到見(jiàn)解、精彩故事以及對(duì)未來(lái)的展望。該系列自美國(guó)當(dāng)?shù)貢r(shí)間2024年10月9日起,每月播放一集,內(nèi)容涵蓋從人工智能的未來(lái)展望到構(gòu)建當(dāng)今頂尖技術(shù)與運(yùn)營(yíng)企業(yè)所需的思維模式。
以下為哈斯與黃仁勛對(duì)話全文:
01 如何招募合適的員工和高管?
哈斯:英偉達(dá)如今已發(fā)展得如此龐大,關(guān)于你們的招聘我一直很好奇的是,你們是如何在眾多候選人中識(shí)別出那些將在英偉達(dá)取得成功的人呢?畢竟,你們的公司文化獨(dú)特,行事風(fēng)格也別具一格。
黃仁勛:說(shuō)實(shí)話,我們?cè)谶@方面并不總是能做得完美,這確實(shí)需要一些運(yùn)氣。我認(rèn)為傳統(tǒng)的面試過(guò)程并不總是判斷一個(gè)人是否適合的好方法。畢竟,每個(gè)人都可以通過(guò)觀看YouTube上的面試技巧視頻來(lái)準(zhǔn)備一場(chǎng)看似建設(shè)性的對(duì)話。當(dāng)然,技術(shù)問(wèn)題是可以提前準(zhǔn)備的,甚至有人分享過(guò)英偉達(dá)的技術(shù)面試題。我們盡量讓面試顯得既嚴(yán)格又具有挑戰(zhàn)性,但說(shuō)實(shí)話,這仍然很難準(zhǔn)確評(píng)估一個(gè)人。因此,我的方法總是回到背景調(diào)查,我會(huì)去了解他們過(guò)去的工作經(jīng)歷和表現(xiàn)。
我之所以這么做,是因?yàn)橐粋(gè)人可以制造一個(gè)好的瞬間,但很難長(zhǎng)期隱藏自己的過(guò)去和真實(shí)能力。所以我認(rèn)為背景調(diào)查是一個(gè)很好的方法。我還會(huì)問(wèn)一些深入的問(wèn)題,然后觀察他們的推理過(guò)程和思維方式。但我認(rèn)為,英偉達(dá)之所以對(duì)很多人來(lái)說(shuō)都很成功,一方面是因?yàn)槲覀冋业搅藘?yōu)秀的人,另一方面更在于我們創(chuàng)造了條件,讓這些人在這里能夠超越自我,發(fā)揮出比他們自認(rèn)為能做到的更好水平。這很大程度上取決于我們是否透明地解釋了英偉達(dá)的愿景、戰(zhàn)略以及我們的工作方式。我一直很重視這件事,并為此花了很多時(shí)間。我們公司一直以透明地解釋我們所面臨的挑戰(zhàn)、機(jī)遇以及我們正在執(zhí)行的戰(zhàn)略而聞名。
我們的離職率很低,而且,這是一個(gè)非常多元化的環(huán)境,有很多背景各異的有趣的人,我們公司的人幾乎來(lái)自世界上所有偉大的公司。在公司內(nèi)部,信息流動(dòng)得非常順暢,特別是關(guān)于公司戰(zhàn)略的信息。我一直覺(jué)得奇怪的是,有些公司存在很多信息壁壘,員工需要知道很多信息才能參與決策。當(dāng)然,人們不需要知道所有事情,但他們知道得越多,就越能夠代表公司做出明智的決策。所以我盡量保持透明,盡量讓人們擁有更多的權(quán)力和信息。
因此,我認(rèn)為英偉達(dá)是世界上最小的大型公司之一,這得益于我們員工不可思議的生產(chǎn)力。我們現(xiàn)在大約有3萬(wàn)名員工,也許現(xiàn)在稍微多一點(diǎn)。他們每天都需要做出數(shù)百個(gè)決策。如果這3萬(wàn)人在統(tǒng)計(jì)上都在朝著一個(gè)方向前進(jìn),即使他們做出的決策往往是模糊的,但都是出于公司的長(zhǎng)期利益考慮,那么這些決策很快就會(huì)累積起來(lái)產(chǎn)生巨大的正面影響。
哈斯:我一直感到驚訝的是,無(wú)論是通過(guò)精心挑選還是自然選擇,英偉達(dá)擁有那些對(duì)模糊性高度適應(yīng)的高級(jí)領(lǐng)導(dǎo)者,并且這些領(lǐng)導(dǎo)者會(huì)深入到組織的各個(gè)層級(jí),這一點(diǎn)至關(guān)重要。我想了解的是,這種情況是如何形成的?是不是隨著公司的發(fā)展,你逐漸找到了一批與你的愿景相契合的高管,從而形成了這樣的氛圍?因?yàn)樵谟ミ_(dá),很多現(xiàn)在身處高層的管理者,在我還在這里工作或他們還在這里任職時(shí),就完全接受你會(huì)四處尋找合適的人來(lái)解決問(wèn)題的做法。
黃仁勛:首先,我并沒(méi)有特意去征求他們的意見(jiàn)。因?yàn)閷?duì)于顯而易見(jiàn)的事情,你不應(yīng)該請(qǐng)求許可。英偉達(dá)從一開(kāi)始就被定位為一個(gè)全棧計(jì)算公司,我們的目標(biāo)是制造GPU、CPU和網(wǎng)絡(luò)芯片,甚至包括交換機(jī)。同時(shí),我們還要負(fù)責(zé)芯片架構(gòu)和設(shè)計(jì)、系統(tǒng)軟件的開(kāi)發(fā)、算法的創(chuàng)建,甚至是求解器的開(kāi)發(fā)。
那么,如何組織這樣一個(gè)既需要各部分協(xié)同工作,又需要分步驟構(gòu)建的整體呢?我們的解決方案是,不設(shè)立組織壁壘,而是將組織視為一個(gè)領(lǐng)導(dǎo)者可以培養(yǎng)人才、為他們創(chuàng)造成功條件、提供服務(wù)、幫助他們排除障礙的平臺(tái)。但關(guān)鍵在于,老板需要堅(jiān)守使命,這個(gè)使命要貫穿整個(gè)公司。
因此,它可以跨越系統(tǒng)、芯片、網(wǎng)絡(luò)芯片、軟件和算法等各個(gè)領(lǐng)域。通過(guò)這種組織方式,我們還實(shí)現(xiàn)了透明度,所有的壁壘都變得具有滲透性。當(dāng)組織具有滲透性時(shí),它往往會(huì)變得更好,因?yàn)闀?huì)有更多的人來(lái)幫助你批評(píng)它、證明它。所以,我喜歡這種滲透性,如果你愿意的話,也可以稱之為我們公司的開(kāi)放性。我就喜歡一切都很透明,大家共同努力讓它變得更好。這與一切都被封閉在黑暗的壁壘中截然不同。
02 為何放棄Arm選擇并購(gòu)Mellanox?
哈斯:英偉達(dá)曾差點(diǎn)收購(gòu)了Arm,但最終,你們選擇了收購(gòu)Mellanox,這不僅是一次戰(zhàn)略上令人矚目的收購(gòu),而且從執(zhí)行層面看,對(duì)于一個(gè)注重滲透性的組織來(lái)說(shuō),這次收購(gòu)似乎無(wú)縫銜接,進(jìn)行得異常順利。你是如何做到這一點(diǎn)的?我是說(shuō),并購(gòu)?fù)ǔ6己茈y,你是如何讓這次并購(gòu)如此順暢的?
黃仁勛:確實(shí),文化融合總是并購(gòu)中的一大挑戰(zhàn)。但幸運(yùn)的是,在Mellanox的管理團(tuán)隊(duì)和英偉達(dá)以色列的管理團(tuán)隊(duì)中,有多位我們的E-staff(執(zhí)行團(tuán)隊(duì))成員。我們涵蓋了架構(gòu)、研發(fā)、軟件系統(tǒng)、芯片、網(wǎng)絡(luò)和交換機(jī)等多個(gè)領(lǐng)域,現(xiàn)在還加入了NVLink交換機(jī)業(yè)務(wù)。在合并后的短時(shí)間內(nèi),Mellanox的產(chǎn)品組合迅速擴(kuò)展了四倍,并且已經(jīng)深度融入到我們業(yè)務(wù)的各個(gè)方面;仡欉@次收購(gòu),你可以看到我們的愿景是如何推動(dòng)這一切的。我們意識(shí)到,計(jì)算單元不再僅僅是像GPU這樣的外設(shè),而Arm在很大程度上幫助我們完成了向構(gòu)建SoC(系統(tǒng)級(jí)芯片)公司的轉(zhuǎn)型。你還記得SoC嗎?它基本上就是一臺(tái)完整的計(jì)算機(jī),而GPU只是其中的一部分。在SoC中,你必須自己負(fù)責(zé)整個(gè)系統(tǒng)的啟動(dòng)。因此,這促使英偉達(dá)從一家以算法為核心的公司(這實(shí)際上是GPU公司的本質(zhì))轉(zhuǎn)變?yōu)橐患艺嬲挠?jì)算公司。這是我們的首次嘗試,一開(kāi)始并不容易,但現(xiàn)在我們已經(jīng)能夠制造出令人驚嘆的SoC產(chǎn)品。
接下來(lái),我們的發(fā)展方向是構(gòu)建系統(tǒng)。DGX-1是我們的第一個(gè)系統(tǒng)級(jí)產(chǎn)品。事實(shí)上,我仍然對(duì)SHIELD情有獨(dú)鐘,那是我們的Android TV電腦,我非常喜歡它,因?yàn)樗俏覀儎?chuàng)造的第一個(gè)完整的英偉達(dá)系統(tǒng)。從SHIELD到DGX-1,我們學(xué)到了很多。直到今天,我們?nèi)匀辉诰S護(hù)SHIELD軟件的更新。
這正是英偉達(dá)向系統(tǒng)公司轉(zhuǎn)型的開(kāi)始。人們有時(shí)會(huì)問(wèn)我DGX-1是怎么來(lái)的,它如何改變了一切。其實(shí),DGX-1只是一個(gè)大型的SHIELD。SHIELD是用塑料做的,而DGX-1重達(dá)600磅(約272千克)。這種轉(zhuǎn)變對(duì)我們來(lái)說(shuō)并不是什么大問(wèn)題,因?yàn)槲覀円呀?jīng)有了制造系統(tǒng)的經(jīng)驗(yàn)。真正重要的是,我們現(xiàn)在能夠構(gòu)建完整的系統(tǒng)。當(dāng)我們收購(gòu)Mellanox時(shí),我們的主要想法是計(jì)算機(jī)將不再是單個(gè)節(jié)點(diǎn),而是整個(gè)數(shù)據(jù)中心將成為計(jì)算的單元。如果你沒(méi)有設(shè)計(jì)GPU、CPU、網(wǎng)絡(luò)接口卡(NIC)、交換機(jī)以及所有的收發(fā)器,并且無(wú)法把它們連接在一起,從無(wú)到有地啟動(dòng)整個(gè)系統(tǒng),讓一切連接起來(lái)并運(yùn)行起來(lái),把工作負(fù)載分布到各個(gè)部分,那么你就不會(huì)真正理解構(gòu)建這些人工智能超級(jí)集群以及這一轉(zhuǎn)型的意義所在。
這個(gè)愿景非常清晰,對(duì)于激勵(lì)兩支團(tuán)隊(duì)來(lái)說(shuō)至關(guān)重要。為了激勵(lì)團(tuán)隊(duì),你必須有一個(gè)明確且令人振奮的愿景。我們就有這樣的愿景,而且它非常切實(shí)可行,因?yàn)槟憧梢杂H眼看到它就在眼前超級(jí)集群以及從兩家公司獲得的所有設(shè)備。那個(gè)愿景既清晰又鼓舞人心,我們必須讓它變得切實(shí)可行。作為首席執(zhí)行官,你們必須把抽象的事物具體化,然后我們開(kāi)始著手構(gòu)建它。此外,我還覺(jué)得Mellanox的企業(yè)文化非常出色,這也是我們并購(gòu)能夠順利進(jìn)行的重要原因之一。
哈斯:這種清晰度對(duì)于推動(dòng)公司發(fā)展的確非常有幫助。再回到愿景這個(gè)話題,當(dāng)我講述公司故事時(shí),我還注意到另一件事。比如SHIELD和早期的CUDA在石油和天然氣領(lǐng)域的應(yīng)用,當(dāng)時(shí)這些應(yīng)用的終極形態(tài)或市場(chǎng)潛力并不明顯。
黃仁勛:確實(shí),很多人并沒(méi)有意識(shí)到這些應(yīng)用的潛力。事實(shí)上,那都是我們的初步嘗試。
哈斯:在當(dāng)時(shí),很難看出這些嘗試會(huì)演變成什么真正的殺手級(jí)應(yīng)用或最終形態(tài),但你們展現(xiàn)出了令人難以置信的韌性和決心,在早期就去嘗試并測(cè)試各種想法,即使市場(chǎng)似乎還沒(méi)有準(zhǔn)備好,或者應(yīng)用場(chǎng)景還沒(méi)有被明確定義。你把這種能力歸功于什么?是驚人的直覺(jué)嗎?還是預(yù)見(jiàn)未來(lái)的能力?
黃仁勛:英偉達(dá)的優(yōu)勢(shì)在于我們身邊聚集了很多杰出人才,他們是世界上最優(yōu)秀的計(jì)算機(jī)科學(xué)家、戰(zhàn)略家和商業(yè)人才。他們不僅個(gè)人能力出眾,更重要的是,他們沒(méi)有個(gè)人主義傾向,都渴望為公司創(chuàng)造更大的價(jià)值。我認(rèn)為,我們的成功首先是從這一點(diǎn)開(kāi)始的。其次,我們?cè)谥庇X(jué)方面也很擅長(zhǎng)。我們對(duì)于需要解決什么問(wèn)題,以及如何從現(xiàn)在走向我們想要成為的公司,都有很好的直覺(jué)。因此,我們能夠準(zhǔn)確地判斷出各種階段性目標(biāo)。
當(dāng)我們決定開(kāi)發(fā)SHIELD時(shí),很多人都不理解,認(rèn)為我們?cè)诶速M(fèi)時(shí)間。但我告訴他們,我們總有一天會(huì)成為一家系統(tǒng)公司。而SHIELD就是我們向這個(gè)目標(biāo)邁進(jìn)的第一步。所有這些系統(tǒng)都將連接到云服務(wù)。為什么我們不先從最大的系統(tǒng)入手呢?為什么我們不首先開(kāi)發(fā)這樣的系統(tǒng)呢?如果我們連這個(gè)都做不到,那更大的系統(tǒng)我們也做不出來(lái)。我們希望通過(guò)開(kāi)發(fā)這樣的系統(tǒng),讓公司學(xué)習(xí)到新的技能,去嘗試、去失敗,但又不至于傷筋動(dòng)骨。這樣,我們才能為未來(lái)的挑戰(zhàn)做好充分的準(zhǔn)備。
03 創(chuàng)始人模式 VS 經(jīng)理人模式
哈斯:你是否認(rèn)為,只有創(chuàng)始人領(lǐng)導(dǎo)的公司才能像你剛才描述的那樣,既擁有清晰的愿景,又具備持續(xù)明確前進(jìn)方向的韌性呢?因?yàn)樽罱P(guān)于創(chuàng)始人模式與經(jīng)理人模式的討論很多,而你作為一位領(lǐng)導(dǎo)公司30年的創(chuàng)始人,已經(jīng)取得了巨大的成功。但是,你所描述的這些,只能由創(chuàng)始人領(lǐng)導(dǎo)的公司做到嗎?
黃仁勛:我并不這么認(rèn)為。我覺(jué)得你在Arm就做得很好。你知道,每當(dāng)我目睹你工作時(shí),我的心中便充滿了無(wú)比的自豪感。我非常享受觀察你工作的過(guò)程,這總能帶給我極大的喜悅與驕傲。我深信,要想在工作上有所建樹(shù),必須具備堅(jiān)韌不拔的精神和堅(jiān)定不移的毅力。我愿將其形容為歷經(jīng)痛苦與磨難的洗禮。在諸多方面,你必須學(xué)會(huì)去適應(yīng)這樣的現(xiàn)實(shí):成功之路絕非坦途,而是布滿了痛苦與磨礪。它并非一系列成就的輕松累積,而是需要付出巨大的努力與堅(jiān)持。
我當(dāng)然希望一切都能發(fā)生,因?yàn)檫@無(wú)疑會(huì)對(duì)你大有裨益。然而,回顧那些充滿挑戰(zhàn)的時(shí)刻,盡管當(dāng)時(shí)我可能并未完全意識(shí)到從中學(xué)到了什么,但它們確實(shí)使我變得更加堅(jiān)強(qiáng)。我深知自己能夠克服一切困難,盡管在經(jīng)歷時(shí)可能并不喜歡那種感覺(jué)。然而,當(dāng)我回首往事,那些艱難的時(shí)刻恰恰是我成長(zhǎng)的見(jiàn)證,也是你與公司最為自豪的時(shí)刻,因?yàn)槲覀児餐^(guò)了那些難關(guān)。因此,我認(rèn)為我們的公司之所以強(qiáng)大,正是因?yàn)槲覀儞碛斜姸噙@樣的勵(lì)志故事。在公司的每一個(gè)角落,都流傳著無(wú)數(shù)次歷經(jīng)挫折卻最終取得非凡成就的動(dòng)人故事。它們?nèi)缤瑢氋F的財(cái)富,助力公司度過(guò)了一個(gè)又一個(gè)艱難時(shí)期。
04 期待計(jì)算機(jī)能夠展現(xiàn)出智能行為
哈斯:我們都已經(jīng)在這個(gè)行業(yè)中拼搏多年,關(guān)于人工智能的發(fā)展,我有種感覺(jué),仿佛有些場(chǎng)景是我之前從未設(shè)想過(guò)的。我甚至覺(jué)得,這種轉(zhuǎn)變可能要到下一代才能完全體驗(yàn)到。這種感覺(jué)就像是觸碰到了《星際迷航》中的未來(lái)邊界,就我的認(rèn)知而言,我難以想象在人工智能如此廣泛應(yīng)用的未來(lái)之后,還會(huì)有什么新的變革。你對(duì)此有何看法?我們是否正在以驚人的速度推動(dòng)行業(yè)的轉(zhuǎn)型,而這場(chǎng)轉(zhuǎn)型之后又會(huì)迎來(lái)什么呢?眼前所發(fā)生的一切,真是令人難以置信。
黃仁勛:我一直都對(duì)計(jì)算機(jī)能夠展現(xiàn)出智能行為抱有期待。我們有能力創(chuàng)造出如此卓越的軟件,我認(rèn)為我們終將編寫(xiě)出那樣的軟件,讓算法以看似智能的方式解決問(wèn)題,仿佛計(jì)算機(jī)真的擁有了智慧。然而,我從未預(yù)料到這會(huì)引發(fā)一場(chǎng)工業(yè)革命。我曾多次提及,如今的計(jì)算機(jī)行業(yè)已經(jīng)超越了傳統(tǒng)范疇,它不再僅僅是一個(gè)工具或器具,而是成為了一個(gè)全新的制造業(yè)。
在我與你交談的此刻,我的手機(jī)靜靜地躺在口袋里,并未被使用;我的筆記本電腦也安靜地待在辦公室里。大多數(shù)人的電腦也是如此,只有在需要時(shí)才會(huì)被啟用。但與此不同的是,這個(gè)新的人工智能產(chǎn)業(yè),即我們正在構(gòu)建的產(chǎn)業(yè),它們始終在運(yùn)行。無(wú)論你是否在使用它們,它們都在不斷地處理數(shù)據(jù)、生成Token,并在這一過(guò)程中產(chǎn)生智能。智能正在被大規(guī)模地制造出來(lái)。曾經(jīng),計(jì)算機(jī)只是一個(gè)工具或器具,而現(xiàn)在,它已經(jīng)成為了一個(gè)工廠,一個(gè)能夠大量生產(chǎn)極具價(jià)值物品的制造業(yè)。這對(duì)我們的行業(yè)來(lái)說(shuō),無(wú)疑是一個(gè)全新的時(shí)代。這是前所未有的變革。計(jì)算機(jī)現(xiàn)在成為了制造工具,是那些被稱為Token、特別是智能Token的驚人成果的創(chuàng)造者。這是一個(gè)非凡的觀念。因此,我認(rèn)為我們正站在一場(chǎng)新工業(yè)革命的起跑線上。
哈斯:計(jì)算機(jī)行業(yè)的發(fā)展步伐是否超越了你原先的預(yù)想?作為這一領(lǐng)域最接近前沿的見(jiàn)證者,從AlexNet到DGX-1的每一次創(chuàng)新飛躍,你都親歷其中。自從我接手Arm以來(lái),我們也在內(nèi)部對(duì)此進(jìn)行了深入的探索,發(fā)現(xiàn)其進(jìn)步的速度遠(yuǎn)遠(yuǎn)超出了我兩年半前乃至一年前所能想象的范疇。那么,對(duì)于你親身參與推動(dòng)的這一切,你是否覺(jué)得它的發(fā)展比預(yù)期中還要迅猛?
黃仁勛:并非如此,我們實(shí)際上正在竭力加速其發(fā)展的步伐。我們的研發(fā)周期已經(jīng)成功地縮短至一年,這一決策的背后,是源自于對(duì)這項(xiàng)技術(shù)擁有巨大發(fā)展?jié)摿Φ纳羁陶J(rèn)識(shí)。而且,我們今的努力已遠(yuǎn)遠(yuǎn)超越了單純制造芯片的范疇。我們深知,即便在最新的制程節(jié)點(diǎn)上,芯片的性能提升也僅僅是幾個(gè)百分點(diǎn)的量級(jí),但這已是極為不易的成就。那么,我們?nèi)绾未_保每一代產(chǎn)品都能實(shí)現(xiàn)性能的顯著飛躍呢?答案是,我們?yōu)槊總(gè)系統(tǒng)設(shè)計(jì)了六到七款全新的芯片,并通過(guò)協(xié)同設(shè)計(jì)的方式,對(duì)整個(gè)系統(tǒng)進(jìn)行徹底的革新,同時(shí)創(chuàng)造出諸如NVLink交換機(jī)和新型系統(tǒng)機(jī)架等革命性的發(fā)明。這些創(chuàng)新使得我們能夠在系統(tǒng)背部的主干上,利用銅質(zhì)導(dǎo)線將所有GPU緊密相連,從而實(shí)現(xiàn)了前所未有的大型封裝和3D封裝技術(shù)。
我們運(yùn)用了多種先進(jìn)的技術(shù)手段來(lái)實(shí)現(xiàn)這一目標(biāo)。因此,我們得以在相同的能耗和成本約束下,每年提供兩到三倍的性能提升。這實(shí)際上意味著,我們每年都在以遠(yuǎn)超摩爾定律的速度降低人工智能的成本。若將這種復(fù)利效應(yīng)持續(xù)五年、六年乃至十年,我們將會(huì)見(jiàn)證智能成本以令人驚嘆的速度下降。我們之所以如此全力以赴,是因?yàn)槲覀儓?jiān)信,現(xiàn)在正是所有人深刻認(rèn)識(shí)到其價(jià)值的關(guān)鍵時(shí)刻。如果我們能夠大幅度地降低智能的成本,那么我們就可以在諸如推理等需要時(shí)間的場(chǎng)景中實(shí)現(xiàn)更多的可能。
當(dāng)你今天使用ChatGPT這個(gè)令人贊嘆的服務(wù)時(shí),我也每天都在使用它。今天早上我就體驗(yàn)了它的魅力,你按下回車鍵,提示被迅速加載,隨后它便生成了輸出。但在不遠(yuǎn)的將來(lái),它將通過(guò)迭代推理的方式尋找答案,或許還會(huì)采用樹(shù)搜索等復(fù)雜方法,甚至進(jìn)行某種形式的迭代和反思,最終呈現(xiàn)出更加優(yōu)質(zhì)的輸出。在這個(gè)過(guò)程中,它可能已經(jīng)進(jìn)行了上百次、上千次的推理,但答案的質(zhì)量卻會(huì)顯著提升。我們渴望降低成本,以便在保持原有成本和響應(yīng)速度的同時(shí),提供這種新型、高效的推理推斷服務(wù)。
哈斯:我曾親眼目睹OpenAI模型的演示,其推理能力著實(shí)令人震撼,正如你所描述的那樣。它仿佛經(jīng)歷了一棵邏輯樹(shù)的探索,展現(xiàn)出與人類相似的權(quán)衡過(guò)程,但其速度卻遠(yuǎn)超人類。然而,當(dāng)我深入思考當(dāng)前正在發(fā)生的變革時(shí),我深感著迷。正如你所言,你正在以前所未有的速度引入全新的系統(tǒng)、數(shù)據(jù)集以及基礎(chǔ)設(shè)施。過(guò)去,人們每?jī)扇曩?gòu)買的CPU最終都會(huì)面臨貶值。而現(xiàn)在,你卻以每年一次的頻率構(gòu)建新的系統(tǒng)。人們迫切希望盡快采購(gòu)并部署這些系統(tǒng)。
黃仁勛:雖然說(shuō)起來(lái)簡(jiǎn)單,但我們每年都在交付像這個(gè)房間一樣龐大的新型計(jì)算機(jī),包括所有的布線、網(wǎng)絡(luò)、交換機(jī)和軟件。這確實(shí)令人難以置信。
哈斯:你明白我的意思嗎?我并不是在讓你預(yù)測(cè)未來(lái)。這更多是一個(gè)關(guān)于技術(shù)普及的問(wèn)題。它能否保持當(dāng)前的發(fā)展速度繼續(xù)前行?
黃仁勛:我認(rèn)為可以。但這必須以一種系統(tǒng)化的方式進(jìn)行,也就是說(shuō),我們所做的每一項(xiàng)工作,都是基于一種架構(gòu)思維。這意味著,為昨天的集群(例如Hopper)開(kāi)發(fā)的軟件,將能夠無(wú)縫地在Blackwell和Rubin上運(yùn)行。同樣,為Rubin創(chuàng)建的軟件,也將能夠在Hopper上運(yùn)行。這種架構(gòu)兼容性至關(guān)重要,因?yàn)樾袠I(yè)在軟件上的投資遠(yuǎn)超硬件,甚至達(dá)到上千倍。更不用說(shuō),軟件具有永恒的生命力。一旦開(kāi)發(fā)或發(fā)布了軟件,就必須在其整個(gè)生命周期內(nèi)進(jìn)行維護(hù)。CUDA的理念并非為了讓數(shù)百萬(wàn)人學(xué)習(xí)編程,而是為了讓數(shù)百萬(wàn)個(gè)GPU能夠與之兼容。
因此,你在一個(gè)GPU上的投資,將能夠延續(xù)到所有其他GPU上,而你今天編寫(xiě)的軟件,在明天將會(huì)變得更加出色。我們未來(lái)編寫(xiě)的所有軟件都將在已安裝的基礎(chǔ)設(shè)施上運(yùn)行。因此,首先,我們必須具備架構(gòu)意識(shí),并且對(duì)此保持高度的自律。其次,即使在系統(tǒng)層面,我們現(xiàn)在也極具架構(gòu)意識(shí)。我們會(huì)采用新的技術(shù)來(lái)推動(dòng)系統(tǒng)設(shè)計(jì)的發(fā)展,同時(shí)確保不會(huì)放棄你昨天所做的工作。例如,當(dāng)我們首次進(jìn)入數(shù)據(jù)中心業(yè)務(wù)時(shí),一個(gè)超大規(guī)模數(shù)據(jù)中心的配電是每個(gè)機(jī)架12千瓦,而到了Blackwell時(shí)代,每個(gè)機(jī)架的配電已經(jīng)達(dá)到了120千瓦。密度提升了十倍,這意味著數(shù)百萬(wàn)美元的服務(wù)器被壓縮到了一個(gè)機(jī)架中。因此,所節(jié)省的金額、能源和空間都是難以估量的。
哈斯:我們的故事有著諸多相似之處。Arm架構(gòu)歷經(jīng)30載,我們?yōu)槠鋬A注了數(shù)十年的心血軟件編寫(xiě),這一點(diǎn)有時(shí)并未得到人們的充分理解。
黃仁勛:對(duì)于每一塊Arm芯片,我們所做的每一項(xiàng)工作都備受關(guān)注。前幾天,我們剛展示了一些成果。有基準(zhǔn)測(cè)試顯示,Grace在每瓦性能上比全球頂尖的CPU高出四倍,這凸顯了能源效率的重要性,它無(wú)處不在,至關(guān)重要。
哈斯:當(dāng)你從500兆瓦的數(shù)據(jù)中心規(guī)模擴(kuò)展到5吉瓦時(shí),從網(wǎng)絡(luò)延遲等相關(guān)因素考慮,你是否觀察到某些架構(gòu)層面的問(wèn)題開(kāi)始浮現(xiàn)?當(dāng)然,我們無(wú)需深入探討具體技術(shù)細(xì)節(jié),但從物理學(xué)的基本原理出發(fā),你是否發(fā)現(xiàn)了一些開(kāi)始不再適用的東西?
黃仁勛:確實(shí),一切都會(huì)失效,因?yàn)槲锢矶墒氰F律,無(wú)法違背,而失效是必然的過(guò)程。當(dāng)然,我們正沿著功率密度曲線迅速攀升,增長(zhǎng)態(tài)勢(shì)呈指數(shù)級(jí)。從12千瓦到40千瓦,再到120千瓦、200千瓦,甚至更高,我們不斷壓縮、密集化計(jì)算資源。在此過(guò)程中,液冷技術(shù)的效率顯著提升。同時(shí),我們盡可能延長(zhǎng)銅線的使用壽命,因?yàn)橹灰獥l件允許,使用銅線傳輸電力就更為有利,無(wú)需在電信號(hào)和光信號(hào)之間轉(zhuǎn)換。盡管最終我們不得不轉(zhuǎn)向光學(xué)技術(shù),但我們會(huì)盡可能長(zhǎng)時(shí)間地利用電信號(hào)的優(yōu)勢(shì)。在大多數(shù)數(shù)據(jù)中心中,使用電信號(hào)在成本效益、能源效率和可靠性方面更具優(yōu)勢(shì)。因此,我們選擇了密集化策略。密集化的另一個(gè)顯著優(yōu)勢(shì)是,特定機(jī)架或相鄰機(jī)架中的所有GPU可以作為一個(gè)巨型GPU協(xié)同工作,這確實(shí)令人驚嘆不已。
05 沒(méi)時(shí)間練習(xí)演講,只能硬著頭皮上
哈斯:我一直很好奇,記得你在Computex的演講內(nèi)容之豐富簡(jiǎn)直令人嘆為觀止,尤其是我觀看的時(shí)候還是周日晚上。作為另一個(gè)經(jīng)常做演講但無(wú)論是深度還是長(zhǎng)度都遠(yuǎn)不及你的人,我很想知道你是如何做到這一點(diǎn)的。你是否進(jìn)行了大量的排練?我記得我們以前共事時(shí),有時(shí)甚至在演講前一晚你還在調(diào)整內(nèi)容,但你總是能出色地完成演講,F(xiàn)在,你的演講內(nèi)容之深入,特別是當(dāng)涉及到數(shù)據(jù)中心架構(gòu)的詳細(xì)闡述時(shí),你的準(zhǔn)備過(guò)程是怎樣的?
黃仁勛:其實(shí),我們每天都在為這樣的演講做準(zhǔn)備。你知道嗎,我們的工作有一個(gè)獨(dú)特的優(yōu)勢(shì),那就是我們不是專業(yè)的演員。所以,這些內(nèi)容真的是我們?nèi)粘9ぷ鞯恼鎸?shí)反映。我們每天都沉浸在這些領(lǐng)域里。首先,我們每天都在學(xué)習(xí)和準(zhǔn)備。但很多時(shí)候,我們做的事情,坦白說(shuō),都是在教學(xué)。為了推動(dòng)一個(gè)行業(yè)的發(fā)展,為了塑造市場(chǎng),并引入我們正在探索的新理念,其中很多都涉及到教學(xué)的成分。這不是在做廣告,你明白嗎?我們是一家平臺(tái)公司,這意味著我們不能單打獨(dú)斗。我們需要其他人的合作與支持。所以,我們的工作就是教學(xué)、啟發(fā)、展示,也許還有演示,希望越來(lái)越多的人能夠相信CUDA,相信英偉達(dá)在加速計(jì)算領(lǐng)域的實(shí)力,今天就能加入我們的行列,共同推動(dòng)人工智能的發(fā)展。我們現(xiàn)在正在研究的下一個(gè)重大項(xiàng)目是物理AI,以及我們?nèi)绾巫屓斯ぶ悄芤环矫鎸W(xué)習(xí)遵守物理定律,另一方面又能深入理解這些定律。我認(rèn)為這將是一個(gè)漫長(zhǎng)的旅程。所以,GTC和Computex這樣的活動(dòng)對(duì)我們來(lái)說(shuō),都是進(jìn)行這些工作的重要機(jī)會(huì),慶祝我們的生態(tài)系統(tǒng)以及合作伙伴所取得的成就,向他們傳授我們的理念,激勵(lì)他們展望未來(lái)。
哈斯:這確實(shí)很相似。當(dāng)我做QBU演講時(shí),我的首席助理會(huì)說(shuō):“哇,這些幻燈片好簡(jiǎn)潔!”但其實(shí)這就是我整天都在談?wù)摰膬?nèi)容。我在想,怎么可能不這樣呢?
黃仁勛:說(shuō)實(shí)話,這仍然很有挑戰(zhàn)性。因?yàn)槲覀儧](méi)有專門的時(shí)間去排練。所以,這并不是因?yàn)槲覀児室獠慌啪,等到我們把所有的?nèi)容都準(zhǔn)備好之后,通常就沒(méi)有多余的時(shí)間去排練了。因此,最后我只能硬著頭皮上。(科技新聞特約編譯金鹿)