新智元報道
編輯：喬楊【新智元導(dǎo)讀】碩士畢業(yè)的老黃，不僅是院士，現(xiàn)在還是香港科技大學(xué)的榮譽博士。11月23日，在香港科技大學(xué)舉行的博士學(xué)位授予儀式上，不僅梁朝偉被授予人文學(xué)榮譽博士學(xué)位，作為英偉達創(chuàng)始人兼CEO的老黃也被授予工程學(xué)榮譽博士學(xué)位。
授予儀式結(jié)束后，老黃與HKUST校董會主席沈向洋進行了一場長達1小時的爐邊對談。
沈向洋坦言，今天活動之前自己輾轉(zhuǎn)反側(cè)，因為大家告訴他最近蘋果股價漲勢迅猛，英偉達的情況反而有點不妙。但是還好，對談當(dāng)天時英偉達仍是市值第一的公司。
然而根據(jù)最新的數(shù)據(jù)，市值第一的寶座又一次易主，英偉達目前低于蘋果屈居第二。
作為新晉校友，老黃對自己的新母校和新校董也不吝溢美之詞，不僅對談中將香港科技大學(xué)比作「亞洲的MIT」，還稱贊沈向洋是「我們這個時代最偉大的計算機科學(xué)家之一」，而且很長時間以來都是自己和很多其他人心目中的英雄。
一小時的對談中全程高能，善于提問的沈向洋和善用比喻的老黃經(jīng)常引發(fā)觀眾們的掌聲爆笑，最后的抽獎環(huán)節(jié)更是直接豪橫送出10張英偉達RTX 4060ti顯卡，點燃全場。
不同于以往在會議論壇中的對談，回到「母�！沟睦宵S非常放松，不僅分享了自己對AI產(chǎn)業(yè)和團隊管理的見解，更是罕見地透露了很多個人八卦。
這個時代，AI究竟意味著什么
如今，AI已經(jīng)有能力理解語言、圖像、蛋白質(zhì)序列等各種數(shù)據(jù)時，GenAI能夠?qū)⒁环N信息模式轉(zhuǎn)換為另一種信息模式，比如文本到圖像、文本到蛋白質(zhì)、文本到化學(xué)物質(zhì)等等，因此獲得了變革性、開創(chuàng)性的能力。
最初，AI僅僅是通用的函數(shù)逼近器，現(xiàn)在則演變?yōu)橥ㄓ玫恼Z言翻譯器，可以理解各種信息的含義。那么問題是，我們可以用它做什么？
從計算機科學(xué)的角度看，開發(fā)軟件的方式已經(jīng)發(fā)生了根本性的變化，不再依賴于傳統(tǒng)的代碼編寫方式，而是轉(zhuǎn)向了機器學(xué)習(xí)和自動生成。
這不再是簡單的軟件問題，我們是重新發(fā)明了整個技術(shù)堆棧。計算機可以自動生成神經(jīng)網(wǎng)絡(luò)，并在GPU上進行處理。從編碼到機器學(xué)習(xí)，從CPU到GPU，標(biāo)志著一個全新的時代的到來。
由于GPU能力強大得多，所以我們可以開發(fā)出和以前完全不同的軟件，在這些軟件之上就是人工智能。那么，什么是AI？當(dāng)我們在競相發(fā)現(xiàn)新的AI時，這個行業(yè)之后會發(fā)生什么？
AI做的事情之一是「認知自動化」，或者說解決問題的自動化。
解決問題的過程可以被歸結(jié)為三個步驟：感知、推理和規(guī)劃。比如，自動駕駛需要汽車感知周圍環(huán)境，然后推理自己和其它汽車的位置，再規(guī)劃駕駛過程。
實際上，不僅是自動駕駛，任何事情都可以有相應(yīng)的表達式，然后交給AI來執(zhí)行。
300年前，通用電氣和西屋公司發(fā)明了一種新設(shè)備，最終改進為交流發(fā)電機，搭配上后來發(fā)明的燈泡、烤面包機的等用電設(shè)備，從而創(chuàng)造了一整個用電生態(tài)系統(tǒng)。
人工智能的情況也很類似，我們?nèi)缃裾趧?chuàng)造一個「數(shù)字智能」的生態(tài)系統(tǒng)。Copilot和ChatGPT等應(yīng)用就像是各種電器，而發(fā)電機對應(yīng)的是數(shù)字智能工廠（digital intelligence factory）。
從工業(yè)的角度來看，我們正在創(chuàng)造一個全新的、從未存在過的產(chǎn)業(yè)，這個產(chǎn)業(yè)以能源為輸入并產(chǎn)生數(shù)字智能，未來將會實現(xiàn)龐大的消費量。
AI4Science前景廣闊近兩年，越來越多的人提到AI4Science，不僅英偉達在發(fā)布會上多次展示與氣象科學(xué)、生物學(xué)交叉的成果，老黃本人也經(jīng)常談起AI和生物的結(jié)合。
對談中，老黃回憶起自己在2018年的世界科學(xué)計算會議上介紹了人工智能，但當(dāng)時由于AI的「黑箱」屬性飽受質(zhì)疑。但今天的人工智能，已經(jīng)不那么像黑箱了。
原因在于，你可以「邀請」當(dāng)下的LLM一起進行推理，讓它輸出得到答案的每個步驟，這就是一種「探查」，讓我們理解AI的思維過程。（老黃的描述，或許就類似于我們常說的CoT「思維鏈」）
雖說「黑箱」的屬性減弱了，但人工智能依舊是「黑箱」，因為它還無法從第一性原理中產(chǎn)生答案的能力，而是通過觀察數(shù)據(jù)、學(xué)習(xí)規(guī)律來產(chǎn)生答案。因此，它并不是在模擬第一性原理求解器，而是在模擬智能、模擬物理。
那么關(guān)鍵的問題是：模擬對科學(xué)有價值嗎。我的答案是，模擬對科學(xué)而言是無價的。
在許多科學(xué)領(lǐng)域，我們已經(jīng)理解并掌握了第一性原理，比如薛定諤方程、麥克斯韋方程等，但無法在龐大的系統(tǒng)中模擬這些方程。所以，與其從第一性原理出發(fā)去解決這些計算上受限的問題，不如讓人工智能模擬。
我們可以訓(xùn)練理解物理的人工智能，用它來模擬非常大的系統(tǒng)，以便理解大系統(tǒng)和大尺度。
再比如，生物學(xué)有一個從納米開始的尺度，從納秒到年，用第一性原理求解器去求解這樣的系統(tǒng)幾乎是不可能的。那我們能否使用AI來模擬人類生物學(xué)，以便更好地理解這些非常復(fù)雜的多尺度系統(tǒng)，甚至創(chuàng)建一個人類生物學(xué)的數(shù)字孿生。
這是一個偉大的希望，如果能夠?qū)崿F(xiàn)，生物學(xué)家、氣候科學(xué)家將第一次真正理解自己所研究的大尺度物理系統(tǒng)。
「實體智能」和大灣區(qū)的未來沈向洋提到，大灣區(qū)近年來已經(jīng)發(fā)展出龐大的硬件生態(tài)系統(tǒng)。比如，大疆公司就是憑借無人機技術(shù)從這里起步，成為全球領(lǐng)先的企業(yè)。
對于硬件生態(tài)和「實體智能」這個領(lǐng)域，以及「大灣區(qū)」這個獨特的地理位置，老黃有怎樣的看法？
他表示，大灣區(qū)對于中國乃至世界來說都是一個絕佳的機會，因為這個區(qū)域在機電一體化（mechatronics）方面非常成熟，這是機械與電子技術(shù)的交匯點。
大灣區(qū)是世界上唯一一個機電技術(shù)和AI同時蓬勃發(fā)展的地區(qū)。其他兩個主要的機電技術(shù)產(chǎn)業(yè)中心 日本和德國，在人工智能領(lǐng)域落后了不少，而大灣區(qū)不存在這個問題。正如沈向洋形容的，這是一個「以迭代軟件的速度來迭代硬件的地方」。
老黃認為，這是一個非常獨特的機會，而且強烈建議大家抓住這個機會并充分利用它。
機器人技術(shù)的關(guān)鍵就在于加入一個能理解物理世界的AI。目前如ChatGPT之類的大語言模型擅長處理知識和認知智能，但并不理解物理智能（physical intelligence）。比如把一個杯子放到桌子上，AI無法理解杯子不會穿過桌子這一事實。
但其實這個領(lǐng)域已經(jīng)取得了很大的進展，也就是我們看到的文生視頻模型。如果輸入文字指令「Jensen拿起咖啡杯喝一口」，AI就能生成相應(yīng)的視頻，那么同樣也可以生成指令來控制機械臂完成相同的動作。因此，從GenAI到通用機器人，這一步已經(jīng)非常接近了。
而且，規(guī)�；慨a(chǎn)非常重要，因為只有大規(guī)模生產(chǎn)才能形成技術(shù)飛輪（flywheel），攤平高額的研發(fā)投入，從而帶來更大的技術(shù)突破，進一步擴大生產(chǎn)規(guī)模。這個研發(fā)飛輪對任何行業(yè)都是至關(guān)重要的。
我們現(xiàn)在有三種類型的機器人可以實現(xiàn)大規(guī)模生產(chǎn)，而且只有這三種，其中兩種的產(chǎn)量會是最高的。其他類型的機器人都很難實現(xiàn)規(guī)模化生產(chǎn)。
這三類機器人分別是：汽車，因為過去150年的世界是為汽車設(shè)計的；無人機，因為天空幾乎沒有限制；以及體量最大的，人形機器人，因為我們的世界是為人類設(shè)計的。
這三類機器人很容易實現(xiàn)「棕地部署」（brownfield deployment），即在現(xiàn)有的環(huán)境設(shè)施基礎(chǔ)上進行應(yīng)用，而不需要從頭開始創(chuàng)建全新的環(huán)境。這三種類型可以將機器人擴展到極大的體量，這是像大灣區(qū)這樣的制造業(yè)生態(tài)系統(tǒng)真正擁有的優(yōu)勢之一。
再論「黃氏定律」
去年，黃仁勛在CES 2019展會上表示，「摩爾定律過去是每5年增長10倍，每10年增長100倍。而如今，摩爾定律每年只能增長幾個百分點，每10年可能只有2倍。因此，摩爾定律結(jié)束了。」
4年前的Huang's Law是這樣預(yù)言的：由于硬件和軟件的升級，人工智能芯片的性能每兩年的可提高一倍多。
而如今站在2024年回看過去的10到12年，從消費的角度出發(fā)并算上所有的大語言模型，每年的計算需求實際上遠遠不止翻了一番，而是是增長了四倍。如果每年增長四倍，那么在十年的時間里，這個數(shù)字將變成驚人的一百萬倍。
摩爾定律失效了，「黃氏定律」會持續(xù)有效嗎？沈向洋將這個難以回答的問題拋給了老黃本人。
首先，老黃分析了一下摩爾定律起作用的原因，它依賴于兩個概念：一是VSI縮放（大規(guī)模集成電路縮放），這得益于Carver Mead和Lynn Conway的研究；另一個是Dennard縮放（恒定電流密度縮放）。這些技術(shù)的結(jié)合讓我們每隔幾年就能將半導(dǎo)體的性能翻倍。
然而，僅指望收集到所用的數(shù)據(jù)然后通過預(yù)訓(xùn)練從中自動發(fā)現(xiàn)知識是不夠的。我們還需要后訓(xùn)練，也就是深入一個領(lǐng)域，理解其中的某些內(nèi)容，并學(xué)習(xí)特定技能的過程，涉及到強化學(xué)習(xí)、人類反饋、人工智能反饋、合成數(shù)據(jù)生成、多路徑學(xué)習(xí)等多種技術(shù)。
這就好比上大學(xué)，完成學(xué)業(yè)、拿到學(xué)位是一個重要的里程碑，但這還遠遠不夠。一旦你選擇了一份職業(yè)，就還需要再次進行大量的學(xué)習(xí)。
然后，在后訓(xùn)練階段，就到了我們所說的「思考」，這可以被稱為test-time scaling。這個階段的一些問題需要將其分解，逐步追溯到第一性原理，然后再從原點出發(fā)，為每個問題找到解決方案。
因為答案是不可預(yù)測的，這可能需要你進行迭代和分情況討論，模擬不同的結(jié)果，這就是我們所說的「思考」，而且往往思考時間越長，答案的質(zhì)量可能就越高。
現(xiàn)在AI已經(jīng)能提供能力范圍內(nèi)最好的答案，但我們還需要知道是否有幻覺、答案是否合理，以及我們多大程度上能信任這個答案。我認為我們距離這一目標(biāo)還有幾年的時間，在此之前依舊不得不持續(xù)投入。
GPU：算力太少怎么解過去的10年中，Huang's Law不僅意味著計算能力的增長，也是計算成本上百萬倍的降低。
想象一下，在這個世界上，任何你依賴的東西，無論是電力、機票，還是其他任何東西，如果成本降低了上百萬倍，就會讓你的行為習(xí)慣會發(fā)生根本性的改變。
最明顯的是，計算能力的提高帶來了機器學(xué)習(xí)蓬勃發(fā)展，研究員們可以毫不猶豫地使用機器學(xué)習(xí)方法分析處理數(shù)據(jù)。
但不可否認的是，GPU算力少，依舊困擾著高校中的研究人員。今年5月的一次采訪中，李飛飛曾直言，「美國的公立機構(gòu)和學(xué)術(shù)界正在AI資源方面跌落懸崖」，斯坦福的NLP實驗室也僅有64塊GPU可用。
對談中，沈向洋也表達了類似的觀點：在深度學(xué)習(xí)領(lǐng)域，即使是美國的頂尖大學(xué)也沒有做出貢獻。過去十年的大多數(shù)開創(chuàng)性論文都來自英偉達、微軟、OpenAI、谷歌等頂尖的科技公司。他們完成了令人驚嘆的工作，部分原因其實是擁有足夠的算力。對此，老黃的角度相當(dāng)新穎：這個問題的核心是大學(xué)中一個非常嚴(yán)肅的結(jié)構(gòu)性問題。算力是重要的。沒有機器，就不可能有機器學(xué)習(xí)。科研需要儀器，而超算就是當(dāng)今人工智能領(lǐng)域的科學(xué)儀器。大學(xué)的結(jié)構(gòu)性問題在于，每個研究人員只負責(zé)籌集自己的經(jīng)費和資金，不與他人共享，這不符合機器學(xué)習(xí)的工作方式。機器學(xué)習(xí)的工作方式是，每個人只需要機器的一部分時間，但需要的是全部機器一起運行。沒有人永遠需要機器的全部，只是在一小段時間內(nèi)需要巨大的資源。大學(xué)要想推進研究，就必須發(fā)揮領(lǐng)導(dǎo)作用，把所有人的資金都集中起來，提供全校都可以訪問的基礎(chǔ)設(shè)施，但這在斯坦福或哈佛這樣的大學(xué)是非常困難的。這也能解釋為什么很多研究人員來英偉達、谷歌和微軟這樣的公司實習(xí)、做研究，因為有基礎(chǔ)設(shè)施。據(jù)我所知，很多教授一邊教學(xué)，一邊在大公司擔(dān)任兼職研究。解決方法有很多，當(dāng)然，最好的辦法是大學(xué)重新考慮如何提供資金。GPU：耗能太多怎么破圍繞著GPU，沈向洋再拋出了一個尖銳的話題：GPU大量使用帶來的能源消耗問題，應(yīng)該怎么破？根據(jù)預(yù)測，到2030年，全球能耗將增加30%，而其中很大一部分可能都要歸因于為AI提供動力的GPU計算。老黃表示：請允許我用倒推的方式回答這個問題。先上結(jié)論：如果全球能源被更多地被用于支持AI，那么這個世界會變得更美好。首先，AI的目標(biāo)不是訓(xùn)練模型，而是使用模型進行推理，而推理的價值是令人難以置信的。它可能發(fā)現(xiàn)儲存二氧化碳的新方法，也許能設(shè)計更高效的風(fēng)力渦輪機，或者優(yōu)化太陽能電池板、開發(fā)新的儲能材料，等等。這些都是我們想通過AI實現(xiàn)的終極目標(biāo)。其次，在哪里訓(xùn)練AI是無關(guān)緊要的。我們不需要把超算放在大學(xué)校園中，而是可以放在更靠近電網(wǎng)，甚至遠離人口密集區(qū)的地方。最后，我們應(yīng)該在許多不同的領(lǐng)域利用AI來節(jié)約能源，減少資源浪費，這樣最終達到節(jié)能20%～30%的目標(biāo)。用于「智能」（intelligence）是我們所能想象到的對能源的最佳利用。公開英偉達獨特管理經(jīng)
開啟這個話題前，沈向洋提到，老黃掌舵英偉達接近32年，是當(dāng)今硅谷在任時間最長的CEO，甚至可能不是當(dāng)今而是有史以來。那么，在神人輩出的硅谷，老黃為何能成功創(chuàng)辦英偉達，并實現(xiàn)了今日的輝煌？在管理風(fēng)格方面，老黃自成一家。在英偉達，任何人發(fā)現(xiàn)有5件可以改進的事情都可以直接給老黃發(fā)郵件，有60個總監(jiān)（director）向他直接匯報，每次開會也是這60個人全部參與、「濟濟一堂」。這樣做的原因只有一點：透明度。給所有人同步所有事情，在所有人面前討論公司的戰(zhàn)略和決定，這樣就不止是他一個人去森林探險一樣找到發(fā)展方向再布置任務(wù)，而是讓每個人都知道并參與到推理答案的過程中。除了管理上的方法論，老黃分享更多的是自己的心得和精神體會。首先，不要把你的工作僅僅當(dāng)成一份「工作」，而是要看成一生的事業(yè)。去做任何你愿意為之奉獻一生的事情，把職業(yè)看作是自己終生要追求完美的技藝，這種心態(tài)的差別會極大地影響投入感和你的思維方式。對老黃而言，領(lǐng)導(dǎo)英偉達就不是一份普通的工作而是他的人生事業(yè)。第二，要盡可能多地學(xué)習(xí)，尤其是作為CEO，需要不斷學(xué)習(xí)和重塑自己，因為世界在不斷變化，公司在變化，技術(shù)也在變化。今天掌握的知識可能在未來派上用場，但永遠不會足夠。老黃表示，自己每天都在學(xué)習(xí)，來的路上還在看YouTube視頻，還訓(xùn)練（甚至是折磨）AI模型讓它當(dāng)教練幫助自己學(xué)習(xí)。但是，學(xué)習(xí)也是有個度的。作為領(lǐng)導(dǎo)者的CEO，你必須對自己想要做的事情充滿信心，但你不必知道一切，也不必完全確定。信心和確定性不是一回事，你有可能非常自信地追求一個方向，同時又給不確定性留出空間。這種不確定性的空間能給你提供繼續(xù)學(xué)習(xí)的機會，不確定性是朋友而非敵人。以及，作為領(lǐng)導(dǎo)者需要強大（strong），因為很多人依靠你的力量生存。但強大并不意味著不能脆弱。也就是說，如果你需要幫助，就尋求幫助�？偠灾�，脆弱不等于缺乏力量，不確定不等于缺乏信心。最后，貢獻一則老黃追妻的八卦小故事：我16歲上大學(xué)，17歲時遇見我老婆，當(dāng)時她19歲。我們班250名同學(xué)，只有3個女生，而且我最小，只有我看起來像個小孩，所以搭訕技巧非常重要。所以我的策略是：要讓她對我的第一印象是「非常聰明」，所以走到她面前說：「你想看看我的作業(yè)嗎？」然后我向她保證，我說如果你每個星期天和我一起做作業(yè)，我保證你會得到全A。結(jié)果就是，我每個星期天都能跟她約會，然后我就讓她一整天都在做作業(yè)，這樣就能約會一整天了。我老婆從來沒看到過我寫作業(yè)的過程，因為我想展現(xiàn)出自己很聰明，所以總是在她來之前就把作業(yè)寫完了，這樣在她面前我就是知道所有答案的樣子。她可能整個四年都在想，「Jenson真是個天才」。而且為了確保她能和我結(jié)婚，我就說：「到30歲的時候，我一定能當(dāng)上CEO。」但老實說，當(dāng)時我完全不知道自己在說什么，然后我們結(jié)婚了。以上，就是我給企業(yè)家們的建議。參考資料：https://www.youtube.com/watch?v=NuTZNgrLBJk
