這是一篇投資公司 Sequoia 剛剛發(fā)布的關(guān)于生成式 AI 的年度報(bào)告，很值得一讀，里面提出幾個(gè)有意思的點(diǎn)：
新擴(kuò)展定律: o1代表通過"推理時(shí)計(jì)算"在一般推理能力上的重大進(jìn)展。這是生成式AI的"AlphaGo時(shí)刻",標(biāo)志著大模型擴(kuò)展定律的重要轉(zhuǎn)折點(diǎn)。更多推理時(shí)間計(jì)算導(dǎo)致顯著更好的推理,這將推動應(yīng)用層的可用性。
SaaS重新定義: SaaS從"Software as a Service"轉(zhuǎn)向"Service as Software"。從銷售席位轉(zhuǎn)變?yōu)殇N售最終交付結(jié)果,體現(xiàn)了"sell work, not software"的理念。
領(lǐng)域?qū)Ｖ匾? 認(rèn)知架構(gòu)代表行業(yè)專知(know-how)。將專知與模型能力結(jié)合是構(gòu)建數(shù)據(jù)閉環(huán)、從副駕駛到自動駕駛的關(guān)鍵。
大模型進(jìn)入下一階段技術(shù)突破,同時(shí)產(chǎn)品經(jīng)理的機(jī)會窗口已經(jīng)到來。文章包含更多細(xì)節(jié),值得仔細(xì)閱讀和思考。
在生成式AI革命的兩年里,研究正在將該領(lǐng)域從"快速思考"快速的預(yù)訓(xùn)練響應(yīng)推進(jìn)到"慢速思考"在推理時(shí)進(jìn)行推理。這種演變正在開啟一批新的主動應(yīng)用。
在我們發(fā)表《生成式AI:一個(gè)創(chuàng)新的新世界》一文兩周年之際,AI生態(tài)系統(tǒng)看起來已經(jīng)大不相同,我們對未來有一些預(yù)測。
生成式AI市場的基礎(chǔ)層正在穩(wěn)定到一個(gè)均衡狀態(tài),其中包括一些關(guān)鍵的規(guī)�；瘏⑴c者和聯(lián)盟,包括微軟/OpenAI、AWS/Anthropic、Meta和谷歌/DeepMind。只有那些擁有經(jīng)濟(jì)引擎和獲取大量資本的規(guī)�；瘏⑴c者仍在競爭。雖然這場戰(zhàn)斗遠(yuǎn)未結(jié)束(并且在博弈論式的方式中不斷升級),但市場結(jié)構(gòu)本身正在穩(wěn)固,很明顯我們將獲得越來越便宜和豐富的下一個(gè)詞預(yù)測。
隨著LLM市場結(jié)構(gòu)的穩(wěn)定,下一個(gè)前沿正在出現(xiàn)。焦點(diǎn)正在轉(zhuǎn)向推理層的發(fā)展和擴(kuò)展,在這里"系統(tǒng)2"思維占主導(dǎo)地位。受到像AlphaGo這樣的模型的啟發(fā),這一層旨在賦予AI系統(tǒng)以推理時(shí)的深思熟慮的推理、問題解決和認(rèn)知操作能力,超越快速模式匹配。新的認(rèn)知架構(gòu)和用戶界面正在塑造這些推理能力如何傳遞給用戶并與之互動。
這對AI市場的創(chuàng)始人意味著什么?這對現(xiàn)有的軟件公司意味著什么?作為投資者,我們在生成式AI技術(shù)棧中看到哪一層最有前景的回報(bào)?
在我們最新關(guān)于生成式AI市場狀況的文章中,我們將探討基礎(chǔ)LLM層的整合如何為競相擴(kuò)展這些高階推理和主動能力奠定基礎(chǔ),并討論具有新型認(rèn)知架構(gòu)和用戶界面的新一代"殺手級應(yīng)用"。
永遠(yuǎn)的草莓田
2024年最重要的模型更新要?dú)w功于OpenAI的o1,之前被稱為Q*,也被稱為Strawberry。這不僅是OpenAI在模型質(zhì)量排行榜上重新確立其應(yīng)有地位,還是對現(xiàn)有架構(gòu)的顯著改進(jìn)。更具體地說,這是第一個(gè)具有真正通用推理能力的模型示例,他們通過推理時(shí)計(jì)算實(shí)現(xiàn)了這一點(diǎn)。
這意味著什么?預(yù)訓(xùn)練模型是在大量數(shù)據(jù)上進(jìn)行下一個(gè)詞的預(yù)測。它們依賴于"訓(xùn)練時(shí)計(jì)算"。規(guī)模的一個(gè)新興特性是基本推理,但這種推理非常有限。如果你能直接教會模型推理呢?這基本上就是Strawberry正在做的事情。當(dāng)我們說"推理時(shí)計(jì)算"時(shí),我們指的是要求模型在給出回應(yīng)之前停下來思考,這需要在推理時(shí)進(jìn)行更多計(jì)算(因此稱為"推理時(shí)計(jì)算")。"停下來思考"的部分就是推理。
AlphaGo x LLMs那么,當(dāng)模型停下來思考時(shí),它在做什么?
讓我們先簡單回顧一下2016年3月在首爾發(fā)生的事情。深度學(xué)習(xí)歷史上最具里程碑意義的時(shí)刻之一發(fā)生在這里:AlphaGo與傳奇圍棋大師李世石的比賽。這不僅僅是任何AI對人類的比賽這是世界看到AI不僅僅是模仿模式的時(shí)刻。它在思考。
是什么讓AlphaGo與之前的游戲AI系統(tǒng)(如深藍(lán))不同?像LLMs一樣,AlphaGo首先從大約3000萬個(gè)來自以前比賽的動作數(shù)據(jù)庫和更多自我對弈中預(yù)訓(xùn)練,以模仿人類專家。但是,AlphaGo并不是提供來自預(yù)訓(xùn)練模型的本能反應(yīng),而是花時(shí)間停下來思考。在推理時(shí),模型會對廣泛的潛在未來場景進(jìn)行搜索或模擬,對這些場景進(jìn)行評分,然后以具有最高期望值的場景(或答案)做出響應(yīng)。給予AlphaGo的時(shí)間越多,它的表現(xiàn)就越好。如果沒有推理時(shí)計(jì)算,模型就無法擊敗最優(yōu)秀的人類選手。但隨著推理時(shí)間的增加,AlphaGo變得越來越好直到它超越了最優(yōu)秀的人類。
讓我們回到LLM世界。在這里復(fù)制AlphaGo的難點(diǎn)在于構(gòu)建價(jià)值函數(shù),即對響應(yīng)進(jìn)行評分的函數(shù)。如果你在下圍棋,這相對直接:你可以模擬整個(gè)游戲直到結(jié)束,看誰贏了,然后計(jì)算下一步棋的期望值。如果你在編碼,這也相對直接:你可以測試代碼,看它是否有效。但是你如何為一篇文章的初稿打分?或者一個(gè)旅行計(jì)劃?或者一份長文檔中關(guān)鍵術(shù)語的摘要?這就是為什么用當(dāng)前方法進(jìn)行推理很困難,也是為什么Strawberry在接近邏輯的領(lǐng)域(例如編碼、數(shù)學(xué)、科學(xué))相對強(qiáng)大,而在更開放和非結(jié)構(gòu)化的領(lǐng)域(例如寫作)則不那么強(qiáng)大。
雖然Strawberry的實(shí)際實(shí)現(xiàn)是一個(gè)嚴(yán)格保守的秘密,但關(guān)鍵思想涉及圍繞模型生成的思維鏈進(jìn)行強(qiáng)化學(xué)習(xí)。審查模型的思維鏈表明,正在發(fā)生一些基本而令人興奮的事情,這實(shí)際上類似于人類思考和推理的方式。例如,o1顯示了一種能力,即在遇到困難時(shí)能夠回溯,這是擴(kuò)展推理時(shí)間的一個(gè)新興特性。它還顯示了像人類一樣思考問題的能力(例如,visualize球體上的點(diǎn)來解決幾何問題)以及以新方式思考問題的能力(例如,以人類不會的方式解決編程競賽中的問題)。
而且,研究團(tuán)隊(duì)正在努力推進(jìn)推理時(shí)計(jì)算的新想法(例如,計(jì)算獎(jiǎng)勵(lì)函數(shù)的新方法,縮小生成器/驗(yàn)證器差距的新方法),以此來提高模型的推理能力。換句話說,深度強(qiáng)化學(xué)習(xí)再次變得很酷,它正在實(shí)現(xiàn)個(gè)全新的推理層。
System1 vs System2 思考
從預(yù)訓(xùn)練的本能反應(yīng)("系統(tǒng)1")到更深層次的、深思熟慮的推理("系統(tǒng)2")的飛躍是AI的下一個(gè)前沿。模型僅僅知道事物是不夠的它們需要停下來,評估并在實(shí)時(shí)中推理決策。
將預(yù)訓(xùn)練視為系統(tǒng)1層。無論模型是在圍棋的數(shù)百萬步棋(AlphaGo)還是在互聯(lián)網(wǎng)規(guī)模的PB級文本(LLMs)上預(yù)訓(xùn)練,它的工作都是模仿模式無論是人類的游戲方式還是語言。但是模仿,盡管強(qiáng)大,卻不是真正的推理。它無法正確地思考復(fù)雜的新情況,特別是那些樣本外的情況。
這就是系統(tǒng)2思考的用武之地,也是最新一波AI研究的重點(diǎn)。當(dāng)一個(gè)模型"停下來思考"時(shí),它不僅僅是生成學(xué)習(xí)到的模式或根據(jù)過去的數(shù)據(jù)吐出預(yù)測。它正在生成一系列可能性,考慮潛在的結(jié)果,并基于推理做出決定。
對于許多任務(wù)來說,系統(tǒng)1已經(jīng)足夠了。正如Noam Brown在我們最新一期的Training Data節(jié)目中指出的那樣,花更長時(shí)間思考不丹的首都是什么并沒有幫助你要么知道,要么不知道。這里快速的、基于模式的回憶完全奏效。
但當(dāng)我們看到更復(fù)雜的問題時(shí)比如數(shù)學(xué)或生物學(xué)的突破性進(jìn)展快速、本能的反應(yīng)就不夠用了。這些進(jìn)展需要深度思考、創(chuàng)造性的問題解決,最重要的是,需要時(shí)間。對AI來說也是如此。要解決最具挑戰(zhàn)性、最有意義的問題,AI需要超越快速的樣本內(nèi)響應(yīng),花時(shí)間進(jìn)行那種深思熟慮的推理,這種推理定義了人類的進(jìn)步。
如何比較
思考模式計(jì)算財(cái)務(wù)模型成熟度
推理層
系統(tǒng)2思考: 緩慢、深思熟慮
推理時(shí)間
COGS (銷售成本)
新興
預(yù)訓(xùn)練層
系統(tǒng)1思考: 快速
預(yù)訓(xùn)練
Opex/Capex (運(yùn)營支出/資本支出)
趨于成熟
示例
AlphaGoLLMs（大語言模型）機(jī)器人學(xué)
推理層
蒙特卡洛樹搜索
思維鏈
模擬
預(yù)訓(xùn)練層
3000萬
互聯(lián)網(wǎng)規(guī)模的文本
互聯(lián)網(wǎng)規(guī)模的視頻
新的擴(kuò)展定律:推理競賽已經(jīng)開始
o1論文中最重要的洞見是出現(xiàn)了一個(gè)新的擴(kuò)展定律。
預(yù)訓(xùn)練LLMs遵循一個(gè)被充分理解的擴(kuò)展定律:你在預(yù)訓(xùn)練模型上花費(fèi)的計(jì)算和數(shù)據(jù)越多,它的表現(xiàn)就越好。
o1論文為擴(kuò)展計(jì)算開辟了一個(gè)全新的平面:你給模型的推理時(shí)間(或"測試時(shí)間")計(jì)算越多,它的推理就越好。
[圖片: 來源:OpenAI o1技術(shù)報(bào)告]
當(dāng)模型可以思考數(shù)小時(shí)、數(shù)天、數(shù)十年時(shí)會發(fā)生什么?我們會解決黎曼猜想嗎?我們會回答阿西莫夫的最后一個(gè)問題嗎?
這種轉(zhuǎn)變將把我們從大規(guī)模預(yù)訓(xùn)練集群的世界轉(zhuǎn)向推理云可以根據(jù)任務(wù)的復(fù)雜性動態(tài)擴(kuò)展計(jì)算的環(huán)境。
一個(gè)模型統(tǒng)治一切?當(dāng)OpenAI、Anthropic、Google和Meta擴(kuò)展他們的推理層并開發(fā)越來越強(qiáng)大的推理機(jī)器時(shí)會發(fā)生什么?我們會有一個(gè)統(tǒng)治一切的模型嗎?
生成式AI市場最初的一個(gè)假設(shè)是,單一的模型公司將變得如此強(qiáng)大和全面,以至于它會吞并所有其他應(yīng)用。到目前為止,這個(gè)預(yù)測在兩個(gè)方面是錯(cuò)誤的。
首先,在模型層面有大量的競爭,不斷有人在SOTA能力上超越對手。有可能有人會在廣泛領(lǐng)域的自我對弈中實(shí)現(xiàn)持續(xù)的自我改進(jìn)并實(shí)現(xiàn)起飛,但目前我們還沒有看到這方面的證據(jù)。恰恰相反,模型層是一場刀光劍影的戰(zhàn)斗,自上次開發(fā)者日以來,GPT-4的每個(gè)token的價(jià)格下降了98%。
其次,除了ChatGPT這個(gè)顯著的例外,模型基本上未能作為突破性產(chǎn)品進(jìn)入應(yīng)用層�，F(xiàn)實(shí)世界是混亂的。偉大的研究人員沒有興趣去了解每個(gè)可能的垂直領(lǐng)域中每個(gè)可能功能的細(xì)節(jié)端到端工作流程。對他們來說,停留在API層面既有吸引力又在經(jīng)濟(jì)上合理,讓開發(fā)者群體去處理現(xiàn)實(shí)世界的混亂。這對應(yīng)用層來說是個(gè)好消息。
混亂的現(xiàn)實(shí)世界:定制認(rèn)知架構(gòu)
作為一名科學(xué)家,你計(jì)劃和執(zhí)行行動以達(dá)到目標(biāo)的方式,與作為一名軟件工程師的方式有很大的不同。而且,即使是在不同公司的軟件工程師,這種方式也是不同的。
隨著研究實(shí)驗(yàn)室進(jìn)一步推動橫向通用推理的邊界,我們?nèi)匀恍枰囟☉?yīng)用或領(lǐng)域的推理來提供有用的AI代理�；靵y的現(xiàn)實(shí)世界需要大量的領(lǐng)域和應(yīng)用特定的推理,這些推理無法高效地編碼到一個(gè)通用模型中。
進(jìn)入認(rèn)知架構(gòu),或者說你的系統(tǒng)如何思考:代碼流和模型交互的流程,它接收用戶輸入并執(zhí)行行動或生成響應(yīng)。
例如,在Factory的案例中,他們的每個(gè)"機(jī)器人"產(chǎn)品都有一個(gè)定制的認(rèn)知架構(gòu),模仿人類思考解決特定任務(wù)的方式,比如審查拉取請求或編寫并執(zhí)行將服務(wù)從一個(gè)后端更新到另一個(gè)后端的遷移計(jì)劃。Factory的機(jī)器人將分解所有依賴關(guān)系,提出相關(guān)的代碼更改,添加單元測試,并讓人類進(jìn)行審查。然后在批準(zhǔn)后,在開發(fā)環(huán)境中運(yùn)行所有文件的更改,如果所有測試都通過,就合并代碼。就像人類可能做的那樣在一系列離散的任務(wù)中,而不是一個(gè)通用的黑盒答案。
應(yīng)用程序發(fā)生了什么?
想象一下你想在AI領(lǐng)域創(chuàng)業(yè)。你瞄準(zhǔn)技術(shù)棧的哪一層?你想在基礎(chǔ)設(shè)施上競爭嗎?祝你好運(yùn)擊敗NVIDIA和超大規(guī)模云服務(wù)提供商。你想在模型上競爭嗎?祝你好運(yùn)擊敗OpenAI和Mark Zuckerberg。你想在應(yīng)用程序上競爭嗎?祝你好運(yùn)擊敗企業(yè)IT和全球系統(tǒng)集成商。哦,等等。這聽起來實(shí)際上是可行的!
基礎(chǔ)模型是神奇的,但它們也是混亂的。主流企業(yè)無法應(yīng)對黑盒、幻覺和笨拙的工作流程。消費(fèi)者盯著空白的提示符不知道問什么。這些都是應(yīng)用層的機(jī)會。
兩年前,許多應(yīng)用層公司被嘲笑為"只是GPT-3的包裝"。今天,這些包裝器被證明是構(gòu)建持久價(jià)值的唯一可靠方法之一。最初的"包裝器"已經(jīng)演變成"認(rèn)知架構(gòu)"。
應(yīng)用層AI公司不僅僅是基礎(chǔ)模型之上的UI。遠(yuǎn)非如此。它們有復(fù)雜的認(rèn)知架構(gòu),通常包括多個(gè)基礎(chǔ)模型,頂部有某種路由機(jī)制,用于RAG的向量和/或圖形數(shù)據(jù)庫,確保合規(guī)性的護(hù)欄,以及模仿人類可能思考工作流程的方式的應(yīng)用邏輯。
服務(wù)即軟件
云轉(zhuǎn)型是軟件即服務(wù)。軟件公司成為云服務(wù)提供商。這是一個(gè)3500億美元的機(jī)會。得益于主動推理,AI轉(zhuǎn)型是服務(wù)即軟件。軟件公司將勞動力轉(zhuǎn)化為軟件。這意味著可尋址市場不是軟件市場,而是以萬億美元計(jì)的服務(wù)市常
銷售工作意味著什么?Sierra是一個(gè)很好的例子。B2C公司將Sierra放在他們的網(wǎng)站上與客戶交談。要完成的工作是解決客戶問題。Sierra按解決問題的數(shù)量獲得報(bào)酬。沒有所謂的"席位"。你有一個(gè)要完成的工作。Sierra完成它。他們相應(yīng)地得到報(bào)酬。
這是許多AI公司的真正北極星。Sierra受益于有一個(gè)優(yōu)雅的失敗模式(升級到人工代理)。并非所有公司都如此幸運(yùn)。一個(gè)新興的模式是先部署為副駕駛(人在循環(huán)中),并利用這些重復(fù)來贏得部署為自動駕駛(無人在循環(huán)中)的機(jī)會。GitHub Copilot就是一個(gè)很好的例子。
一批新的主動應(yīng)用
隨著生成式AI的推理能力正在萌芽,一類新的主動應(yīng)用正在開始出現(xiàn)。
這些應(yīng)用層公司呈現(xiàn)什么樣的形態(tài)?有趣的是,這些公司看起來與它們云前輩不同:
云公司瞄準(zhǔn)軟件利潤池。AI公司瞄準(zhǔn)服務(wù)利潤池。
云公司銷售軟件($ / 席位)。AI公司銷售工作($ / 結(jié)果)
云公司喜歡自下而上,有無摩擦的分發(fā)。AI公司越來越多地自上而下,采用高接觸、高信任的交付模式。
我們正在看到這些主動應(yīng)用在知識經(jīng)濟(jì)的所有部門中涌現(xiàn)出一批新的應(yīng)用。以下是一些例子。
Harvey: AI律師
Glean: AI工作助手
Factory: AI軟件工程師
Abridge: AI醫(yī)療抄寫員
XBOW: AI滲透測試員
Sierra: AI客戶支持代理
通過將這些服務(wù)的邊際成本降低與不斷下降的推理成本一致這些主動應(yīng)用正在擴(kuò)展和創(chuàng)造新的市常
以XBOW為例。XBOW正在構(gòu)建一個(gè)AI"滲透測試員"。"滲透測試"或penetration test是對計(jì)算機(jī)系統(tǒng)進(jìn)行的模擬網(wǎng)絡(luò)攻擊,公司進(jìn)行這種測試是為了評估自己的安全系統(tǒng)。在生成式AI之前,公司只在有限的情況下雇用滲透測試員(例如,當(dāng)合規(guī)性要求時(shí)),因?yàn)槿斯B透測試很昂貴:這是由高技能人類執(zhí)行的手動任務(wù)。然而,XBOW現(xiàn)在正在展示基于最新推理LLMs構(gòu)建的自動化滲透測試,其性能與最高技能的人類滲透測試員相匹配。這擴(kuò)大了滲透測試市場,為各種規(guī)模的公司開啟了持續(xù)滲透測試的可能性。
這對SaaS領(lǐng)域意味著什么?
今年早些時(shí)候,我們與我們的有限合伙人會面。他們的首要問題是"AI轉(zhuǎn)型會摧毀你現(xiàn)有的云公司嗎?"
我們開始時(shí)默認(rèn)回答是"不會"。初創(chuàng)公司和現(xiàn)有公司之間的經(jīng)典戰(zhàn)斗是初創(chuàng)公司建立分銷渠道和現(xiàn)有公司開發(fā)產(chǎn)品之間的競賽。擁有酷炫產(chǎn)品的年輕公司能否在擁有客戶的現(xiàn)有公司開發(fā)出酷炫產(chǎn)品之前獲得大量客戶?鑒于AI中的大部分魔力來自基礎(chǔ)模型,我們的默認(rèn)假設(shè)是不會現(xiàn)有公司會做得很好,因?yàn)檫@些基礎(chǔ)模型對它們和創(chuàng)業(yè)公司一樣容易獲取,而且它們還有預(yù)先存在的數(shù)據(jù)和分銷優(yōu)勢。初創(chuàng)公司的主要機(jī)會不是取代現(xiàn)有軟件公司而是瞄準(zhǔn)可自動化的工作池。
話雖如此,我們現(xiàn)在不那么確定了。請參見上文關(guān)于認(rèn)知架構(gòu)的內(nèi)容。將模型的原始能力轉(zhuǎn)化為引人注目的、可靠的端到端業(yè)務(wù)解決方案需要大量的工程工作。如果我們只是大大低估了"AI原生"的意義呢?
二十年前,本地軟件公司嘲笑SaaS的想法。"有什么大不了的?我們也可以運(yùn)行自己的服務(wù)器并通過互聯(lián)網(wǎng)提供這些東西!"當(dāng)然,從概念上講這很簡單。但隨之而來的是對業(yè)務(wù)的全面重塑。EPD從瀑布式開發(fā)和PRD轉(zhuǎn)向敏捷開發(fā)和AB測試。GTM從自上而下的企業(yè)銷售和牛排晚宴轉(zhuǎn)向自下而上的PLG和產(chǎn)品分析。商業(yè)模式從高ASP和維護(hù)收入轉(zhuǎn)向高NDR和基于使用的定價(jià)。很少有本地公司完成了這個(gè)轉(zhuǎn)變。
如果AI是一個(gè)類似的轉(zhuǎn)變呢?AI的機(jī)會是否既可以銷售工作又可以替代軟件?
通過Day.ai,我們看到了未來的一瞥。Day是一個(gè)AI原生CRM。系統(tǒng)集成商通過配置Salesforce來滿足您的需求而賺取數(shù)十億美元。只需訪問您的電子郵件和日歷,并回答一頁問卷,Day就會自動生成一個(gè)完全適合您業(yè)務(wù)的CRM。它還沒有所有的鈴鐺和口哨(暫時(shí)),但自動生成的CRM的魔力,無需人工輸入即可保持新鮮,已經(jīng)讓人們開始轉(zhuǎn)向它。
投資領(lǐng)域
作為投資者,我們在哪里投入精力?資金在哪里部署?以下是我們的快速看法。
基礎(chǔ)設(shè)施
這是超大規(guī)模云服務(wù)提供商的領(lǐng)域。它受博弈論行為驅(qū)動,而非微觀經(jīng)濟(jì)學(xué)。這是風(fēng)險(xiǎn)投資家不該涉足的糟糕領(lǐng)域。
模型
這是超大規(guī)模云服務(wù)提供商和金融投資者的領(lǐng)域。超大規(guī)模云服務(wù)提供商正在用資產(chǎn)負(fù)債表換取利潤表,投資的資金最終會以計(jì)算收入的形式回流到他們的云業(yè)務(wù)。金融投資者受到"被科學(xué)震撼"偏見的影響。這些模型超級酷,這些團(tuán)隊(duì)令人難以置信地令人印象深刻。管他的微觀經(jīng)濟(jì)學(xué)呢!
開發(fā)者工具和基礎(chǔ)設(shè)施軟件
對戰(zhàn)略投資者來說不太有趣,對風(fēng)險(xiǎn)投資家來說更有趣。在云轉(zhuǎn)型期間,在這一層創(chuàng)建了約15家收入超過10億美元的公司,我們懷疑在AI領(lǐng)域也可能如此。
應(yīng)用
對風(fēng)險(xiǎn)投資最有趣的層。在云轉(zhuǎn)型期間創(chuàng)建了約20家收入超過10億美元的應(yīng)用層公司,在移動轉(zhuǎn)型期間又創(chuàng)建了約20家,我們懷疑在這里也會如此。
結(jié)束語
在生成式AI的下一幕中,我們預(yù)計(jì)將看到推理研發(fā)的影響波及到應(yīng)用層。這些漣漪既快又深。到目前為止,大多數(shù)認(rèn)知架構(gòu)都包含巧妙的"解除限制"技術(shù);現(xiàn)在這些能力正在更深入地融入模型本身,我們預(yù)計(jì)主動應(yīng)用將變得更加復(fù)雜和穩(wěn)健,而且速度很快。
回到研究實(shí)驗(yàn)室,推理和推理時(shí)計(jì)算在可預(yù)見的未來將繼續(xù)成為一個(gè)強(qiáng)烈的主題。現(xiàn)在我們有了一個(gè)新的擴(kuò)展定律,下一場競賽已經(jīng)開始。但對于任何給定的領(lǐng)域,收集真實(shí)世界的數(shù)據(jù)并編碼特定領(lǐng)域和應(yīng)用的認(rèn)知架構(gòu)仍然很困難。這再次是最后一英里應(yīng)用提供商可能在解決現(xiàn)實(shí)世界中多樣化問題方面具有優(yōu)勢的地方。
展望未來,像Factory的機(jī)器人這樣的多代理系統(tǒng)可能會開始激增,作為建模推理和社會學(xué)習(xí)過程的方式。一旦我們能夠完成工作,我們就可以有一隊(duì)工人完成更多的事情。
我們都急切地等待著生成式AI的"第37步",就像在AlphaGo與李世石的第二局比賽中那樣 - 一個(gè)通用AI系統(tǒng)以某種超人的方式讓我們感到驚訝,感覺像是獨(dú)立思考。這并不意味著AI"醒來"(AlphaGo并沒有),而是我們模擬了感知、推理和行動的過程,AI可以以真正新穎和有用的方式探索這些過程。這實(shí)際上可能是AGI,如果是這樣的話,它不會是一個(gè)單一的事件,它只會是技術(shù)的下一個(gè)階段。
