AI的下一個(gè)飛躍似乎沒(méi)法準(zhǔn)時(shí)報(bào)道了。
當(dāng)?shù)貢r(shí)間20日，據(jù)《華爾街日?qǐng)?bào)》報(bào)道，OpenAI的新一代人工智能項(xiàng)目GPT-5（代號(hào)Orion）正面臨重重困難。該項(xiàng)目已開(kāi)發(fā)超過(guò)18個(gè)月，成本花費(fèi)巨大，卻仍未取得預(yù)期成果。
有知情人士透露稱，OpenAI的最大“金主”微軟原本預(yù)計(jì)能在2024年中期左右看到新模型。而OpenAI曾進(jìn)行過(guò)至少兩次大規(guī)模訓(xùn)練，每次都耗時(shí)數(shù)月并消耗海量數(shù)據(jù)，但每次都出現(xiàn)新問(wèn)題，軟件無(wú)法達(dá)到研究人員所期望的結(jié)果。
分析認(rèn)為，世界上可能沒(méi)有足夠的數(shù)據(jù)讓它變得足夠聰明。
巨額成本令人咋舌，GPT-5項(xiàng)目進(jìn)展不順
分析師此前預(yù)測(cè)，科技巨頭們可能會(huì)在未來(lái)幾年在人工智能項(xiàng)目上投入1萬(wàn)億美元。還有估算顯示，GPT-5一次為期6個(gè)月的訓(xùn)練僅計(jì)算成本就高達(dá)約5億美元。OpenAI首席執(zhí)行官Sam Altman則表示，未來(lái)的AI模型成本預(yù)計(jì)將超過(guò)10億美元。但了解該項(xiàng)目的人士表示：
“雖然Orion的表現(xiàn)較OpenAI目前的產(chǎn)品有所提升，但還不足以證明其巨額運(yùn)營(yíng)成本的合理性�！�
今年10月，投資者給予OpenAI的1570億美元估值很大程度上是基于Altman的預(yù)測(cè)，他此前稱，GPT-5將是一次“重大飛躍”，他還曾說(shuō)GPT-4表現(xiàn)得像一個(gè)聰明的高中生，但最終的GPT-5實(shí)際上在某些任務(wù)上更像擁有博士學(xué)位。
報(bào)道稱，GPT-5應(yīng)該能夠解鎖新的科學(xué)發(fā)現(xiàn)，并完成諸如預(yù)約或航班等日常人類任務(wù)。研究人員希望它犯的錯(cuò)誤會(huì)比現(xiàn)有的AI少，或者至少承認(rèn)“懷疑”，因?yàn)槟壳暗哪Ｐ涂赡軙?huì)產(chǎn)生幻覺(jué)。
不過(guò)，對(duì)于“何時(shí)能成為足夠聰明的AI”還沒(méi)有固定的標(biāo)準(zhǔn)，更多的是憑感覺(jué)。
而到目前為止，正在開(kāi)發(fā)中的GPT-5給人的感覺(jué)還是不夠強(qiáng)。Altman在11月表示，“2024年內(nèi)不會(huì)發(fā)布任何名為GPT-5的產(chǎn)品”。
數(shù)據(jù)短缺成為主要瓶頸
為了不使巨額投資“打水漂”，研究人員試圖通過(guò)小規(guī)模試運(yùn)行來(lái)最大限度地降低這種失敗的幾率。
但是，GPT-5的計(jì)劃似乎從一開(kāi)始就存在問(wèn)題。2023年年中，OpenAI開(kāi)始了一次訓(xùn)練運(yùn)行，同時(shí)也是對(duì)Orion擬議的新設(shè)計(jì)的測(cè)試。但這個(gè)過(guò)程進(jìn)展緩慢，這表明更大規(guī)模的訓(xùn)練可能需要非常長(zhǎng)的時(shí)間，而這反過(guò)來(lái)又會(huì)使成本變得異常高昂。
OpenAI的研究人員決定進(jìn)行一些技術(shù)調(diào)整來(lái)增強(qiáng)Orion，他們還發(fā)現(xiàn)，要讓Orion變得更智能，就需要更多高質(zhì)量、多樣化的數(shù)據(jù)。模型的測(cè)試是一個(gè)持續(xù)的過(guò)程，大規(guī)模的訓(xùn)練運(yùn)行可能需要幾個(gè)月的時(shí)間，數(shù)萬(wàn)億個(gè)token會(huì)被“投喂”給模型。
然而，公共互聯(lián)網(wǎng)上的新聞文章、社交媒體帖子、科學(xué)論文等數(shù)據(jù)已不足以滿足需求。DatologyAI首席執(zhí)行官Ari Morcos說(shuō)：
“這變得非常昂貴，而且很難找到更多同等高質(zhì)量的數(shù)據(jù)�！�
為解決這一問(wèn)題，OpenAI選擇從頭開(kāi)始創(chuàng)建數(shù)據(jù)。他們雇傭軟件工程師和數(shù)學(xué)家等專業(yè)人士編寫(xiě)新代碼或解決數(shù)學(xué)問(wèn)題，以此作為訓(xùn)練數(shù)據(jù)。
公司還與理論物理學(xué)等領(lǐng)域的專家合作，解釋他們將如何處理該領(lǐng)域最棘手的問(wèn)題，但這個(gè)過(guò)程非常緩慢，GPT-4的訓(xùn)練使用了大約13萬(wàn)億個(gè)token。即便有1000人每天寫(xiě)5000字，數(shù)月之內(nèi)也只能產(chǎn)生10億個(gè)token。
OpenAI也開(kāi)始開(kāi)發(fā)“合成數(shù)據(jù)”，利用AI生成的數(shù)據(jù)來(lái)訓(xùn)練Orion，并認(rèn)為可以通過(guò)使用其另一個(gè)AI模型o1生成的數(shù)據(jù)來(lái)避免故障。
谷歌迎頭趕上，OpenAI慌不擇路？
今年，隨著谷歌推出了最受歡迎的新AI應(yīng)用程序NotebookLM，OpenAI更慌了。
由于Orion停滯不前，公司開(kāi)始開(kāi)發(fā)其他項(xiàng)目和應(yīng)用程序，包括精簡(jiǎn)版的GPT-4和可以制作AI生成視頻的Sora。但知情人士表示，這導(dǎo)致了開(kāi)發(fā)新產(chǎn)品的團(tuán)隊(duì)和 Orion研究人員之間需要爭(zhēng)奪有限的計(jì)算資源。
另外，OpenAI也正在開(kāi)發(fā)更先進(jìn)的推理模型，認(rèn)為通過(guò)讓AI“思考”更長(zhǎng)時(shí)間，可以解決訓(xùn)練中未遇到過(guò)的復(fù)雜問(wèn)題。
然而，這些新策略也面臨挑戰(zhàn)。蘋(píng)果公司的研究人員發(fā)現(xiàn)，包括OpenAI的o1在內(nèi)的推理模型很可能只是在模仿訓(xùn)練數(shù)據(jù)，而非真正解決新問(wèn)題。此外，o1生成多個(gè)答案的方法也大大增加了運(yùn)營(yíng)成本。
盡管如此，OpenAI仍在堅(jiān)持不懈地推進(jìn)GPT-5的開(kāi)發(fā)。周五，Altman宣布了一個(gè)比以往任何產(chǎn)品都更智能的新推理模型計(jì)劃，但未透露何時(shí)或是否會(huì)推出堪稱GPT-5的模型。
