新智元報道
編輯：編輯部 HYZ【新智元導(dǎo)讀】OpenAI o3的智商，竟然已經(jīng)高達157，碾壓99%的人類？這張OpenAI模型智商圖全網(wǎng)瘋轉(zhuǎn)。甚至有人大膽預(yù)測：達到陶哲軒智商（225-230）的大模型，應(yīng)該會很快出現(xiàn)了。o3智商竟有157，堪比愛因斯坦？
今天，一張OpenAI模型智商圖，在全網(wǎng)傳遍了。
基于編程競賽Codeforces排名評分
圖中清晰可見，能夠達到o3智商水平的人類大約占比僅有0.0075%。
13333人當(dāng)中，也僅有1人IQ是o3級別的。對于GPT-4o，6人當(dāng)中就有1人能夠達到IQ 115的水平。
從GPT-4o、到o1系，再到o3系，模型IQ逐漸遞增，也僅用了1年時間，實現(xiàn)了質(zhì)的飛躍。即便是最強o1 pro（IQ為139），o3完全領(lǐng)先近20分。
有網(wǎng)友表示，用不了多久，我們口袋里就會擁有一個IQ 157的智能。
還有人稱，陶哲軒智商大約在225-230之間，未來模型很快就能達到這個水平。
o3超高智商背后
o3發(fā)布之后，很多人都認(rèn)為AGI實現(xiàn)了。
從o1到o3，OpenAI僅用了3個月；從o1 pro到o3，僅用了1個月。種種跡象表明，Scaling Law并未終結(jié)。
過去五年，OpenAI模型在ARC-AGI上的得分，也說明了一切。
OpenAI研究員Nat McAleese在o3發(fā)布當(dāng)天，分享了一些關(guān)于模型的介紹。
他表示，o3代表著通過強化學(xué)習(xí)在通用領(lǐng)域的巨大進步。
o1是首個大規(guī)模推理模型，也僅僅是一個通過RL訓(xùn)練的大模型。o3是通過在o1基礎(chǔ)上，進一步scaling強化學(xué)習(xí)而開發(fā)的。
我們已經(jīng)看到，o3在世界上最具競爭的編程基準(zhǔn)CodeForces中得分超2700，完全達到了國際大師的水平。
與此同時，o3在數(shù)學(xué)基準(zhǔn)FrontierMath驚艷表現(xiàn)令人生畏，甚至擊穿了陶哲軒的預(yù)言。
在Keras之父Franois Chollet轉(zhuǎn)寫的報告中，也解釋了o3與以往舊模型之間的區(qū)別：
o3的核心創(chuàng)新點在于，實現(xiàn)了token空間內(nèi)自研語言程序搜索和執(zhí)行。在測試時，它會搜索可能的CoT空間，并尋描述解決任務(wù)所需的步驟，由評估模型引導(dǎo)搜索過程。
而且，他表示，這種方式與AlphaZero的蒙特卡洛樹搜索并無太大差異。
本質(zhì)上，o3是一種深度學(xué)習(xí)引導(dǎo)的程序搜索形式。
不過，即便o3進化速度如此瘋狂，OpnenAI研究員Will depue表示，這還不是AGI，我們還有很長的路要走。
o3 ARC-AGI測試被曝「作弊」？
而且就在最近，o3的ARC-AGI測試結(jié)果，在圈內(nèi)引起了不小的爭議。
要知道，這個基準(zhǔn)設(shè)立的初衷，就是專門找到那些對人類很容易，對AI來說卻很難的題目。
根據(jù)OpenAI的說法，在ARC-AGI這個基準(zhǔn)測試中，o3在低計算模式下，在半私有評估中的得分為75.7%；在高計算模式下，得分為87.5%。
而人類在該任務(wù)上的表現(xiàn)通常在85%的水平，也就是說，o3在高計算模式下，已經(jīng)超越了人類。
這個結(jié)果，引起了多人的質(zhì)疑：OpenAI不會專門針對這個任務(wù)做過訓(xùn)練吧？
要知道，在直播的第12天，奧特曼專門強調(diào)過，「并未對模型做過特殊處理」。
對此，心細(xì)的網(wǎng)友們紛紛展開調(diào)查。
比如這位名為Knight Lee的網(wǎng)友，就表示o3在ARC-AGI上的分?jǐn)?shù)是經(jīng)過微調(diào)的，而之前的AI分?jǐn)?shù)并沒有被微調(diào)。
他表示，o3的一個主要優(yōu)勢，就是接受過示例測試問題的明確訓(xùn)練而已。
之所以有這樣的觀點，是他引用了ARC-AGI設(shè)計師Franois Chollet的說法
OpenAI分享說，他們測試的o3是在公共訓(xùn)練集75%的數(shù)據(jù)上進行訓(xùn)練的。他們尚未透露更多細(xì)節(jié)。我們尚未測試未經(jīng)ARC數(shù)據(jù)訓(xùn)的模型，因此尚不清楚其性能有多少歸因于ARC-AGI數(shù)據(jù)。
這個這個說法為真，那o3所取得的分?jǐn)?shù)，顯然占了很大便宜。
OpenAI研究員Zach Stein-Perlman反駁說，他們沒有針對ARC對o3做過微調(diào)。
不過今天出來的o3智商157的結(jié)果，至少可以為它的性能稍稍正名了。
o4才是Orion？
而且，在o3之后，或許還會有IQ更強的模型現(xiàn)身。
Information獨家爆料稱，o3并不是代號為Orion的模型。相對的，Orion可能會作為o4的基礎(chǔ)模型。
OpenAI研究員Jason Wei稱，從o1到o3僅用了3個月的時間，這表明在新范式下，進展遠(yuǎn)快于預(yù)訓(xùn)練范式每1-2年更新一次模型的速度。
推理模型的優(yōu)勢在于，利用更多計算資源思考之后，能夠彌補預(yù)訓(xùn)練的放緩速度。
也正因此，o3推理代價是高昂的。ARC-AGI基準(zhǔn)測試報告中，已經(jīng)披露了o3在每個高計算任務(wù)中的成本會超過1000美金。
這也充分解釋了，OpenAI博士級AI助手能達到每月2000美元的原因。
另一位OpenAI研究員John Hallman對此表示，當(dāng)Sam和我們研究人員說AGI即將到來時，我們不是為了給你畫大餅，不是為了推2000美元的訂閱，也不是為了誘騙你投資我們的下一輪融資。它真的要來了。
目前，不清楚的是，o3對普通ChatGPT用戶能帶來多大幫助。
o3可能在編程、數(shù)學(xué)、科學(xué)領(lǐng)域表現(xiàn)，對編程、數(shù)學(xué)和科學(xué)領(lǐng)域的人員幫助最大，包括那些研究極其困難問題（如核聚變能源）的研究人員。
而對于普通用戶而言，新模型可能有點「大材小用」。
雖然o3表現(xiàn)出色，其他科技巨頭也不甘示弱。
谷歌強勢推出了Gemini 2.0 Flash、視頻模型Veo 2，以及由耗資30億美金聘請AI研究員Noam Shazeer開發(fā)的推理模型。
一些對價格敏感的開發(fā)者，紛紛轉(zhuǎn)向了谷歌Flash模型。
可以看出，推理模型仍將繼續(xù)超進化迭代，2025年也將會如今年一樣令人興奮。
參考資料：https://x.com/i_dg23/status/1871135348069482993https://x.com/kimmonismus/status/1871162085675253977https://x.com/SmokeAwayyy/status/1871273888191221922https://www.theinformation.com/articles/openai-wows-the-crowd-as-new-scaling-law-passes-its-first-test?rc=epv9gi
