近期，OpenAI CEO Sam Altman 于東京大學(xué)內(nèi)開展了一次訪談。期間，他透露了有關(guān) OpenAI 新的推理模型、以及公司未來規(guī)劃等關(guān)鍵信息。Altman 稱，在內(nèi)部，OpenAI 的模型已經(jīng)開發(fā)到了相當(dāng)于 GPT-4.5 的水平，并且要達(dá)到 GPT-5.5 的水平并不需要像過去那樣將計(jì)算能力提升 100 倍。而這種突破背后，是 OpenAI 在模型訓(xùn)練方法上的根本性轉(zhuǎn)變。
（來源：Youtube）
“過去一年中，對我們來說，領(lǐng)域內(nèi)最重要的突破是這些能夠進(jìn)行推理的新模型，”Altman 在訪談中解釋道。這標(biāo)志著 AI 發(fā)展范式的一種轉(zhuǎn)變：從簡單依靠擴(kuò)大模型規(guī)模和增加預(yù)訓(xùn)練數(shù)據(jù)，轉(zhuǎn)向了一種更精細(xì)、更有針對性的方法。在這種新方法中，強(qiáng)化學(xué)習(xí)發(fā)揮著核心作用。
傳統(tǒng)的大語言模型遵循一個相對簡單的擴(kuò)展邏輯：每一代模型的計(jì)算能力大約是前一代的 100 倍。正如 Altman 所說：“在過去的范式中，我們只做預(yù)訓(xùn)練，從 GPT-1 到 GPT-4，每個版本都大約是前一個版本的 100 倍計(jì)算能力，每次都會出現(xiàn)重大的新特性。”然而，這種簡單的擴(kuò)展策略似乎已經(jīng)遇到了瓶頸。
為此，OpenAI 開始探索一種全新的方向：專注于開發(fā)通過強(qiáng)化學(xué)習(xí)優(yōu)化的專業(yè)化模型。
這些模型通過強(qiáng)化學(xué)習(xí)進(jìn)行優(yōu)化，特別擅長處理具有明確答案的任務(wù)，如編程和數(shù)學(xué)問題。這種方法帶來了驚人的計(jì)算效率提升，使得他們能夠用更小的模型達(dá)到此前需要等到 GPT-6 才可能實(shí)現(xiàn)的性能水平。
比如，在編程領(lǐng)域，這種新方法的效果格外明顯。他們的第一個推理模型 o1 在全球競爭性程序員中排名為前一百萬位，這在當(dāng)時就已經(jīng)被認(rèn)為是個重要突破。隨后，模型的能力快速提升，很快進(jìn)入了前一萬名。到 2024 年 12 月，他們公開發(fā)布的 o3 模型已經(jīng)達(dá)到了第 175 位。而目前，他們內(nèi)部的最新模型已經(jīng)達(dá)到約第 50 位的水平。Altman 甚至預(yù)計(jì)，在今年年底有望排名第一。
不過，這種新方法也存在其局限性�！爱�(dāng)我們采用這種新方式時，模型并不是在所有方面都會變得更好，而是在特定維度上取得突破，”他解釋道。這種專門化的特點(diǎn)使得新一代模型在編程領(lǐng)域表現(xiàn)出色，但在創(chuàng)造性任務(wù)，如發(fā)明全新算法或發(fā)現(xiàn)新的科學(xué)知識方面，仍有提升空間。
為了突破這些限制，OpenAI 正在嘗試一個新的方向：把大規(guī)模預(yù)訓(xùn)練模型與專業(yè)化的推理能力結(jié)合起來。Altman 認(rèn)為，這種結(jié)合可能帶來重要突破，帶來“在真正新的科學(xué)知識上的第一個跡象或某種生命跡象�！�
實(shí)際上，DeepSeek-R1 這款推理模型已將強(qiáng)化學(xué)習(xí)帶來的推理能力泛化到了其他領(lǐng)域，給寫作等通用場帶來的能力提升，已經(jīng)讓我們看到這種可能。
圖丨 Andrej Karpathy 關(guān)于強(qiáng)化學(xué)習(xí)能否泛化的看法（來源：X）
在訪談中，Altman 還透露了 OpenAI 在未來的規(guī)劃。他表示，在未來 6 到 12 個月內(nèi)，他們將專注于開發(fā)小型但高效的推理模型。這些模型不僅要在科學(xué)和技術(shù)領(lǐng)域保持優(yōu)勢，還將逐步擴(kuò)展到其他領(lǐng)域。同時，他們也在努力實(shí)現(xiàn)多模態(tài)集成，讓用戶能夠同時使用語音、代碼編寫、畫布創(chuàng)作等多種功能。
“到今年年底，我們希望能夠推出一個新的模型，“Altman 說，“如果用戶使用 Pro 版本，將計(jì)算能力調(diào)到最大，就能向它提出非常困難的問題。雖然這個模型可能需要幾個小時的思考時間，可能需要使用多種工具，但最終能夠獨(dú)立完成任務(wù)。不過現(xiàn)在還不能期待它發(fā)現(xiàn)全新的科學(xué)原理�！�
另外，在開源問題上，OpenAI 的立場正在發(fā)生微妙的變化。這一變化部分正是對 Deepseek 發(fā)布開源推理模型 R1 的回應(yīng)。“我們會走向開源，”Altman 說，“雖然我現(xiàn)在還不能確切說明會開源什么或什么時候開源，但社會似乎已經(jīng)準(zhǔn)備好接受開源模型帶來的各種影響�！�
Altman 表示，OpenAI 在確保模型安全性和穩(wěn)健性方面已經(jīng)取得了進(jìn)展。雖然開源模型的使用方式可能不會完全符合預(yù)期，但他們相信在大多數(shù)情況下，這些模型會發(fā)揮應(yīng)有的作用。
2025 年，OpenAI 會如 Altman 所宣稱的那樣更開放、更領(lǐng)先嗎？讓我們拭目以待。
參考資料：
1. https://www.youtube.com/watch?v=8LmfkUb2uIY
排版：初嘉實(shí)
