OpenAI最強模型o1的護城河已經沒有了?
僅在OpenAI發(fā)布最新推理模型o1幾日之后，海外社交平臺Reddit上有網友發(fā)帖稱谷歌Deepmind在8月發(fā)表的一篇論文內容與o1模型原理幾乎一致，OpenAI的護城河不復存在。
澎湃科技（www.thepaper.cn)注意到，谷歌DeepMind團隊于今年8月6日發(fā)布上述論文，題為《優(yōu)化LLM測試時計算比擴大模型參數(shù)規(guī)模更高效》（Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters）。
谷歌DeepMind團隊于今年8月6日發(fā)布的論文
在這篇論文中，研究團隊探討了大模型（LLM）在面對復雜問題時，是否可以通過增加測試時的計算量來提高決策質量。這項研究表明，增加測試時（test-timecompute）計算比擴展模型參數(shù)更有效。基于論文提出的計算最優(yōu)（compute-optimal）測試時計算擴展策略，規(guī)模較小的基礎模型在一些任務上可以超越一個14倍大的模型。
無獨有偶，另一篇由谷歌和斯坦福大學研究人員于今年1月發(fā)表的論文《思維鏈賦能Transformer解決本質上的串行問題》（Chain of Thought Empowers Transformers to Solve Inherently Serial Problems）也提出了類似的觀點。該論文探討了“思維鏈”（Chain of Thought，簡稱CoT）技術，旨在突破Transformer模型在串行推理方面的限制。
傳統(tǒng)的Transformer模型擅長并行計算，但在處理需要邏輯推理的復雜問題時表現(xiàn)欠佳。CoT的核心思想是讓模型模擬人類的思考方式，通過生成一系列中間推理步驟，來解決復雜問題。
OpenAI近期發(fā)布的o1模型，或正是上述理念的實踐。o1模型在給出答案之前，會生成一系列中間推理步驟，不斷完善自己的思維過程，嘗試不同的策略，并能識別自身錯誤。隨著更多的強化學習和思考時間，o1的性能持續(xù)提升。
有網友表示，“所有的秘密突破和算法最終都會隨著頂尖開發(fā)者在行業(yè)內的流動而傳播到其他公司和開源社區(qū)。”谷歌也表示沒有人擁有護城河，這也促使OpenAI將o1-mini的速度提高7倍，每天都能使用50條；o1-preview則提高每周50條。
有網友評論道：“唯一可能形成護城河的是硬件，至少在可預見的未來是這樣。”也有人認為，如果AI大模型公司無法解決對顯存的依賴，英偉達可能會直接掌控誰能夠獲得計算能力。而如果微軟或谷歌開發(fā)出在自研芯片上運行速度快10倍的模型，情況也會變化。
目前，英偉達在AI大模型算力的分配上占據主導地位。值得注意的是，OpenAI近期也被曝出其首款芯片計劃，采用臺積電最先進的A16級工藝，專為Sora視頻應用打造。這些跡象表明，大模型的競爭已不僅局限于模型本身，硬件能力也成為關鍵因素。在AI領域，誰能擁有更強大的算力，誰就可能在下一階段的競爭中占據優(yōu)勢。
