劃重點
01OpenAI在倫敦開發(fā)者日上展示了o1-mini，通過圖像理解控制無人機飛行，引發(fā)觀眾驚嘆。
02產(chǎn)品部負責(zé)人Olivier Godement透露，o1新功能包括功能調(diào)用、開發(fā)者消息、流媒體、結(jié)構(gòu)化輸出和圖像理解五個方面。
03奧特曼表示，推理模型對OpenAI尤為重要，有望解鎖許多新科學(xué)領(lǐng)域的貢獻和復(fù)雜代碼編寫。
04除此之外，OpenAI還開源了一個評估語言模型回答簡短、事實性問題能力的新基準，名為SimpleQA。
05奧特曼認為，大模型的大多數(shù)缺點將在未來幾代中逐步消失，應(yīng)構(gòu)建能利用未來優(yōu)勢的模型。
以上內(nèi)容由大模型生成，僅供參考
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
OpenAI在Cursor里用o1-mini現(xiàn)場捏應(yīng)用，兩分鐘，直接控制無人機飛行。
引得臺下觀眾傳來陣陣驚呼：
如此操作，剛剛發(fā)生在OpenAI倫敦開發(fā)者日活動上。作為OpenAI的“科技春晚”，真是好不熱鬧，現(xiàn)場擠滿了人從眾。
OpenAI產(chǎn)品部負責(zé)人Olivier Godement還劇透了一波o1新功能
包含功能調(diào)用、開發(fā)者消息、流媒體、結(jié)構(gòu)化輸出、圖像理解5個方面。
奧特曼在之后的問答環(huán)節(jié)表示不想劇透，但透露“圖像模型將很快迎來顯著提升”。他提到，復(fù)制現(xiàn)有模型并不難，而讓他為OpenAI感到自豪的是，他們始終在創(chuàng)造新的突破。
網(wǎng)友們聽到這里更興奮了：
不確定他指的是圖像生成還是圖像分析，還是兩者都有。但想象一下用圖像token進行推理。如果你面臨一個視覺問題，或許可以逐步地把問題可視化。我目前還沒有在其它模型中真正看到過類似的功能。
OpenAI要在圖像方面發(fā)力其實也早有跡可循。
不久前，兩位清華校友路橙、宋就在OpenAI發(fā)布最新圖像生成研究。
他們簡化了一致性模型，僅用兩步采樣，就能使生成質(zhì)量與擴散模型相媲美，速度是擴散模型的50倍。
此外，對于OpenAI所說的圖像模型，還有人猜測不會是前幾天登頂文生圖競技場的爆火神秘小熊貓（red_panda）吧？
但這種說法很快就被否定了。
小熊貓背后團隊Recraft AI已發(fā)推文認領(lǐng)，這是他們的新模型recraft-v3。
總之，o1這次算是吊足了大伙兒的胃口，網(wǎng)友喊話趕緊發(fā)4.5o和5-preview：
雖然很棒，但現(xiàn)在仍沒有一款編碼能打Sonnet的模型。
奧特曼還說了啥在現(xiàn)場，奧特曼還被問到OpenAI的發(fā)展方向是更像o1這樣的模型，還是會有更大規(guī)模的模型？
他表示想在各方面都變得更好，但推理模型的發(fā)展對OpenAI尤其重要。
我認為推理能力將解鎖我們多年來期望實現(xiàn)的許多事情，比如在新科學(xué)領(lǐng)域做出貢獻，或幫助編寫非常復(fù)雜的代碼，這些都會帶來顯著的推動。所以，大家應(yīng)該期待o系列模型會快速改進，這對我們來說具有重要的戰(zhàn)略意義。
在談?wù)摰健笆裁词茿gent”、“它們可以做什么”，奧特曼表示Agent是一個可以接受長期執(zhí)行任務(wù)，并在執(zhí)行過程中只需很少監(jiān)督的東西。
奧特曼認為大家最常舉的一個例子是可以讓Agent幫忙預(yù)訂餐廳，它可以用在線餐廳預(yù)訂平臺OpenTable或者是直接打電話到餐廳。
這確實能為人們減少一些工作，但更有趣的事是能創(chuàng)造一個世界，在那里可以做一些人類無法或不愿做的事。
比如與其讓Agent打電話給餐廳預(yù)訂座位，不如讓Agent打給300家，找到最好吃或是最有特色的那一家，它可以并行處理大量任務(wù)。
Agent成為一個非常聰明的高級同事，你可以和它在項目上協(xié)作，也可以讓它獨立去做兩天甚至兩周的任務(wù)，做好后帶著成果回來與你交流。
接下來，奧特曼還被問到最敬重的競爭對手是哪個，他提到的第一個就是Cursor AI，但隨后又補充道：
我的意思是，我現(xiàn)在有點尊敬這個領(lǐng)域里的每個人。我認為整個領(lǐng)域正在涌現(xiàn)出非常了不起的工作，而且有許多才華橫溢、非常努力的人。我不是想回避問題，而是想說我可以指出很多非常厲害的人在做非常出色的工作。
要知道，昨天微軟剛剛宣布了GitHub Copilot接入Claude和Gemini。
奧特曼轉(zhuǎn)頭給了微軟競爭對手Cursor AI一個點贊……
此外，奧特曼還被問到最令人興奮的AI應(yīng)用場景是什么，他再次Q到Agent：
大家關(guān)注的點各不相同，有很多不同的方式可以解決這個問題，但我希望能有一種AI能夠理解你整個人生。它不一定需要擁有無限的上下文，但能夠有一個AI Agent，某種程度上知道關(guān)于你的一切，能夠訪問你所有的數(shù)據(jù)之類的東西。
奧特曼還認為大模型的大多數(shù)缺點將在未來幾代中逐步消失。
不要構(gòu)建一個填補漏洞或繞過模型缺陷的工具，而是構(gòu)建一個能利用未來優(yōu)勢的模型。
One More Thing除了預(yù)告，OpenAI還有最新動作
開源了一個評估語言模型回答簡短、事實性問題能力的新基準，名為SimpleQA。
論文共同一作是去年在X上約戰(zhàn)提示詞決斗引得大伙兒紛紛圍觀的Jason Wei（思維鏈開山論文一作）和Karina Nguyen（提示詞決斗那會兒還在Anthropic，現(xiàn)已是OpenAI工程師）。
有意思的是，o1-mini和o1-preview在此基準上都不及格，而且兩者相差還很大：
參考鏈接：[1]https://twitter.com/idonotwritecode/status/1851565982889713962[2]https://twitter.com/stevenheidel/status/1851574257819562195[3]https://x.com/kimmonismus/status/1851708364503552312[4]https://twitter.com/OpenAI/status/1851680760539025639[5]https://twitter.com/AymericRoucher/status/1851657127410151461[6]https://www.youtube.com/watch?v=VTeRZqUHi4E[7]https://x.com/caromcc_/status/1851570587287601237
