劃重點
01OpenAI舉行年度開發(fā)者大會DevDay，推出四大創(chuàng)新工具：提示詞緩存、視覺微調、實時API和模型蒸餾。
02提示詞緩存可減少輸入token成本多達50%，降低開發(fā)者成本并提高模型視覺理解水平。
03視覺微調功能讓開發(fā)者能用圖像和文本自定義模型的視覺理解功能，對自動駕駛汽車等領域產生深遠影響。
04實時API簡化了構建語音助手和其他對話式AI工具的過程，為各行業(yè)語音App開辟了廣泛的可能性。
05模型蒸餾讓小模型也可擁有尖端模型功能，有助于化解AI行業(yè)尖端系統(tǒng)與易于訪問系統(tǒng)之間的鴻溝。
以上內容由騰訊混元大模型生成，僅供參考
本文作者：李丹
來源：硬AI
美東時間10月1日周二，OpenAI舉行了年度開發(fā)者大會DevDay，今年的大會并沒有任何重大的產品發(fā)布，相比去年大會顯得更低調，但OpenAI也為開發(fā)者派發(fā)了幾個大“禮包”，對現有的人工智能（AI）工具和API套件做了改進。
本次OpenAI DevDay推出一系列新工具，主要包括四大創(chuàng)新：提示詞緩存（Prompt Caching）、視覺微調（Vision Fine-Tuning）、實時API（Realtime API）、模型蒸餾（Model Distillation），在降低模型成本、提高模型視覺理解水平、提升語音AI功能和小模型性能方面，給開發(fā)者帶來福音。
有評論稱，今年DevDay的重點是提高開發(fā)者的能力和展示開發(fā)者圈子的故事，這表明隨著AI領域的競爭日益激烈，OpenAI的戰(zhàn)略發(fā)生了轉變。上述新工具突出表明，OpenAI的戰(zhàn)略重點是：增強其開發(fā)者的生態(tài)系統(tǒng)，而不是直接在終端用戶應用領域競爭。
有媒體提到，在DevDay活動前的記者會上，OpenAI的首席產品官Kevin Weil談及最近OpenAI首席技術官Mira Murati和首席研究官Bob McGrew離職，稱他們離開不會影響公司發(fā)展，“我們不會放慢腳步”。
提示詞緩存（Prompt Caching）可減少輸入token成本多達50%
提示詞緩存被視為本次DevDay發(fā)布的最重要更新。該功能旨在降低開發(fā)者的成本、減少延遲。
OpenAI引入的提示詞緩存系統(tǒng)自動對模型最近處理的輸入token提供50%的折扣，這可能會讓經常重復使用上下文的應用程序App得到大量節(jié)剩如此大幅降低成本給企業(yè)和初創(chuàng)公司提供了探索新應用的重大機遇，因為這些應用以前由于費用高昂無法實現。
OpenAI 平臺產品負責人 Olivier Godement稱，兩年前GPT-3大獲成功，現在OpenAI已經將相關成本降低了將近1000倍。他舉不出來其他任何一個兩年內能將成本降低同樣幅度的例子。
以下OpenAI的圖表展示了，提示詞緩存可以大幅降低應用AI模型的成本，相比各種GDP模型的非緩存token，緩存輸入token的成本可以減少多達50%。
視覺微調（Vision Fine-Tuning）：視覺AI新前沿
OpenAI DevDay公布，OpenAI最新的大語言模型（LLM） GPT-4o 引入了視覺微調。此功能讓開發(fā)者能用圖像和文本自定義模型的視覺理解功能。
這是被稱為視覺AI新前沿的重大更新。它可能會對自動駕駛汽車、醫(yī)學成像和視覺搜索功能等領域產生深遠影響。
OpenAI 稱，東南亞版“美團+滴滴” Grab 已經利用這項技術改進其地圖服務。僅使用 100 個示例，Grab 就讓車道計數的準確率提高了20%，限速標志定位率提高13%。
這種現實世界的App展示了視覺微調的可能性，即使用小批量的視覺訓練數據，顯著增強各行各業(yè)的AI服務。
實時 API（Realtime API）彌補對話式 AI 的差距
OpenAI DevDay發(fā)布了實時 API，目前處于公開測試beta階段。實時API 本質上簡化了構建語音助手和其他對話式 AI 工具的過程，無需將多個模型拼接在一起進行轉錄、推理和文本到語音的轉換。
這項新產品讓開發(fā)人員能創(chuàng)建低延遲的多模態(tài)體驗，尤其是在語音轉語音App中。這意味著開發(fā)人員可以開始將 ChatGPT 的語音控件添加到App中。
為了說明該 API 的潛力，OpenAI 展示了 Wanderlust 的更新版本，它是一款在去年大會上展示過的旅行規(guī)劃App。
借助實時 API，用戶可以直接與新版App對話，進行自然對話來規(guī)劃行程。該系統(tǒng)甚至允許用戶在語句中間打斷，模仿人類之間的對話。
旅行規(guī)劃只是一個例子，實時 API 為各個行業(yè)的語音App開辟了廣泛的可能性。無論是專攻客服、教育領域還是殘障人士使用的無障礙工具，開發(fā)者現在都可以利用新的資源創(chuàng)造更直觀、響應更快的AI驅動體驗。
包括營養(yǎng)和健身指導App Healthify 和語言學習平臺 Speak在內，一些App已經將先行一步，將實時API融合到自身產品中。
有評論稱，實時API 的定價并不便宜，每分鐘音頻輸入收費0.06 美元，每分鐘音頻輸出收費0.24 美元，但對于希望創(chuàng)建基于語音App的開發(fā)人員來說，它仍然可以代表一個重要的價值主張。
模型蒸餾（Model Distillation）讓小模型也可擁有尖端模型功能
模型蒸餾被視為OpenAI此次最具變革性的新工具。這種集成的工作流程讓開發(fā)人員能通過使用諸如GPT o1-preview 和 GPT-4o這類尖端模型的輸出，對相對較小且經濟實用的高校模型進行微調，從而提高更高效模型、如 GPT-4o mini的性能。
這種方法讓小公司也可能利用與尖端模型類似的功能，并且無需承擔使用這類模型的計算成本。它有助于化解 AI 行業(yè)長期以來在尖端、資源密集型系統(tǒng)與更易于訪問但功能較弱的系統(tǒng)之間的鴻溝。
比如一家從事醫(yī)療技術的小型初創(chuàng)公司要為農村的診所開發(fā)一種AI 驅動的診斷工具。使用模型蒸餾，該公司可以訓練一個緊湊的模型，該模型可以捕捉大模型的大部分診斷能力，同時只需要在標準的筆記本電腦或平板電腦上運行。
因此，模型蒸餾可以讓資源受限的環(huán)境也能享有復雜的 AI 功能，有可能提高醫(yī)療服務欠發(fā)達地區(qū)的醫(yī)療保健水平。
