IT之家 10 月 13 日消息,蘋果公司現(xiàn)已為旗下多模態(tài)大模型 MM推出1.5版本,該版本模型基于前代 MM1 的架構,繼續(xù)延續(xù)數(shù)據(jù)驅(qū)動的訓練原則,重點研究在不同訓練周期中混合不同類型數(shù)據(jù)對模型性能的影響。
目前相關模型文檔已發(fā)布于 Hugging Face 上,IT之家附論文地址如下(點此訪問)。
該版本模型提供 10 億-300億多種參數(shù)規(guī)模,擁有圖像識別和自然語言推理能力。蘋果公司研發(fā)人員在新版本中改進了數(shù)據(jù)混合策略,顯著提升了模型在多文本圖像理解、視覺引用與定位(Grounding)以及多圖像推理方面的能力。
參考論文,團隊在 MM1.5 的持續(xù)預訓練階段引入了高質(zhì)量的 OCR 數(shù)據(jù)和合成圖像描述,顯著提升了模型對包含大量文本的圖像的理解能力。
此外,研究人員在監(jiān)督式微調(diào)階段分析了不同數(shù)據(jù)類型對模型表現(xiàn)的影響,優(yōu)化了視覺指令微調(diào)數(shù)據(jù)的混合方式,從而為模型實現(xiàn)了更高的效率,團隊表示,即便是小規(guī)模的模型(10、30 億參數(shù)版本)也能表現(xiàn)出色。
值得關注的是,蘋果公司本次還推出了專門用于視頻理解的 MM1.5-Video 模型和專門處理移動設備用戶界面(UI)理解的 MM1.5-UI 模型,其中 MM1.5-UI 模型未來有望作為iOS幕后的“蘋果牌”AI,其能夠處理各種視覺引用與定位任務、總結(jié)屏幕上的功能,或者通過與用戶的對話進行交互。
盡管 MM1.5 模型在多項基準測試中取得了優(yōu)秀表現(xiàn),蘋果團隊仍計劃通過進一步融合文本、圖像和用戶交互數(shù)據(jù),設計更復雜的架構,來提升模型對移動設備 UI 的理解能力,加強“蘋果牌”AI的實力。