劃重點(diǎn)
01國(guó)內(nèi)首個(gè)UI大模型Motiff妙多通過高質(zhì)量專業(yè)數(shù)據(jù)和個(gè)性化模型架構(gòu)，實(shí)現(xiàn)了效果和能力上的超越。
02為此，Motiff妙多通過提高知識(shí)密度、生成合成數(shù)據(jù)，構(gòu)建了一批優(yōu)質(zhì)UI數(shù)據(jù)，并個(gè)性化調(diào)整模型架構(gòu)。
03與此同時(shí)，Motiff妙多采用切圖策略，保持長(zhǎng)寬比和精準(zhǔn)定位，提升模型在UI領(lǐng)域的表現(xiàn)。
04基于自研大模型，Motiff妙多開創(chuàng)了AI復(fù)制、AI設(shè)計(jì)系統(tǒng)等功能，使AI生成UI功能迅速躋身行業(yè)前列。
05未來，Motiff妙多將繼續(xù)迭代大模型技術(shù)，為設(shè)計(jì)師提供更高效、更智能的設(shè)計(jì)工具，推動(dòng)UI設(shè)計(jì)行業(yè)變革。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
隨著大模型加速應(yīng)用落地，提高模型訓(xùn)練效率成為更受關(guān)注的議題。在10 月 18 日召開的 2024 QCon 大會(huì)上，Motiff 妙多 AI 負(fù)責(zé)人趙薇分享了國(guó)內(nèi)首個(gè) UI 大模型的開發(fā)經(jīng)歷。趙薇介紹，相比于常見的“大力出奇跡”做法，Motiff 妙多選擇了“四兩撥千斤”。憑借高質(zhì)量的專業(yè)數(shù)據(jù)和個(gè)性化的模型架構(gòu)，Motiff 妙多大模型在效果和能力上超越了 GPT-4o 和蘋果的 Ferret UI，并追平了訓(xùn)練數(shù)據(jù)多 40 倍的 Google ScreenAI 大模型。
（Motiff 妙多 AI 負(fù)責(zé)人趙薇 QCon 演講現(xiàn)場(chǎng)）
Motiff 妙多大模型在數(shù)據(jù)、模型架構(gòu)和訓(xùn)練方法上進(jìn)行了多次創(chuàng)新。UI 領(lǐng)域的訓(xùn)練數(shù)據(jù)比通用領(lǐng)域少一個(gè)量級(jí)，Motiff 妙多通過提高知識(shí)密度、生成合成數(shù)據(jù)，構(gòu)建了一批優(yōu)質(zhì) UI 數(shù)據(jù)，并根據(jù) UI 領(lǐng)域需求個(gè)性化調(diào)整模型架構(gòu)。這些調(diào)整使得 Motiff 妙多大模型適配 UI 領(lǐng)域特點(diǎn)，具備“支持輸入高清”、“保持圖片長(zhǎng)寬比”和“精準(zhǔn)定位”三大優(yōu)勢(shì)。
“基于自研大模型，我們能以較低成本快速孵化 AI 應(yīng)用。”趙薇表示，自研大模型加持下，Motiff 妙多開創(chuàng)了 AI 復(fù)制、 AI 設(shè)計(jì)系統(tǒng)等功能，AI 生成 UI 功能也迅速躋身行業(yè)前列。Motiff 妙多大模型不失為一個(gè)典型的樣本：當(dāng)通用大模型在專業(yè)領(lǐng)域“失靈”時(shí)，AI 應(yīng)用企業(yè)如何通過自研領(lǐng)域大模型助力應(yīng)用創(chuàng)新？
大模型對(duì)齊訓(xùn)練“少即是多”，數(shù)據(jù)質(zhì)量是關(guān)鍵當(dāng)前，通用大模型在處理復(fù)雜任務(wù)和理解多種數(shù)據(jù)方面表現(xiàn)出色，但在特定領(lǐng)域依然存在明顯的局限性。例如，GPT-4 在 UI 領(lǐng)域錯(cuò)誤率超過 70%，理解和生成用戶界面表現(xiàn)不佳。作為 AI 時(shí)代設(shè)計(jì)工具，Motiff 妙多需要構(gòu)建一個(gè)“UI知識(shí)體系完整”和“UI技能豐富”的專業(yè)大模型。
構(gòu)建大模型的首要問題是數(shù)據(jù)。為克服UI 領(lǐng)域高質(zhì)量圖片數(shù)據(jù)量較孝數(shù)據(jù)任務(wù)不夠豐富的挑戰(zhàn)，Motiff 妙多通過增加知識(shí)密度和加入基于專家模型生成的合成數(shù)據(jù)，構(gòu)建了一批高質(zhì)量、具有專業(yè)知識(shí)的 UI 數(shù)據(jù)。
“數(shù)據(jù)量少并不是問題，高密度才是關(guān)鍵。”趙薇表示，在領(lǐng)域遷移中，不用海量的 UI 領(lǐng)域?qū)R數(shù)據(jù)，依然可以實(shí)現(xiàn)有效對(duì)齊。
如何提高信息密度？Motiff 妙多對(duì) UI 數(shù)據(jù)進(jìn)行了多維度的內(nèi)容分析和層次結(jié)構(gòu)描述。對(duì)每張UI圖片，Motiff 妙多從布局、組件、功能、視覺效果和設(shè)計(jì)風(fēng)格等多維度深入分析，并增加了 UI 特有的結(jié)構(gòu)和定位知識(shí)。在隨機(jī)采樣的 1 萬(wàn)條數(shù)據(jù)中，每張圖片的描述 token 數(shù)量從 20 增長(zhǎng)到 628，信息密度提升了 30.4 倍。
在生成合成數(shù)據(jù)過程中，Motiff 妙多引入了多個(gè)專家模型，將大量的專家知識(shí)提煉到合成數(shù)據(jù)中。以圖標(biāo)描述數(shù)據(jù)的合成為例，在整合人類專家知識(shí)后，Motiff 妙多的數(shù)據(jù)更加細(xì)粒度且情境相關(guān)。比如，針對(duì)“愛心”圖標(biāo)，Google 的 ScreenAI 大模型只能描述圖標(biāo)類別，而 Motiff 妙多大模型能夠生成具體的功能描述，如“收藏按鈕”。
（通過長(zhǎng)期積累的專家模型，為合成數(shù)據(jù)注入大量專業(yè)知識(shí)）
豐富多樣、接近真實(shí)世界的數(shù)據(jù)使得訓(xùn)練出的模型具備解決復(fù)雜問題的能力。在五個(gè)行業(yè)公認(rèn)的 UI 能力基準(zhǔn)測(cè)試集中，Motiff 妙多大模型的各項(xiàng)指標(biāo)均超過了 GPT-4o 和蘋果的 Ferret UI，多項(xiàng)指標(biāo)追平谷歌的 ScreenAI ，并在 Screen2Words（界面描述與推斷）和 Widget Captioning（部件描述）兩大指標(biāo)上超越了 ScreenAI 。要知道，ScreenAI 在訓(xùn)練時(shí)用了近 4 億條訓(xùn)練數(shù)據(jù)，相比之下，Motiff 妙多大模型所用的訓(xùn)練數(shù)據(jù)不到其 2%。
強(qiáng)化領(lǐng)域模型優(yōu)勢(shì)，快速孵化 AI 功能在完成數(shù)據(jù)收集與構(gòu)建后，便進(jìn)入模型基座與訓(xùn)練階段。多模態(tài)大模型在近年來快速發(fā)展，但大多缺乏對(duì) UI 領(lǐng)域的特殊適配。趙薇指出，通用模型在 UI 領(lǐng)域容易出現(xiàn)文字識(shí)別幻覺和定位偏移，這讓Motiff 妙多團(tuán)隊(duì)更加重視視覺編碼器和位置感知訓(xùn)練。
通用視覺編碼器在處理高分辨率和復(fù)雜布局時(shí)有明顯的缺陷，容易導(dǎo)致信息丟失。因此，Motiff 妙多采用切圖策略，將高清圖片切成多張小圖送入模型，確保信息完整并提升細(xì)節(jié)敏感度。
（Motiff 妙多大模型架構(gòu)）
Motiff 妙多通過保持長(zhǎng)寬比和精準(zhǔn)定位，進(jìn)一步增強(qiáng)模型表現(xiàn)。通用大模型通常忽視了精準(zhǔn)定位的能力，而 Motiff 妙多通過補(bǔ)充切割后小圖的位置信息，提升了模型的位置感知。
通過改進(jìn)模型基座，Motiff 妙多大模型更適配 UI 領(lǐng)域任務(wù)，具備 “支持輸入高清”、“保持圖片長(zhǎng)寬比”、“精準(zhǔn)定位” 三大優(yōu)勢(shì)，能更好地理解和處理 UI 設(shè)計(jì)中的復(fù)雜元素。
“基于大模型的 AI 應(yīng)用有啟動(dòng)成本低、算法建模簡(jiǎn)單、任務(wù)更加復(fù)雜等特點(diǎn)。”趙薇說。以 Motiff 妙多大模型為底座，團(tuán)隊(duì)迅速開創(chuàng)和升級(jí)了 AI 設(shè)計(jì)系統(tǒng)、AI 生成 UI 等功能。
以Motiff 妙多首創(chuàng)的 AI 設(shè)計(jì)系統(tǒng)功能為例，該功能能精確定位并理解設(shè)計(jì)稿中的所有設(shè)計(jì)組件。對(duì)于難以區(qū)分的組件（如button 和 tag），Motiff 妙多大模型都能準(zhǔn)確識(shí)別，準(zhǔn)確率提升至 95% 以上。
趙薇稱，Motiff 妙多計(jì)劃在未來持續(xù)迭代大模型技術(shù)。實(shí)踐證明，AI 在 UI 設(shè)計(jì)中的應(yīng)用潛力巨大，Motiff 妙多將致力于 AI 與 UI 設(shè)計(jì)的深度融合，為設(shè)計(jì)師提供更高效、更智能的設(shè)計(jì)工具，推動(dòng) UI 設(shè)計(jì)行業(yè)變革。
