本報(bào)記者 陳佳嵐 廣州報(bào)道
生成式AI正跑步進(jìn)入移動(dòng)時(shí)代。
《中國(guó)經(jīng)營(yíng)報(bào)》記者注意到，自2023年7月以來(lái)，包括榮耀、小米、華為、OPPO、vivo在內(nèi)的國(guó)內(nèi)主要手機(jī)廠商，都已經(jīng)將生成式AI帶入手機(jī)終端；而且在實(shí)踐層面上，國(guó)產(chǎn)手機(jī)廠商布局大模型已經(jīng)產(chǎn)生了兩種不同的路徑：一種是榮耀、小米引入端側(cè)AI大模型，另一種是華為、OPPO、vivo采用的“端云協(xié)同”部署方案。
端側(cè)大模型的實(shí)現(xiàn)，離不開手機(jī)芯片廠商的支持。記者注意到，手機(jī)芯片廠商聯(lián)發(fā)科（MediaTek）11月21日發(fā)布天璣8300 5G生成式AI移動(dòng)芯片，采用臺(tái)積電第二代4nm制程，在11月初，聯(lián)發(fā)科還發(fā)布了天璣9300旗艦5G生成式AI移動(dòng)芯片；而高通亦于10月底率先推出驍龍8Gen3，將生成式人工智能功能直接引入SoC系統(tǒng)級(jí)芯片組中。
隨著SoC芯片巨頭為在手機(jī)上跑大模型奠定硬件基儲(chǔ)手機(jī)廠商們紛紛支持大模型的應(yīng)用，這也就意味著端側(cè)AI應(yīng)用或迎來(lái)爆發(fā)。
不過(guò)，多位行業(yè)人士提醒記者，端側(cè)大模型對(duì)手機(jī)硬件來(lái)說(shuō)仍是不小的負(fù)擔(dān)，可能導(dǎo)致手機(jī)發(fā)燙、電池壽命縮短、續(xù)航能力下降等問(wèn)題。
手機(jī)紛紛落地大模型
在手機(jī)上使用大模型已經(jīng)不是什么新鮮事，ChatGPT、文心一言、訊飛星火大模型等都推出了APP，甚至文心一言、訊飛星火大模型可以接入學(xué)習(xí)平板、學(xué)習(xí)機(jī)中，但這些應(yīng)用都是依賴云端算力。而現(xiàn)在的趨勢(shì)是，手機(jī)廠商正在努力使大模型直接在手機(jī)終端運(yùn)行，不依賴于網(wǎng)絡(luò)。端側(cè)的模型應(yīng)用成為不容忽視的重要場(chǎng)景。
終端側(cè)AI，是指將AI的處理和數(shù)據(jù)存儲(chǔ)、計(jì)算等任務(wù)放在終端設(shè)備（如手機(jī)、電腦等）上執(zhí)行。終端側(cè)AI的優(yōu)勢(shì)在于低延遲、低功耗、高隱私保護(hù)和低成本等方面。而端側(cè)大模型，也意味著即使不聯(lián)網(wǎng)，也可以在本地完成計(jì)算。
7月，榮耀發(fā)布了Magic V2折疊屏手機(jī)，聲稱是“全球首款原生集成AI大模型的國(guó)產(chǎn)手機(jī)”。10月，榮耀CEO趙明宣布，榮耀Magic6系列將搭載第三代驍龍8移動(dòng)平臺(tái)，支持70億參數(shù)的端側(cè)AI大模型。
8月，小米創(chuàng)始人、董事長(zhǎng)兼CEO雷軍透露，小米做大模型的思路是輕量化和本地部署，并表示目前手機(jī)端側(cè)的大模型已經(jīng)初步跑通。
在“端云協(xié)同”部署方案中，例如，華為的智慧助手“小藝”背后的大模型有端側(cè)和云側(cè)兩種形態(tài)，可以根據(jù)不同設(shè)備和場(chǎng)景的需求進(jìn)行處理。這種處理方式最大化地發(fā)揮了“端側(cè)快”和“云側(cè)強(qiáng)”的優(yōu)勢(shì)。
再比如，OPPO AndesGPT以“端云協(xié)同”為基礎(chǔ)架構(gòu)設(shè)計(jì)思路，推出從十億至千億以上多種不同參數(shù)規(guī)模的模型規(guī)格，能夠基于“端云分工、端云互補(bǔ)、端云協(xié)作”等方式，靈活支撐多元化的應(yīng)用場(chǎng)景。AndesGPT著重強(qiáng)調(diào)了“對(duì)話增強(qiáng)、個(gè)性專屬、端云協(xié)同”三個(gè)層面的技術(shù)特性。
vivo大模型亦采用了云側(cè)和端側(cè)兩種方式進(jìn)行部署。在vivo X100系列手機(jī)上，vivo與聯(lián)發(fā)科合作，實(shí)現(xiàn)全球首個(gè)跑通了130億參數(shù)的大模型，端側(cè)支持70億參數(shù)的大模型手機(jī)。此外，vivo OriginOS 4在端側(cè)部署了具有10億參數(shù)的大模型，同時(shí)在云側(cè)部署了660億和1300億參數(shù)的大模型。vivo的五個(gè)大模型通過(guò)云側(cè)和端側(cè)的融合，構(gòu)成了一個(gè)大模型矩陣，可以快速響應(yīng)各種問(wèn)題和需求。
而在PC產(chǎn)品方面，聯(lián)想在其Tech World創(chuàng)新科技大會(huì)上展示了端側(cè)大模型方面的能力以及首款A(yù)I PC。
隨著主流手機(jī)、PC廠商紛紛將落地端側(cè)大模型，分析人士稱，AI手機(jī)和AI PC正成為一個(gè)新趨勢(shì)，下游端側(cè)AI設(shè)備需求量有望增長(zhǎng)。
端側(cè)部署邏輯何在
終端廠商們紛紛都有端側(cè)落地的方案，背后都是希望智能手機(jī)端側(cè)AI模型支持本地問(wèn)答、語(yǔ)音互動(dòng)等功能。
據(jù)了解，與云端的通用大模型相比，端側(cè)模型不需要將用戶的數(shù)據(jù)上傳到云端進(jìn)行處理，因此可以更好地保護(hù)用戶的隱私。端側(cè)模型可以在本地進(jìn)行計(jì)算，避免了網(wǎng)絡(luò)延遲和帶寬限制，提高了計(jì)算效率。
此外，成本也是手機(jī)廠商在布局大模型時(shí)候會(huì)選擇端側(cè)的原因。中信研報(bào)提到，ChatGPT測(cè)算生成一條信息的成本在1.3美分（約合人民幣0.0929元）左右，是目前傳統(tǒng)搜索引擎的3到4倍，單次搜索成本過(guò)于高昂。
vivo副總裁、OS產(chǎn)品副總裁周圍在接受記者采訪時(shí)就提到，如果需要調(diào)用云端大模型的話，目前最少也要0.012元，以vivo3億用戶來(lái)看，每天用十次，一年算下來(lái)也要100億元左右的支出，成本非常高，但如果在手機(jī)端側(cè)運(yùn)行大模型，則不會(huì)產(chǎn)生推理成本。
可靠性方面，與云端互聯(lián)的網(wǎng)絡(luò)可能不穩(wěn)定、甚至斷線。決策在本地大幅降低了數(shù)據(jù)經(jīng)過(guò)更長(zhǎng)的通路產(chǎn)生錯(cuò)誤的概率。終端側(cè)AI處理能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時(shí)，提供媲美云端甚至更佳的性能。根據(jù)浙商證券研報(bào)中引用的“Cloud vs On-device AI？ Maybe something in between！”的測(cè)算，如果所有的推理案例都在云服務(wù)器上進(jìn)行，準(zhǔn)確率是79.31%；如果49.88% 的推理案例在移動(dòng)端進(jìn)行，其余在云端進(jìn)行，仍可達(dá)到79.31%的云級(jí)準(zhǔn)確率。
而芯片廠商們也敏銳識(shí)別到了手機(jī)廠商的訴求。比如，高通發(fā)布的驍龍8 gen3支持包括Meta Llama2、Chat GPT等在內(nèi)的多模型生成式AI，其可處理的大模型參數(shù)超過(guò)100億，推理速度達(dá)到了每秒20個(gè)token。
再比如聯(lián)發(fā)科發(fā)布生成式AI移動(dòng)芯片天璣9300，集成第七代AI處理器APU 790，結(jié)合內(nèi)存硬件壓縮技術(shù)NeuroPilot Compression來(lái)減少AI大模型對(duì)終端內(nèi)存的占用，天璣9300支持在終端運(yùn)行10億、70億、130億參數(shù)的AI大模型，聯(lián)發(fā)科的AI開發(fā)平臺(tái)NeuroPilot支持Android、Meta Llama 2、百度文心一言大模型、百川智能百川大模型等主流AI大模型。
在PC端，英特爾預(yù)計(jì)于2023年12月14日發(fā)布面向下一代AI PC的酷睿Ultra處理器，且公布了“AI PC 加速計(jì)劃”，宣布將為軟件合作伙伴提供工程軟件和資源，以期在2025年前為超過(guò)1億臺(tái) PC 實(shí)現(xiàn)人工智能特性。
中銀證券發(fā)布研報(bào)指出，隨著高通和聯(lián)發(fā)科相繼發(fā)布支持邊緣AI功能的旗艦SoC，未來(lái)手機(jī)有望部署本地大模型。預(yù)計(jì)隨著生成式大模型進(jìn)入移動(dòng)時(shí)代，對(duì)應(yīng)的邊緣 AI 需求也有望迎來(lái)較快增長(zhǎng)。
IDC則預(yù)測(cè)，到2026年中國(guó)市場(chǎng)近50%的終端設(shè)備處理器將帶有AI引擎，AI落地空間廣闊。AI手機(jī)是智能手機(jī)行業(yè)大勢(shì)所趨。光大證券認(rèn)為，AI手機(jī)等智能終端可能成為未來(lái)消費(fèi)電子行業(yè)變革的方向。
不過(guò)，當(dāng)端側(cè)大模型漸成趨勢(shì)之后，相比通用大模型，端側(cè)大模型仍存在一些不足和缺點(diǎn)。
IDC中國(guó)高級(jí)分析師郭天翔對(duì)記者提醒道，目前端側(cè)的算力要求比較高，功耗較大，更為重要的是端側(cè)大模型的參數(shù)量級(jí)無(wú)法與通用大模型相比。
而未來(lái)移動(dòng)端布局大模型更有可能是端側(cè)大模型和網(wǎng)絡(luò)側(cè)的大模型相結(jié)合。
榮耀公司CEO趙明表示：“真正幫助我們更好管理自己的事情的時(shí)候還是要靠端側(cè) AI 能力，而未來(lái)一定是端側(cè)大模型和網(wǎng)絡(luò)側(cè)的大模型相結(jié)合�；旌鲜紸I未來(lái)能夠真正解決我們的問(wèn)題。目前榮耀已經(jīng)和很多云側(cè)大模型供應(yīng)商進(jìn)行溝通，醞釀端云大模型互補(bǔ)的落地。”而郭天翔亦認(rèn)為，未來(lái)移動(dòng)端布局大模型的趨勢(shì)也是端側(cè)大模型和網(wǎng)絡(luò)側(cè)的大模型相結(jié)合，這樣既可以保證有體量較大的參數(shù)量級(jí)，可以帶來(lái)更好的使用體驗(yàn)，又能結(jié)合本地算力，在無(wú)法聯(lián)網(wǎng)的情況下使用。
產(chǎn)業(yè)鏈準(zhǔn)備好了？
而隨著生成式AI加速落地終端，也將對(duì)上游產(chǎn)業(yè)鏈帶來(lái)影響。郭天翔對(duì)記者分析，這種情況將對(duì)高算力的芯片、大存儲(chǔ)組合、大密度電池等提出更高要求。
麥格理（Macquarie）最新發(fā)布的報(bào)告就提到，支持終端側(cè)AI大模型功能的智能手機(jī)將需要比以前更大容量的內(nèi)存。目前主流的智能手機(jī)多是配備8GB RAM，具有AI 自動(dòng)生成圖像功能的設(shè)備至少要配備12GB RAM，具有數(shù)字AI助手功能的設(shè)備需要大約20GB RAM。
實(shí)際上，記者留意到，由于終端設(shè)備的算力有限，一些芯片、手機(jī)廠商對(duì)落地在手機(jī)中的大模型都進(jìn)行了壓縮。比如，在手機(jī)端，高通已經(jīng)將FP32模型量化壓縮到INT4模型，實(shí)現(xiàn)64GB內(nèi)存和計(jì)算能效提升。vivo通過(guò)模型壓縮、異構(gòu)計(jì)算等手段，讓模型可以在手機(jī)CPU、GPU等硬件上高效執(zhí)行。
TrendForce集邦咨詢分析師黃郁對(duì)記者分析，目前AI功能主要是搭載在旗艦手機(jī)上，而安卓旗艦機(jī)一般都配置有12GB、16GB的容量，足以應(yīng)付初階的AI功能所需，不過(guò)的確會(huì)帶動(dòng)旗艦機(jī)向更高內(nèi)存轉(zhuǎn)進(jìn)，之后隨著AI在終端的應(yīng)用更趨成熟，內(nèi)存容量會(huì)進(jìn)一步向上推升。
郭天翔亦對(duì)記者分析，未來(lái)肯定會(huì)推動(dòng)手機(jī)存儲(chǔ)向更大容量發(fā)展，可能目前落地使用最大24GB的RAM在未來(lái)就只是起步內(nèi)存了。
聯(lián)發(fā)科無(wú)線通信事業(yè)部AI技術(shù)高級(jí)經(jīng)理莊世榮就曾表示，一款130億參數(shù)的AI大模型，大概需要13GB 內(nèi)存 (INT8)才能運(yùn)行，而智能手機(jī)本身運(yùn)行安卓操作系統(tǒng)通常就要占用4GB的內(nèi)存，如果還要相對(duì)流暢地運(yùn)行其他常規(guī)APP任務(wù)并�；�，還需要6GB的內(nèi)存，即總的手機(jī)內(nèi)存容量需求將達(dá)到23GB。
不過(guò)，生成式AI的發(fā)展，對(duì)推動(dòng)存儲(chǔ)芯片需求回暖、存儲(chǔ)價(jià)格回升仍有限。黃郁表示，對(duì)于今明兩年而言，存儲(chǔ)需求受到AI應(yīng)用鼓舞的成分還很低，目前主要仍是透過(guò)全面的終端需求好轉(zhuǎn)，或是原廠控制產(chǎn)出的影響為主。
