于是乎，技術(shù)的聚光燈再次對(duì)焦到了**大模型和RAG的組合**。
具體而言，向量數(shù)據(jù)庫(kù)讓大模型能夠快速有效地檢索和處理大量的向量數(shù)據(jù)，為大模型提供了更豐富和準(zhǔn)確的信息，從而增強(qiáng)了模型的整體性能和應(yīng)用范圍。
可以說(shuō)是讓大模型有了“好記憶”，減少出現(xiàn)答非所問(wèn)的情況。
而且這一次，小模型專業(yè)化的新趨勢(shì)還對(duì)RAG中的向量數(shù)據(jù)庫(kù)提出了更高的要求：
一方面是小模型存儲(chǔ)的知識(shí)少了，對(duì)于外部知識(shí)存儲(chǔ)和檢索的質(zhì)量要求就更高。
另一方面是AI應(yīng)用落地的腳步加快，面對(duì)多用戶、高并發(fā)的場(chǎng)景，對(duì)整個(gè)系統(tǒng)的性能也更高。
在此背景下，業(yè)界先進(jìn)企業(yè)正將目光投向更強(qiáng)大的**分布式向量數(shù)據(jù)庫(kù)**。
向量數(shù)據(jù)庫(kù)代表玩家**星環(huán)科技**就和**英特爾**強(qiáng)強(qiáng)聯(lián)手，對(duì)此提出了一種新解法：
用更強(qiáng)性能的數(shù)據(jù)中心CPU與酷睿 Ultra支持的AI PC組合，加上專門優(yōu)化過(guò)的分布式向量數(shù)據(jù)庫(kù)，提供更經(jīng)濟(jì)、更通用的方案，有效解決企業(yè)部署大模型的瓶頸問(wèn)題。
分布式向量數(shù)據(jù)庫(kù)推動(dòng)大模型應(yīng)用落地
正如我們剛才提到的，RAG的重要組成部分就是外掛的專業(yè)知識(shí)庫(kù)，因此這個(gè)知識(shí)庫(kù)中需得涵蓋能夠精準(zhǔn)回答問(wèn)題所需要的專業(yè)知識(shí)和規(guī)則。
而要構(gòu)建這個(gè)外掛知識(shí)庫(kù)，常見(jiàn)的方法包括向量數(shù)據(jù)庫(kù)、知識(shí)圖譜，甚至也可以直接把ElasticSearch數(shù)據(jù)接入。
但由于向量數(shù)據(jù)庫(kù)具備對(duì)高維向量的檢索能力，能夠跟大模型很好地匹配，效果也較好，所以成為了目前主流的形式。
向量數(shù)據(jù)庫(kù)可以對(duì)向量化后的數(shù)據(jù)進(jìn)行高效的存儲(chǔ)、處理與管理。
如下圖展示的那樣，數(shù)據(jù)向量化過(guò)程利用了諸如詞向量模型和卷積神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)。
通過(guò)Embedding過(guò)程，這些技術(shù)能夠?qū)⑽谋�、圖像、音視頻等多種形式的數(shù)據(jù)轉(zhuǎn)換成向量形式，并將其存儲(chǔ)在向量數(shù)據(jù)庫(kù)中。
至于向量數(shù)據(jù)庫(kù)的查詢功能，則是通過(guò)計(jì)算向量間的相似度來(lái)實(shí)現(xiàn)的。
星環(huán)科技所提出的創(chuàng)新成果，便是**無(wú)涯問(wèn)知Infinity Intelligence**。
這是一款基于星環(huán)大模型底座，結(jié)合個(gè)人知識(shí)庫(kù)、企業(yè)知識(shí)庫(kù)、法律法規(guī)、財(cái)經(jīng)等多種知識(shí)源的企業(yè)級(jí)垂直領(lǐng)域問(wèn)答產(chǎn)品，可以實(shí)現(xiàn)企業(yè)級(jí)智能問(wèn)答。
例如面對(duì)“國(guó)家大基金三期會(huì)投向哪些領(lǐng)域”這樣非常專業(yè)的問(wèn)題，無(wú)涯問(wèn)知不僅可以輕松作答，還能提供相關(guān)圖譜、關(guān)鍵信息等：
而且還能圖文并茂地展示作答：
上傳本地的視頻文件等，無(wú)涯問(wèn)知“唰唰唰”地就可以做總結(jié)：
整體來(lái)看，無(wú)涯問(wèn)知在**個(gè)人知識(shí)庫(kù)**上，支持用戶一鍵上傳文檔、表格、圖片、音視頻等多模態(tài)數(shù)據(jù)，快速實(shí)現(xiàn)海量多模知識(shí)的檢索與智能問(wèn)答。
在**企業(yè)知識(shí)庫(kù)**方面，則是通過(guò)管理端構(gòu)建企業(yè)知識(shí)庫(kù)后，員工可以基于企業(yè)知識(shí)庫(kù)進(jìn)行問(wèn)答，知識(shí)庫(kù)作為企業(yè)內(nèi)部的知識(shí)共享平臺(tái)，促進(jìn)不同團(tuán)隊(duì)和部門之間的協(xié)作和信息交流。
除此之外，無(wú)涯問(wèn)知內(nèi)置了各大交易所的交易規(guī)則、監(jiān)管要求等常見(jiàn)的**法律法規(guī)知識(shí)**，用戶可針對(duì)法律法規(guī)的具體條款、監(jiān)管規(guī)則、試行辦法等提出問(wèn)題，無(wú)涯問(wèn)知將提供法律風(fēng)險(xiǎn)預(yù)警以及應(yīng)對(duì)建議。
它還內(nèi)置了豐富的上市公司財(cái)報(bào)和產(chǎn)業(yè)鏈圖譜數(shù)據(jù)，能夠?yàn)榻鹑跈C(jī)構(gòu)提供全面深入的**投資研究分析工具**。
即便是面對(duì)金融、法律等眾多既要求時(shí)效性、又要求數(shù)據(jù)隱私的行業(yè)，星環(huán)也有無(wú)需上云聯(lián)網(wǎng)的無(wú)涯問(wèn)知AI PC版，它可以在配備英特爾 酷睿 Ultra的主流個(gè)人電腦上，基于集成顯卡和NPU流暢運(yùn)行。
它不僅具備強(qiáng)大的本地化向量庫(kù)，支持多格式、不限長(zhǎng)度的文件資料入庫(kù)，還支持影、音、圖、文等多模態(tài)數(shù)據(jù)的“知識(shí)化”處理，以及“語(yǔ)義化”查詢和應(yīng)用能力，極大地豐富了知識(shí)獲取和應(yīng)用場(chǎng)景。
無(wú)涯問(wèn)知可以算是星環(huán)知識(shí)平臺(tái)Transwarp Knowledge Hub中重要的組成部分，其為用戶打通了從人工智能基礎(chǔ)設(shè)施建設(shè)到大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用的完整鏈條。
值得一提的是，TKH同樣提供了AI PC版本，基于本地大模型技術(shù)，能夠回答用戶各類問(wèn)題，為用戶帶來(lái)文檔總結(jié)、知識(shí)問(wèn)答等全新體驗(yàn)，同時(shí)保障用戶隱私數(shù)據(jù)安全。
AI PC版本星環(huán)大模型知識(shí)庫(kù)提供本地大模型和遠(yuǎn)程大模型供選擇，簡(jiǎn)單問(wèn)題可以由本地模型快速處理，而復(fù)雜疑難問(wèn)題則可以提交給云端大模型進(jìn)行深入分析。
這種彈性擴(kuò)展的能力，確保了企業(yè)在面對(duì)不同挑戰(zhàn)時(shí)，都能夠獲得足夠的計(jì)算支持。
而這一系列產(chǎn)品之所以能夠做到在云端和本地都能提供高效的知識(shí)管理和智能化工具，離不開(kāi)星環(huán)科技自研的幾個(gè)關(guān)鍵技術(shù)。
首先就是基于星環(huán)自研**向量數(shù)據(jù)庫(kù)Hippo的向量索引技術(shù)**，能夠在龐大的數(shù)據(jù)集中快速精準(zhǔn)地召回相關(guān)信息，提升了信息檢索的速度和準(zhǔn)確性，使模型在處理查詢時(shí)更加高效。
其次是利用了**圖計(jì)算框架**，讓大模型能夠識(shí)別實(shí)體間的多層次關(guān)系，從而進(jìn)行深度的關(guān)聯(lián)分析，提供了更為深入和準(zhǔn)確的洞察結(jié)論。
在**數(shù)據(jù)**方面，覆蓋官方資訊、門戶類網(wǎng)站、自媒體財(cái)經(jīng)等1600多個(gè)信息源，涵蓋了全市場(chǎng)的各類宏觀、價(jià)格指數(shù)以及大部分新聞數(shù)據(jù)。
不僅包括通常渠道可獲取的數(shù)據(jù)，還包含高可信度、擁有第一手資料的新聞合作商數(shù)據(jù)，同時(shí)也對(duì)所有官方政策數(shù)據(jù)進(jìn)行實(shí)時(shí)全覆蓋。
但隨著大模型的發(fā)展，數(shù)據(jù)規(guī)�？芍^是極速暴增，這就對(duì)數(shù)據(jù)庫(kù)和智能問(wèn)答的性能提出更高要求。
因此，數(shù)據(jù)壓縮、算力提升也成為了各個(gè)大模型玩家發(fā)力的關(guān)鍵點(diǎn)。
在這方面，星環(huán)科技與英特爾深度合作，從端側(cè)的AIPC到后端的數(shù)據(jù)中心和云，通過(guò)軟硬協(xié)同優(yōu)化為大模型的應(yīng)用落地打造了可行的方案。
CPU助力向量數(shù)據(jù)庫(kù)應(yīng)用性能大幅提升
向量數(shù)據(jù)庫(kù)搭配CPU，其實(shí)本來(lái)就已經(jīng)是行業(yè)內(nèi)現(xiàn)階段的主流共識(shí)。
究其原因，向量相似度檢索、高密度向量聚類等都屬于CPU密集型負(fù)載。因此，CPU的性能至關(guān)重要。
第五代英特爾 至強(qiáng) 可擴(kuò)展處理器，正是帶來(lái)了一系列面向AI時(shí)代的關(guān)鍵特性更新。
首先，它搭載了更大容量的高帶寬內(nèi)存，有效緩解了向量數(shù)據(jù)庫(kù)中數(shù)據(jù)密集型工作負(fù)載的內(nèi)存墻問(wèn)題。
此外，它還集成了英特爾 AMX（高級(jí)矩陣擴(kuò)展）加速引擎，能高效地處理向量數(shù)據(jù)庫(kù)查詢所需的矩陣乘法運(yùn)算，并在單次運(yùn)算中處理更大矩陣。
對(duì)于云端部署的版本來(lái)說(shuō)，搭載第五代至強(qiáng) 處理器后，星環(huán)Transwarp Hippo的整體性能較第三代提升高達(dá)2.07倍。
那么本地AI算力，是否能支撐在AI PC上使用大模型來(lái)支持企業(yè)應(yīng)用呢？
星環(huán)嘗試后給出了答案：完全夠用。
從AI PC誕生到現(xiàn)在近一年時(shí)間，整體AI算力提升了200%多，能耗又降低了50%。
這背后就要?dú)w功于英特爾 酷睿 Ultra系列CPU的升級(jí)改進(jìn)了。
在最新的英特爾 酷睿 Ultra 處理器 （第二代）200V系列處理器支持下，整個(gè)AI PC平臺(tái)算力最高能達(dá)到120 TOPS。
特別是其中搭載的第四代NPU，性能比上一代強(qiáng)大4倍，非常適合在節(jié)能的同時(shí)運(yùn)行持續(xù)的AI工作負(fù)載。
在軟件層面，英特爾和星環(huán)合作，還對(duì)數(shù)據(jù)庫(kù)底層做了性能優(yōu)化。
通過(guò)水平擴(kuò)展架構(gòu)、基于CPU的向量化指令優(yōu)化、多元芯片加速等技術(shù)，有助于分布式向量數(shù)據(jù)庫(kù)發(fā)揮并行檢索能力，為海量、多維向量處理提供強(qiáng)大算力支持。
經(jīng)過(guò)優(yōu)化后的Transwarp Hippo實(shí)現(xiàn)了海量、高維度向量數(shù)據(jù)處理，并具備低時(shí)延、高精確度等優(yōu)勢(shì)。
同時(shí)提升了Transwarp Hippo了服務(wù)器節(jié)點(diǎn)的性能密度，在性能提升的同時(shí)，具備更高的每瓦性能，有助于節(jié)省單位性能的能耗支出，最終體現(xiàn)為降低總體擁有成本 (TCO)。
存算融合趨勢(shì)明顯，CPU大有可為
隨著OpenAI o1系列為代表的大模型不斷革新算法，大模型推理時(shí)的算力消耗正在飛速攀升，對(duì)支撐大模型運(yùn)轉(zhuǎn)的基礎(chǔ)設(shè)施平臺(tái)提出了更高的要求。
特別是對(duì)于需要頻繁訪問(wèn)外部知識(shí)庫(kù)的大模型應(yīng)用，存儲(chǔ)與計(jì)算深度融合儼然成為當(dāng)務(wù)之急。
在這一技術(shù)變革大潮中，CPU成為其中關(guān)鍵角色之一。
此外，英特爾基于CPU的解決方案還為用戶帶來(lái)了更具成本優(yōu)勢(shì)的選擇。由于通用CPU擁有成熟、完善的供應(yīng)鏈體系和生態(tài)支持，企業(yè)用戶可以獲得穩(wěn)定可靠的算力供給。
同時(shí)，英特爾 至強(qiáng) 和酷睿 處理器能同時(shí)覆蓋端側(cè)和云側(cè)的算力需求，為不同的應(yīng)用場(chǎng)景提供強(qiáng)大的支持。
展望未來(lái)，存算一體化的趨勢(shì)將愈發(fā)明顯。
從大模型應(yīng)用的角度看，知識(shí)檢索和AI推理將不再?zèng)芪挤置鳎巧疃冉豢�、彼此�?qiáng)化。
在這樣一個(gè)智能融合的未來(lái)圖景中，CPU作為連接存儲(chǔ)、網(wǎng)絡(luò)和各類加速器的紐帶，其地位將變得舉足輕重。(文章來(lái)源：量子位，作者：夢(mèng)晨 金磊”)
