劃重點(diǎn)
01惠普與星環(huán)科技合作推出AI一體機(jī)，集成高算力與大模型，降低使用門(mén)檻，提高企業(yè)大模型輕量化落地效率。
02該一體機(jī)基于惠普Z(yǔ)系列AI工作站，適配并搭載了星環(huán)的Sophon LLMops大模型開(kāi)發(fā)管理平臺(tái)，提供主流大模型的一鍵上架和高性能部署推理。
03除此之外，一體機(jī)還預(yù)裝標(biāo)準(zhǔn)的大模型場(chǎng)景應(yīng)用，實(shí)現(xiàn)開(kāi)箱即用，并通過(guò)在企業(yè)內(nèi)部私有化部署，保證企業(yè)隱私數(shù)據(jù)安全。
04企業(yè)可根據(jù)自身訓(xùn)練或推理需求，自由選配芯片及內(nèi)存，快速體驗(yàn)高效便捷的大模型開(kāi)發(fā)和應(yīng)用全流程能力。
05惠普與星環(huán)科技共同驗(yàn)證，幫客戶繞過(guò)軟硬件試錯(cuò)階段，直接服務(wù)于客戶需求，提升對(duì)數(shù)據(jù)處理的能力。
以上內(nèi)容由大模型生成，僅供參考
智東西（公眾號(hào)：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西11月4日?qǐng)?bào)道，集成高算力與大模型的AI一體機(jī)，憑借開(kāi)箱即用、降低使用門(mén)檻、減少試錯(cuò)成本、無(wú)數(shù)據(jù)泄露風(fēng)險(xiǎn)等優(yōu)勢(shì)，正成為越來(lái)越多企業(yè)實(shí)現(xiàn)大模型輕量化落地的“新寵”。
圍繞惠普與星環(huán)科技在今年5月合作推出的大模型服務(wù)平臺(tái)一體機(jī)，近日，惠普個(gè)人信息產(chǎn)品部高級(jí)計(jì)算與解決方案產(chǎn)品部總經(jīng)理徐鳴、星環(huán)科技聯(lián)合創(chuàng)始人兼副總裁朱辰與智東西等少數(shù)媒體進(jìn)行了深入交流。
該一體機(jī)基于惠普Z(yǔ)系列AI工作站，適配并搭載了星環(huán)的Sophon LLMops大模型開(kāi)發(fā)管理平臺(tái)，可提供主流大模型的一鍵上架和高性能部署推理，還能預(yù)裝標(biāo)準(zhǔn)的大模型場(chǎng)景應(yīng)用，實(shí)現(xiàn)開(kāi)箱即用，并通過(guò)在企業(yè)內(nèi)部私有化部署，能夠保證企業(yè)隱私數(shù)據(jù)安全。企業(yè)可以根據(jù)自身訓(xùn)練或推理需求，自由選配芯片及內(nèi)存，快速體驗(yàn)高效便捷的大模型開(kāi)發(fā)和應(yīng)用全流程能力。
朱辰談道，星環(huán)科技正將定位從數(shù)據(jù)基礎(chǔ)設(shè)施（Data Infra）延伸到AI基礎(chǔ)設(shè)施（AI Infra），在與中小企業(yè)合作過(guò)程中，發(fā)現(xiàn)較多企業(yè)在意投入產(chǎn)出比，需要一個(gè)有價(jià)值的大模型應(yīng)用、一個(gè)整體的解決方案，例如底層有惠普AI工作站、上層有將大模型與數(shù)據(jù)庫(kù)結(jié)合的能力。
雙方合力打造的AI一體機(jī)，不僅有硬件、軟件，還有針對(duì)用戶應(yīng)用場(chǎng)景提供的相應(yīng)方案，無(wú)論客戶的業(yè)務(wù)問(wèn)題是什么，惠普和星環(huán)都有對(duì)應(yīng)的咨詢、調(diào)優(yōu)等相關(guān)服務(wù)來(lái)幫助解決。
一、AI一體機(jī)：靈活配置算力與算法，針對(duì)性解決業(yè)務(wù)問(wèn)題
對(duì)于企業(yè)來(lái)說(shuō)，惠普和星環(huán)科技合作打造的大模型服務(wù)平臺(tái)一體機(jī)具備如下優(yōu)勢(shì)：
一是可根據(jù)行業(yè)和客戶需求，提供一些定制化配置。徐鳴談道，當(dāng)前不可能用一個(gè)通用大模型覆蓋所有行業(yè)的需求，很多企業(yè)需要一個(gè)輕量化、低延時(shí)、沒(méi)有斷網(wǎng)問(wèn)題、安全自主可控、可本地管理、規(guī)模較小的垂類大模型。星環(huán)的產(chǎn)品有很多客制化模塊和算法，惠普的產(chǎn)品線覆蓋臺(tái)式PC、移動(dòng)PC等不同類型，從而能夠向客戶提供充分的選項(xiàng)來(lái)匹配相應(yīng)的算力和算法。
二是提供便捷高效的大模型開(kāi)發(fā)與應(yīng)用工具�；萜仗峁┑母咭�(guī)格、高性能AI算力平臺(tái)，結(jié)合星環(huán)大模型開(kāi)發(fā)管理平臺(tái)Sophon LLMOps的產(chǎn)品能力，該一體機(jī)可提供包括語(yǔ)料知識(shí)精細(xì)化處理入庫(kù)、提示詞開(kāi)發(fā)、語(yǔ)料數(shù)據(jù)標(biāo)注、大模型微調(diào)訓(xùn)練、大模型評(píng)估部署到大模型應(yīng)用構(gòu)建和應(yīng)用部署上線的全鏈路工具能力。
三是保障數(shù)據(jù)安全穩(wěn)定。一體機(jī)支持在企業(yè)內(nèi)部的私有化部署，確保將企業(yè)機(jī)密數(shù)據(jù)留在本地�；萜語(yǔ)系列嚴(yán)選企業(yè)級(jí)部件經(jīng)過(guò)360,000小時(shí)嚴(yán)苛測(cè)驗(yàn)，能確保平臺(tái)在長(zhǎng)時(shí)間連續(xù)高負(fù)載運(yùn)算環(huán)境下的整機(jī)兼容性和穩(wěn)定性，為企業(yè)的數(shù)據(jù)安全和研發(fā)工作保駕護(hù)航。
四是降低成本。據(jù)朱辰分享，從持續(xù)投入的角度來(lái)衡量，選擇云上大模型的綜合成本相對(duì)較高，需要自己找對(duì)應(yīng)的服務(wù)廠商、做投入和調(diào)優(yōu)，投入產(chǎn)出不對(duì)等。徐鳴補(bǔ)充道，無(wú)論是提升每個(gè)員工的生產(chǎn)效率，還是減少企業(yè)要投入的成本，都有助于企業(yè)降本增效。
朱辰解釋說(shuō)，不同客戶的需求不同。一些客戶看重投入產(chǎn)出比，會(huì)考量預(yù)算、數(shù)據(jù)安全性等問(wèn)題，需要能解決具體業(yè)務(wù)問(wèn)題的大模型。
比如在企業(yè)合同審核應(yīng)用中，企業(yè)可以通過(guò)自己控制數(shù)據(jù)、結(jié)合大模型應(yīng)用來(lái)替代以前的人工手段，使用開(kāi)箱即用的工作站，將審核流程智能化，通過(guò)參考直觀的投入產(chǎn)出評(píng)估，更快更好地做出決策，大幅提升企業(yè)經(jīng)營(yíng)效果。
除了大模型外，企業(yè)內(nèi)部數(shù)據(jù)知識(shí)庫(kù)的構(gòu)建是必要的。企業(yè)關(guān)注安全性和準(zhǔn)確性，不可能將所有數(shù)據(jù)都用于訓(xùn)練模型，因此還需要RAG技術(shù)來(lái)外置一個(gè)單獨(dú)的存儲(chǔ)系統(tǒng)、對(duì)企業(yè)中的私密數(shù)據(jù)做知識(shí)庫(kù)構(gòu)建。這正是星環(huán)所擅長(zhǎng)的，星環(huán)的很多技術(shù)可將部分信息有效地自動(dòng)化處理和構(gòu)建，再結(jié)合大模型技術(shù)，使回答有據(jù)可依、更加準(zhǔn)確。
二、合作兩年，共同驗(yàn)證，幫客戶繞過(guò)軟硬件試錯(cuò)階段
據(jù)徐鳴分享，工作站是PC（個(gè)人計(jì)算機(jī)）的一個(gè)變種，可以理解成一個(gè)性能強(qiáng)勁的PC，具有高度客戶定制化屬性，根據(jù)需求會(huì)進(jìn)行不同配置的排列組合，內(nèi)存能做到1TB、2TB乃至更高。業(yè)內(nèi)第一款真正意義上的工作站就是惠普做的。
與普通PC不同的是，工作站必須與行業(yè)軟件適配，做大量的ISV（獨(dú)立軟件開(kāi)發(fā)商）認(rèn)證�；萜語(yǔ)系列工作站通過(guò)了21000+ ISV軟硬件組合認(rèn)證。徐鳴說(shuō)，基于這些經(jīng)驗(yàn)和知識(shí)的積累，惠普了解什么行業(yè)的客戶在某個(gè)場(chǎng)景中更適合使用什么樣的配置、怎樣獲得最優(yōu)性價(jià)比。
惠普提出“AI即服務(wù)（AI as a Service”），與星環(huán)科技一起在了解客戶需求后，通過(guò)共同驗(yàn)證和適配軟硬件組合、迭代優(yōu)化算法，結(jié)合用戶的業(yè)務(wù)使用場(chǎng)景，做出一個(gè)客制化的產(chǎn)品。
朱辰說(shuō)，星環(huán)科技的定位在基礎(chǔ)軟件領(lǐng)域，有超過(guò)1500家終端客戶，很多客戶都在思考如何將大模型技術(shù)運(yùn)用到經(jīng)營(yíng)業(yè)務(wù)中。
徐鳴談道，惠普之所以與星環(huán)科技達(dá)成合作，既是因?yàn)殡p方有相近的B端企業(yè)客戶群體，而且客戶都存在AI轉(zhuǎn)型的想法和動(dòng)機(jī)，又是因?yàn)榛萜盏漠a(chǎn)品硬件和算力能與星環(huán)的算法形成強(qiáng)強(qiáng)聯(lián)合，給客戶和行業(yè)帶來(lái)不一樣的化學(xué)反應(yīng)。
據(jù)他回顧，在今年5月正式發(fā)布AI一體機(jī)前，惠普與星環(huán)的合作籌備時(shí)間長(zhǎng)達(dá)兩年�；萜罩髫�(fù)責(zé)硬件設(shè)計(jì)，星環(huán)則充分參與了適配調(diào)優(yōu)，并會(huì)提供諸如某個(gè)產(chǎn)品線所需硬件配置之類的建議。雙方在方案審核、產(chǎn)品審核、開(kāi)拓客戶等方面做了很多共創(chuàng)的事，不斷有項(xiàng)目進(jìn)入落地階段。
他分享說(shuō)，惠普根植中國(guó)超過(guò)40年，秉承著“在中國(guó)，為中國(guó)”的理念，希望和星環(huán)等領(lǐng)先的合作伙伴攜手提供好的方案和服務(wù)，幫中國(guó)行業(yè)客戶解決實(shí)際需要解決的問(wèn)題。
在中國(guó)，惠普建立了完整的服務(wù)體系，第一步幫助客戶評(píng)估和判斷需要什么樣的模型、多少資金和時(shí)間，以及評(píng)估預(yù)計(jì)效果，還會(huì)考量后期維護(hù)成本、哪些企業(yè)能做模型進(jìn)一步訓(xùn)練、如何規(guī)劃產(chǎn)品迭代等，此時(shí)星環(huán)的優(yōu)勢(shì)就體現(xiàn)出來(lái)。
據(jù)透露，雙方最近跟一家央企共同簽約了戰(zhàn)略合作協(xié)議，成為其IT合作伙伴。這家央企想建一個(gè)自有知識(shí)庫(kù)，希望將自家數(shù)據(jù)進(jìn)行深度學(xué)習(xí)后，能更好地解讀歷史經(jīng)營(yíng)數(shù)據(jù)�；萜蘸托黔h(huán)一起討論做方案，為其選擇合適的模型、硬件配置、部署方式及成效時(shí)間。
在中后端，惠普和星環(huán)會(huì)在模型維護(hù)、企業(yè)內(nèi)部人員培訓(xùn)等方面做好配合，幫助客戶繞過(guò)軟硬件試錯(cuò)階段，直接服務(wù)于客戶需求。
在徐鳴看來(lái)，用好AI很具有挑戰(zhàn)性。首先需要輔導(dǎo)客戶如何把AI知識(shí)庫(kù)匹配，把數(shù)據(jù)向量化地導(dǎo)入模型后訓(xùn)練；還要告訴用戶AI怎么用的效果是最好的。如何做好問(wèn)題的銜接，慢慢導(dǎo)入用戶想要的結(jié)果，也是對(duì)AI另一種程度上的訓(xùn)練。
如果發(fā)現(xiàn)一只達(dá)不到預(yù)期效果，或者結(jié)果精度跟期待的需求是有差別，惠普和星環(huán)科技會(huì)幫客戶做整體優(yōu)化。
三、模型不是越大越好，垂類大模型才能有效解決業(yè)務(wù)問(wèn)題
AI浪潮正推動(dòng)工作站的算力越來(lái)越強(qiáng)、產(chǎn)品配置不斷升級(jí)和趨于多元化，給用戶更多的選擇。相應(yīng)的使用場(chǎng)景也在愈發(fā)豐富。
徐鳴提到AI PC發(fā)展至今，業(yè)界對(duì)移動(dòng)化、輕量化的需求逐漸擴(kuò)大。星環(huán)科技還做了很多努力，比如在原來(lái)基于塔式工作站的幾千TOPS產(chǎn)品上做一些預(yù)訓(xùn)練大模型，針對(duì)惠普移動(dòng)工作站能做到300TOPS，通過(guò)NPU做到45TOPS左右。
在朱辰看來(lái)，模型不是越大越好，而是用合適方式解決問(wèn)題。
通用大模型不是針對(duì)行業(yè)或應(yīng)用場(chǎng)景特征來(lái)專門(mén)做訓(xùn)練，當(dāng)前還無(wú)法做到行行專精，需要基于一些特定數(shù)據(jù)對(duì)大模型做調(diào)整，包括通過(guò)將大小模型結(jié)合，來(lái)達(dá)到一些業(yè)務(wù)效果。
將垂類大模型結(jié)合企業(yè)內(nèi)部核心數(shù)據(jù)知識(shí)庫(kù)，可能是企業(yè)把大模型技術(shù)快速應(yīng)用到實(shí)際業(yè)務(wù)中的一種有效落地方式。
面向To B市場(chǎng)，星環(huán)提供領(lǐng)域大模型，結(jié)合企業(yè)各種數(shù)據(jù)處理能力，包括企業(yè)內(nèi)部的一些核心數(shù)據(jù)、對(duì)模型的優(yōu)化、與小模型結(jié)合，能幫企業(yè)快速構(gòu)建一個(gè)大模型應(yīng)用的場(chǎng)景或能力。
惠普與星環(huán)還做了一些封裝完大概只有7GB、8GB的本地端小模型，將原來(lái)可能將客戶限定在辦公桌前的大模型應(yīng)用變成了能在任何地方使用的高效工具。
結(jié)語(yǔ)：軟硬一體化，為企業(yè)搭建高效的AI大模型生產(chǎn)力平臺(tái)
算力是企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)過(guò)程中的核心要素�；萜語(yǔ)系列工作站用高性能AI算力硬件平臺(tái)來(lái)滿足企業(yè)對(duì)高效處理數(shù)據(jù)和開(kāi)發(fā)大模型的需求，在此之上部署的星環(huán)科技平臺(tái)，則通過(guò)提供全流程工具，幫助企業(yè)更好地解決實(shí)際業(yè)務(wù)問(wèn)題。這也成為了惠普將創(chuàng)新AI產(chǎn)品與本土生態(tài)融合的又一個(gè)樣本。
據(jù)徐鳴分享，惠普內(nèi)部在用一套星環(huán)的私有化部署的大模型，搭配一臺(tái)比較高配的工作站，灌入了惠普整個(gè)產(chǎn)品庫(kù)中的白皮書(shū)數(shù)據(jù)。有了這樣一個(gè)模型，惠普銷售人員只要進(jìn)入內(nèi)網(wǎng)，就能用星環(huán)大模型獲得產(chǎn)品相關(guān)問(wèn)題的答案�；萜找矊⒆陨韺�(shí)際使用中的一些感受和看到的問(wèn)題，第一時(shí)間向星環(huán)做反饋，共同優(yōu)化。
朱辰相信，AI跟硬件的結(jié)合會(huì)帶來(lái)很多根本性的改變，如今星環(huán)軟件與惠普硬件一體化的方式只是其中一個(gè)很小的部分，基于AI技術(shù)的機(jī)器人預(yù)計(jì)將在五年內(nèi)取得較顯著的發(fā)展。他希望通過(guò)對(duì)一體機(jī)持續(xù)迭代，不斷降低開(kāi)箱即用的門(mén)檻，提升對(duì)數(shù)據(jù)處理的能力，使大模型應(yīng)用能夠更好地回答客戶的問(wèn)題。
