(圖片來源:林志佳拍攝)
隨著Sora爆火,國內(nèi)運營商企業(yè)也開始與快手等公司一起“卷”AI 視頻賽道了。
12月5日消息,鈦媒體AGI獲悉,中國電信人工智能研究院(TeleAI)在3日舉行的“TeleAI 開發(fā)者大會”上發(fā)布首款基于星辰大模型的視頻生成大模型,目標(biāo)通過語義、語音、文生圖等多模態(tài)能力打通短劇及影視制作各個環(huán)節(jié),覆蓋文字腳本撰寫、分鏡腳本繪制、視頻拍攝及剪輯、配音及音效合成等全流程,實現(xiàn)降本增效。
這是國內(nèi)首個央企全自研的 AI 視頻生成模型。
上述動圖是此次中國電信大會上展示的3分鐘AI視頻生成的部分信息。
TeleAI團隊通過支持主體目標(biāo)時空一致性,個體復(fù)雜動作精準(zhǔn)控制,音視頻同步生成,多目標(biāo)復(fù)雜動作精準(zhǔn)控制,不僅能從容駕馭多個主角,還能流暢切換多個場景。
這是繼星辰語義大模型、星辰語音大模型之后,TeleAI展示的視頻生成大模型技術(shù)。中國電信負(fù)責(zé)人向鈦媒體App透露,這款產(chǎn)品主要應(yīng)用于高質(zhì)量可控短劇生成,賦能文宣產(chǎn)業(yè)創(chuàng)新發(fā)展。
中國電信CTO、首席科學(xué)家、人工智能研究院(TeleAI)院長李學(xué)龍表示,TeleAI已完成國內(nèi)首個全國產(chǎn)化萬卡萬參大模型。隨著本次視頻生成大模型和視覺大模型的發(fā)布,星辰大模型系列將進一步完成了其全模態(tài)能力的構(gòu)建,從而完成1(星辰大模型基礎(chǔ)底座)+1(數(shù)據(jù)底座)+1(算力底座)+M(自用內(nèi)部大模型)+N(外部行業(yè)大模型)的人工智能布局。
事實上,2024年2月,美國OpenAI公司發(fā)布視頻生成模型Sora,首次由 AI 生成了長達1分鐘的多鏡頭長視頻,輸入寥寥數(shù)語便能生成效果炸裂視頻,鏡頭感堪比電影,震驚全球。
隨后,全球掀起了一場關(guān)于Sora的討論風(fēng)暴,猶如兩年前的ChatGPT爆火,有大量 AI 公司以做“中國版 Sora”為目標(biāo),眾多企業(yè)和教授下場參與其中。
隨著美國Sora模型demo驚艷全球近300天,但遲遲未公開使用,而國內(nèi) AI 視頻生成賽道卻加速“內(nèi)卷”,快手可靈、騰訊混元、字節(jié)即夢等互聯(lián)網(wǎng)大廠模型,生數(shù)、愛詩、HiDream等初創(chuàng)公司都加入其中,直接與全球“類Sora”們展開競爭。
所謂生成式 AI 視頻生成,就是通過計算機視覺、機器學(xué)習(xí)、ViT架構(gòu)等多種AI技術(shù)手段,可實現(xiàn)視頻內(nèi)容生成過程的自動化。
無論是文生視頻,還是圖生視頻、視頻生視頻,AI 驅(qū)動的視頻生成工具的使用不斷增加,將有助于增強視頻制作工作流程,為影視、游戲、培訓(xùn)與教育、營銷與廣告、社交媒體等領(lǐng)域發(fā)展提供更多增長空間。
據(jù)Fortunebusinessinsights數(shù)據(jù),2024年,全球 AI 視頻生成市場規(guī)模預(yù)計達6.148億美元,預(yù)計到2032年,整個市場規(guī)模將超過180億元,增至25.629億美元(約合人民幣186.36億元)年復(fù)合增長率19.5%,市場前景廣闊。
隨著 AI+視頻的技術(shù)和產(chǎn)品升級迭代,諸如電影、廣告、視頻剪輯、視頻流媒體平臺、UGC 創(chuàng)作平臺、短視頻綜合平臺等眾多行業(yè)有望受益。
事實上,TeleAI中國電信人工智能研究院掛牌至今僅5個月。
李學(xué)龍透露,早在2022年7月,中國電信就開展了多模態(tài)認(rèn)知計算;2023年,TeleAI發(fā)布并開源了千億參數(shù)“星辰”大模型,中國電信成為最早布局并首先開源大模型的央企機構(gòu)。
今年2月,TeleAI自主研發(fā)的星辰大模型首次通過了“境內(nèi)深度合成服務(wù)算法備案”;5月,星辰大模型再次通過產(chǎn)品備案;7月,TeleAI正式掛牌運營。
作為12月1日最新上榜的模型,TeleAI視頻生成大模型已經(jīng)在權(quán)威視頻生成評測榜單VBench中排名第一。
據(jù)悉,VBench 是一個全面的“視頻生成模型的評測框架”,它將“視頻生成質(zhì)量”細分為16個評分維度,從人物形象一致性、動作流暢度、畫面穩(wěn)定性到空間關(guān)系等方面對模型進行細致、客觀的評估。而TeleAI 視頻生成大模型在 VBench 的16個評分項目中,一舉奪得9項第一,覆蓋了模型的畫面穩(wěn)定性(時序閃爍)、語義一致性(物體分類、多物體、人體動作)、空間場景(空間關(guān)系、場景),以及視覺風(fēng)格(顏色、外觀、時序風(fēng)格)等幾個核心能力。其中,有5項得分超過99%。
同時,TeleAI還發(fā)布視頻生成大模型、視覺大模型產(chǎn)用一體化平臺、具身智能、智傳網(wǎng)等一系列創(chuàng)新技術(shù)、產(chǎn)品及科研成果,構(gòu)建星海AI中臺、天翼AI開放平臺、星辰智能體平臺等開放體系,構(gòu)建低成本、高效率的創(chuàng)新開發(fā)生態(tài),推動中國電信在 AI 領(lǐng)域持續(xù)落地。
大會期間,TeleAI 宣布與包括華為、中興、亞信科技、中科曙光等共19家合作伙伴發(fā)布中國電信人工智能開發(fā)者產(chǎn)業(yè)聯(lián)盟計劃,旨在聚合各方力量,加快推動 AI 產(chǎn)業(yè)發(fā)展,提升技術(shù)能力與應(yīng)用水平,并為全球開發(fā)者賦能。
“中國電信將推動數(shù)智化應(yīng)用深度融入行業(yè)生產(chǎn)場景,重點打造80多個行業(yè)大模型和20個行業(yè)智能體,持續(xù)完善MaaS服務(wù)能力,為客戶提供“算力+平臺+數(shù)據(jù)+模型+應(yīng)用”的一體化服務(wù)。在工業(yè)質(zhì)檢方面,星辰大模型具備通過文本檢索缺陷圖像的能力,在檢測場景中精準(zhǔn)度超過99.4%!敝袊娦哦麻L柯瑞文表示,科技成果只有通過規(guī)模應(yīng)用,才能促進技術(shù)不斷迭代完善,形成成熟的商業(yè)模式,實現(xiàn)技術(shù)和市場雙輪驅(qū)動產(chǎn)業(yè)發(fā)展,并進一步反哺科技創(chuàng)新。
柯瑞文強調(diào),生成式 AI 以前所未有的速度進行迭代和創(chuàng)新,大模型能力得到快速提升。從近期實踐來看,AI手機、AI PC等智能終端逐步走進日常生活,行業(yè)大模型在金融、工業(yè)、醫(yī)療等領(lǐng)域加快落地,借助大模型解決生產(chǎn)實際問題逐步形成共識。
最新消息是,12月4日晚,OpenAI宣布,將連續(xù)12天內(nèi)發(fā)布包括文生視頻模型Sora在內(nèi)的一系列新技術(shù)產(chǎn)品。