展會(huì)信息港展會(huì)大全

2024服貿(mào)會(huì)|生數(shù)科技,求解視頻大模型生成主體不一致問(wèn)題
來(lái)源:互聯(lián)網(wǎng)   發(fā)布日期:2024-09-16 15:07:41   瀏覽:2358次  

導(dǎo)讀:當(dāng)我們向AI輸入一條指令,讓它生成一段視頻時(shí),實(shí)際上,核心訴求是希望AI幫助我們完成一個(gè)完整的敘事。要實(shí)現(xiàn)這個(gè)目標(biāo),需要讓核心元素上保持統(tǒng)一和可控,在近日召開(kāi)的2024年中國(guó)國(guó)際服務(wù)貿(mào)易交易會(huì)(以下簡(jiǎn)稱服貿(mào)會(huì))上,生數(shù)科技董事長(zhǎng)兼CEO唐家渝給出解決...

2024服貿(mào)會(huì)|生數(shù)科技,求解視頻大模型生成主體不一致問(wèn)題

“當(dāng)我們向AI輸入一條指令,讓它生成一段視頻時(shí),實(shí)際上,核心訴求是希望AI幫助我們完成一個(gè)完整的敘事。要實(shí)現(xiàn)這個(gè)目標(biāo),需要讓核心元素上保持統(tǒng)一和可控”,在近日召開(kāi)的2024年中國(guó)國(guó)際服務(wù)貿(mào)易交易會(huì)(以下簡(jiǎn)稱“服貿(mào)會(huì)”)上,生數(shù)科技董事長(zhǎng)兼CEO唐家渝給出解決方案:視頻大模型Vidu的主體參照功能,即能實(shí)現(xiàn)對(duì)任意主體的一致性生成。為了做到這一點(diǎn),業(yè)界曾嘗試“先AI生圖、再圖生視頻”等方法,但主體參照功能不光能減少工作量,還打破了分鏡頭畫(huà)面對(duì)視頻內(nèi)容的限制。技術(shù)的突破讓視頻大模型商業(yè)化有了更大的想象空間。

大語(yǔ)言模型盛行時(shí),生數(shù)科技就瞄準(zhǔn)了多模態(tài)賽道,并在2024年1月上線了文生視頻的能力。按照生數(shù)科技的計(jì)劃,視頻能力需要更長(zhǎng)時(shí)長(zhǎng)、更高一致性去發(fā)展,但Sora的亮相讓這家創(chuàng)業(yè)公司的計(jì)劃提前。

4月底發(fā)布Vidu,支持一鍵生成16秒高清視頻,6月支持一鍵生成32秒視頻,同時(shí)生成音效,并從單個(gè)生成的視頻中重構(gòu)出4D視頻。7月底,Vidu正式面向全球上線,開(kāi)放了圖生視頻、角色一致性功能以及最長(zhǎng)8秒的視頻生成能力。

此次,唐家渝在2024年服貿(mào)會(huì)上重點(diǎn)介紹的是Vidu的最新功能“主體參照”。所謂主體參照,就是允許用戶上傳任意主體的一張圖片,Vidu 就能夠鎖定該主體的形象,通過(guò)描述詞任意切換場(chǎng)景,輸出主體一致的視頻,其中“任意”是關(guān)鍵詞,即不管是人物、動(dòng)物、商品,還是動(dòng)漫角色、虛構(gòu)主體,都能確保其在視頻生成中的一致性和可控性。

北京商報(bào)記者了解到,在該功能上線前,視頻大模型對(duì)實(shí)現(xiàn)這一目標(biāo)并不是毫無(wú)解決方案,“圖生視頻”和“角色一致性”等能力也可做到。

以先AI生圖、再圖生視頻的方法為例,可以通過(guò)AI繪圖工具如 Midjourney 生成分鏡頭畫(huà)面,先在圖片層面保持主體一致,然后再將這些畫(huà)面轉(zhuǎn)化為視頻片段并進(jìn)行剪輯合成。

但問(wèn)題在于,AI 繪圖的一致性并不完美,往往需要通過(guò)反復(fù)修改和局部重繪來(lái)解決。更重要的是,實(shí)際的視頻制作過(guò)程中涉及眾多場(chǎng)景和鏡頭,這種方法在處理多組分鏡頭的場(chǎng)景時(shí),生圖的工作量巨大,能占到全流程的一半以上,且最終的視頻內(nèi)容也會(huì)因?yàn)檫^(guò)分依賴分鏡頭畫(huà)面而缺乏創(chuàng)造性和靈活性。

Vidu的“主體參照”功能通過(guò)“上傳主體圖+輸入場(chǎng)景描述詞”的方式,直接生成視頻素材。這一方法大幅減少了工作量,還打破了分鏡頭畫(huà)面對(duì)視頻內(nèi)容的限制,讓創(chuàng)作者能夠基于文本描述,創(chuàng)造出畫(huà)面豐富、靈活多變的視頻內(nèi)容。

中央廣播電視總臺(tái)導(dǎo)演、AIGC藝術(shù)家石宇翔分享動(dòng)畫(huà)短片《夏日的禮物》創(chuàng)作流程時(shí)表示,與基礎(chǔ)的圖生視頻功能相比,“主體參照”功能擺脫了靜態(tài)圖片的束縛,生成的畫(huà)面更具感染力和自由度,讓創(chuàng)作的連貫性大大提升。同時(shí)幫助他節(jié)約了七成左右的生圖工作量。

北京商報(bào)記者魏蔚

贊助本站

相關(guān)內(nèi)容
AiLab云推薦
推薦內(nèi)容
展開(kāi)

熱門(mén)欄目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能實(shí)驗(yàn)室 版權(quán)所有    關(guān)于我們 | 聯(lián)系我們 | 廣告服務(wù) | 公司動(dòng)態(tài) | 免責(zé)聲明 | 隱私條款 | 工作機(jī)會(huì) | 展會(huì)港