在人工智能領(lǐng)域，靜態(tài)圖像識別技術(shù)已經(jīng)取得了長足進展，但對于動態(tài)視頻場景的理解和處理仍然存在較大不足。
此前，我們介紹過，在李飛飛團隊的視頻理解基準 HourVideo 中，即便是目前最先進的多模態(tài)模型，其測試正確率也只是比隨機猜測（20%）略好一點。
現(xiàn)有的 AI 模型難以像人腦那樣實時解讀和理解連續(xù)變化的視覺信息，這主要是因為它們?nèi)狈r序信息的有效處理能力。
因此，如果想要讓 AI 真正地與人類的生活環(huán)境和復(fù)雜情景相適應(yīng)，我們或許需要對這一缺陷做出針對性的改進。
近日，美國 Scripps 研究所的科學(xué)家團隊，從大腦神經(jīng)元處理視覺信息的機制中得到啟發(fā)，開發(fā)出一種名為 MovieNet 的 AI 模型，在視頻理解任務(wù)上取得突破。
相關(guān)研究以《識別電影編碼神經(jīng)元實現(xiàn)電影識別 AI》（Identification of movie encoding neurons enables movie recognition AI）為題發(fā)表在 PNAS（《美國國家科學(xué)院院刊》）上 [1]。
圖丨相關(guān)論文（來源：PNAS）
眾所周知，人工智能的進步深受神經(jīng)科學(xué)的啟發(fā)。例如，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)（CNN）借鑒了視覺皮層的層級處理結(jié)構(gòu)，而強化學(xué)習(xí)算法則模仿了神經(jīng)回路中獎勵機制的工作原理。
而 MovieNet 的核心創(chuàng)新同樣在于其受啟發(fā)于的大腦視覺處理機制。研究團隊以非洲爪蟾為模型，重點研究了其頂蓋（optic tectum）神經(jīng)元的感受野（receptive field, RF）。
通過稀疏噪聲刺激和逆相關(guān)分析，他們記錄了神經(jīng)元對 200 至 600 毫秒電影序列的響應(yīng)，發(fā)現(xiàn)這些神經(jīng)元能夠以一種獨特的方式編碼時間序列圖像。
圖丨視頂蓋細胞視覺響應(yīng)特性隨時間而變化（來源：PNAS）
研究顯示，視覺神經(jīng)元的響應(yīng)具有高度選擇性。當電影序列按照特定的“最佳順序”呈現(xiàn)時，神經(jīng)元的反應(yīng)最為強烈；而當序列被逆轉(zhuǎn)或隨機化時，反應(yīng)顯著減弱。
這種選擇性不僅體現(xiàn)在單個神經(jīng)元的反應(yīng)中，還通過神經(jīng)回路中的抑制機制進一步強化。
通過使用 GABA 受體拮抗劑（如哌可毒素），研究團隊發(fā)現(xiàn)，去除抑制作用后，神經(jīng)元對逆序刺激的反應(yīng)顯著增強，而對最佳順序的反應(yīng)保持不變。
這表明，抑制機制是實現(xiàn)電影序列選擇性的重要因素，它通過抑制無關(guān)信息的傳播，使得神經(jīng)網(wǎng)絡(luò)能夠聚焦于關(guān)鍵的序列信息。
此外，研究還揭示了神經(jīng)元在編碼動態(tài)場景時的時序塑性。當環(huán)境中視覺刺激的時序特性發(fā)生變化時，神經(jīng)元的 ON-OFF 響應(yīng)規(guī)律能夠通過訓(xùn)練進行調(diào)整，從而適應(yīng)新的環(huán)境需求。
這種動態(tài)調(diào)整能力不僅是自然視覺系統(tǒng)的核心特性，也為 AI 的設(shè)計提供了重要啟發(fā)。
在上述研究的啟發(fā)下，研究團隊模仿神經(jīng)元時空編碼規(guī)律開發(fā)了 MovieNet 模型。其核心在于其電影編碼器的設(shè)計，這些編碼器基于頂蓋神經(jīng)元的感受野規(guī)則，將電影場景壓縮為高維特征矩陣。
圖丨電影識別 AI 使用時空 RF 的神經(jīng)元規(guī)則作為電影編碼器（來源：PNAS）
具體而言，每個編碼器模擬了神經(jīng)元的 ON-OFF 響應(yīng)規(guī)律，能夠捕捉電影中亮度的變化以及終止信號。這種設(shè)計不僅減少了數(shù)據(jù)的復(fù)雜性，還顯著優(yōu)化了計算效率。
為了進一步提升識別能力，研究團隊引入了多重編碼器（multiplexed encoders）的概念。他們將多個具有不同感受野特性的編碼器組合在一起，以捕捉更廣泛的視覺信息。
這些編碼器的輸出被輸入到一個僅包含單層卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型中，從而顯著簡化了傳統(tǒng) AI 模型的復(fù)雜性。
在測試中，MovieNet 對動態(tài)場景的分類表現(xiàn)優(yōu)異，尤其是在分類蝌蚪游泳行為的實驗中，其準確率達到了 82.3%，顯著超越傳統(tǒng)深度學(xué)習(xí)模型（如 AlexNet 和 GoogLeNet）的 40%-72%，也超過了訓(xùn)練有素的人類觀察者 (64.5%)。
圖丨基于大腦的 AI 網(wǎng)絡(luò)可準確分類電影數(shù)據(jù)及其測試結(jié)果（來源：PNAS）
更重要的是，MovieNet 在計算效率方面也具有優(yōu)勢。AlexNet 和 GoogLeNet 等傳統(tǒng)深度學(xué)習(xí)模型的網(wǎng)絡(luò)架構(gòu)保護多層處理層和 CNN 結(jié)構(gòu)，需要耗費巨大的計算資源。
即便在無限計算資源和時間的假設(shè)下，這些模型可能達到更高的準確率，但這一需求本身可能限制其在實際場景中的應(yīng)用。
相比之下，MovieNet 通過模仿自然神經(jīng)元的編碼策略，以更高效的方式解決了電影識別問題，體現(xiàn)了基于大腦算法的獨特優(yōu)勢。
這種出色的識別能力，使其在醫(yī)療領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。例如，MovieNet 能夠捕捉蝌蚪在接觸不同化學(xué)物質(zhì)時游泳模式的細微變化，這有望對藥物篩選技術(shù)進行改進。
傳統(tǒng)方法往往依賴靜態(tài)圖像的間隔捕獲，容易遺漏動態(tài)變化中的關(guān)鍵信息。而 MovieNet 能夠持續(xù)觀察和記錄動態(tài)細胞反應(yīng)，從而追蹤藥物測試過程中最微小的變化。
此外，MovieNet 也有望成為一種診斷早期疾病的工具。例如，與帕金森癥相關(guān)的微小運動變化往往難以被人眼捕捉，而 MovieNet 的高靈敏度算法可以提前標記這些變化，為臨床醫(yī)生提供寶貴的干預(yù)時間。
同樣地，該技術(shù)還可能用于心律不齊等疾病的早期檢測，為患者爭取更多治療窗口。這種實時捕捉和分類復(fù)雜動態(tài)模式的能力，展現(xiàn)了 MovieNet 在醫(yī)療診斷中的巨大潛力。
研究團隊的首席科學(xué)家 Hollis Cline 表示：“MovieNet 的成功不僅證明了生物啟發(fā)式 AI 的可行性，更重要的是開創(chuàng)了一個新的研究方向。
通過深入理解生物神經(jīng)系統(tǒng)的工作原理，我們可以開發(fā)出更智能、更高效的 AI 系統(tǒng)。這種方法不僅能夠提高 AI 的性能, 還能大幅降低能源消耗和計算資源需求。”
展望未來，研究團隊計劃進一步優(yōu)化模型架構(gòu)，提高處理效率，并探索更多應(yīng)用場景。
他們特別關(guān)注醫(yī)療診斷領(lǐng)域的應(yīng)用拓展，以及與其他 AI 技術(shù)的融合可能性。同時，團隊也將致力于研究更復(fù)雜的視覺認知任務(wù)，推動 AI 技術(shù)在視頻理解領(lǐng)域的持續(xù)進步。
“從生物學(xué)中汲取靈感將繼續(xù)成為推動人工智能發(fā)展的沃土，”Cline 說�！巴ㄟ^設(shè)計像生物體一樣思考的模型，我們可以達到傳統(tǒng)方法無法實現(xiàn)的效率水平�！�
參考資料：
1.https://www.pnas.org/doi/10.1073/pnas.2412260121#data-availability
2.https://neurosciencenews.com/brain-ai-video-watching-28218/
運營/排版：何晨龍
