近日，一篇由澳洲悉尼大學(xué)團隊牽頭完成的論文在 X 上引起關(guān)注，該校的博士生孫藝菲（Yifei Sun，音）是論文第一作者。
圖 | Yifei Sun（來源：LinkedIn）
基于人類連接組計劃的功能性磁共振成像數(shù)據(jù)，他們使用 Transformer 預(yù)測了人腦靜息狀態(tài)（human brain resting states）（注：人類連接組計劃是美國國立衛(wèi)生研究院于 2009 年開始資助的一個 5 年項目，由幾所研究機構(gòu)分成兩組進行）。
具體來說，他們提出一種基于時間序列的 Transformer 架構(gòu)，在功能性磁共振成像采集中觀察到的一系列先前時間點的情況下，成功預(yù)測了大腦 379 個灰質(zhì)區(qū)域的大腦狀態(tài)，單時間點預(yù)測均方誤差為 0.0013。
研究中，他們將大腦狀態(tài)預(yù)測問題構(gòu)建為一個自回歸任務(wù)，在給定序列的情況下來預(yù)測下一個時間元素。
借此發(fā)現(xiàn)，該模型可以準(zhǔn)確預(yù)測大腦的即時狀態(tài)，其中預(yù)測 5.04 秒的大腦狀態(tài)誤差較小，預(yù)測 10 分鐘以上的大腦狀態(tài)與人類功能連接組的平均值一致（注：功能連接，是指大腦不同腦區(qū)之間在功能上的相互關(guān)聯(lián)和影響，主要通過分析不同腦區(qū)記錄的信號來計算反映不同腦區(qū)關(guān)系強弱的某種指標(biāo)）。
本次方法也能學(xué)習(xí)大腦狀態(tài)隨時間的時間依賴性，基于 21.6s 的功能性磁共振成像數(shù)據(jù)可以準(zhǔn)確預(yù)測約 5.04s 的狀態(tài)。
此外，即使預(yù)測誤差隨著時間的推移而累積，所生成的功能性磁共振成像大腦狀態(tài)，也能反映功能連接的結(jié)構(gòu)。另據(jù)悉，本次研究的相關(guān)代碼已開源（https://github.com/syf0122/brain_state_pred）。
（來源：arXiv）
基于自注意力機制力的架構(gòu)，能充當(dāng)大腦未來狀態(tài)的“預(yù)言師”
人腦是一個復(fù)雜的動態(tài)系統(tǒng)，有數(shù)百億個神經(jīng)元和數(shù)萬億個突觸連接。了解人腦的動態(tài)機制始終是神經(jīng)科學(xué)領(lǐng)域的首要任務(wù)，因為它對于揭示認(rèn)知、情感、語言和其他更高層次人類智能的起源至關(guān)重要。
此外，這種理解對于破譯阿爾茨海默病和精神分裂癥等腦部疾病背后的機制至關(guān)重要。同時，腦機接口（BCI，brain-computer interfaces）和大腦啟發(fā)的 AI 技術(shù)正在發(fā)展成為當(dāng)前的技術(shù)趨勢，因此學(xué)習(xí)大腦機制是模仿人腦的重要一步。
功能性磁共振成像是一種廣為使用的非侵入性技術(shù)，它能在中觀尺度上觀察整個大腦的空間動態(tài)，以及在第二尺度上觀察時間動態(tài)。
盡管人們在繪制大腦功能組織方面取得了重大進展，例如用靜息態(tài)腦功能磁共振成像重建了內(nèi)在網(wǎng)絡(luò)。但是，大腦的功能連接是了解大腦健康和心理健康的重要生物標(biāo)志物。
而當(dāng)大腦沒有執(zhí)行特定任務(wù)時（即靜息狀態(tài)），大腦活動到底是如何出現(xiàn)？對于這一問題仍然沒有得到解答。此外，從靜息狀態(tài)獲取的具體序列腦狀態(tài)是否可以預(yù)測？這仍然是一個未知數(shù)。
而假如能夠解決這一問題，則有望縮短有困難患者或殘疾患者的功能性磁共振成像掃描時間。如果可以預(yù)測大腦狀態(tài)，那么某些致命性腦部疾�。ㄈ绨d癇）的疼痛和傷害也可以避免或減少。
同時，預(yù)測大腦狀態(tài)可以為腦機接口技術(shù)鋪平道路，有望讓該技術(shù)實現(xiàn)更直觀、更有效的溝通。
自從相關(guān)研究人員于 2017 年引入多頭自注意力（Multi-headedSelf-attention）以來，Transformer 架構(gòu)在深度學(xué)習(xí)中可謂無處不在，并主要專注于處理序列任務(wù)和圖像多任務(wù)。
ChatGPT 便是其中一個成功案例，它展示了 Transformer 在處理自然語言順序信息上的強大功能。Transformer 能從知識庫中學(xué)習(xí)模式，并能在連續(xù)對話的背景下給出答案。
鑒于它們能夠找到基于相關(guān)性和與圖論聯(lián)系的數(shù)據(jù) tokens 之間的遠(yuǎn)距離關(guān)系，本次研究團隊認(rèn)為基于自注意力機制力的架構(gòu)，能夠從連續(xù)的大腦活動中預(yù)測即將到來的大腦狀態(tài)。
最近，有研究人員證明 Transformer 架構(gòu)在分析功能性磁共振成像數(shù)據(jù)具備年齡預(yù)測、性別分類和疾病分類方面的潛力。
此外，腦語言模型（BrainLM，brain language model）是一種能夠監(jiān)測大腦動態(tài)活動的基礎(chǔ)模型。在使用腦語言模型的時候，需要經(jīng)過預(yù)先訓(xùn)練以便進行掩蔽預(yù)測，然后針對大腦狀態(tài)預(yù)測進行微調(diào)。
然而，腦語言模型需要使用大型數(shù)據(jù)集進行預(yù)訓(xùn)練，而大腦狀態(tài)預(yù)測需要相對較長的時間序列（180 個時間點）。
因此，假如訓(xùn)練一個能夠根據(jù)更短的輸入時間序列來預(yù)測大腦狀態(tài)的模型，就可以大大縮短功能性磁共振成像的掃描時間。
（來源：arXiv）
采用 1003 名健康年輕人的 3.0T 功能性磁共振成像數(shù)據(jù)
基于此，研究人員使用了人類連接組計劃的年輕人數(shù)據(jù)集的靜息狀態(tài)功能性磁共振成像數(shù)據(jù)。他們采用 1003 名健康年輕人的 3.0T 功能性磁共振成像數(shù)據(jù)，并排除了其中 110 名成像缺失或不完整的受試者。
這些受試者都曾使用四次功能性磁共振成像掃描，每次掃描 1200 個時間點，并采用存儲基于表面的灰質(zhì)數(shù)據(jù)的 CIFTI 格式（注：CIFTI 的英文全稱是 Connectome Imaging Format for Tomography，它是一種用于存儲和表示大腦連接組數(shù)據(jù)的文件格式）。
人類連接組計劃的功能性磁共振成像數(shù)據(jù)具有 2mm 的各向同性空間分辨率和 0.72s 的時間分辨率。
除了人類連接組計劃數(shù)據(jù)集已能提供的最小預(yù)處理之外，該團隊還進行了幾個額外的預(yù)處理步驟，以便進一步地清理數(shù)據(jù)，并為訓(xùn)練和測試 Transformer 準(zhǔn)備數(shù)據(jù)。
研究中，他們使用高斯濾波器對功能性磁共振成像數(shù)據(jù)進行空間平滑處理，高斯濾波器在 CIFTI 格式中將半峰全寬設(shè)置為 6mm，以便降低噪聲和提高信噪比（注：半峰全寬，是指在色譜分析中色譜峰高一半處的峰寬度）。
然后，他們采用帶通濾波器濾除一些不感興趣的噪聲，同時將時間信號保持在 0.01Hz 至 0.1Hz 的范圍內(nèi)。
為了將所有樣本放在一個共同尺度上，他們針對時間序列進行 z 分?jǐn)?shù)變換，以便獲得零時間均值和單位標(biāo)準(zhǔn)差（注：z 分?jǐn)?shù)，是一個數(shù)與平均數(shù)的差再除以標(biāo)準(zhǔn)差的過程）。
接著，他們使用多模態(tài)分割圖譜，計算了 379 個大腦區(qū)域的平均功能性磁共振成像時間序列，其中包括 360 個皮質(zhì)區(qū)域和 19 個皮質(zhì)下區(qū)域�；诖耍麄兪褂妹總�時間點信號強度為 379 個區(qū)域的向量來表示大腦狀態(tài)。
人腦是一個動態(tài)系統(tǒng)，它的當(dāng)前狀態(tài)與之前狀態(tài)有關(guān)。因此，研究人員也探索了這樣一個問題：在給定一系列先前大腦狀態(tài)的情況下，是否可以預(yù)測單個大腦狀態(tài)？為了模擬這些預(yù)測，他們重新設(shè)計一個為流感預(yù)測（influenza forecasting）開發(fā)的現(xiàn)有時間序列 Transformer 模型。該模型由 Transformer 編碼器和 Transformer 解碼器組合而來。
在使用時，Transformer 將由具有給定窗口大小的 token 序列表示的時間序列數(shù)據(jù)作為輸入。由于自注意力機制會將標(biāo)記關(guān)系視為一個圖，因此可以使用正弦函數(shù)和余弦函數(shù)的位置編碼，來添加相對的時間信息。
網(wǎng)絡(luò)的編碼器，包含四個具有自關(guān)注和前饋的編碼層。編碼層，則包含八個注意頭。最終，這一編碼堆�？梢陨删幋a器輸出。
研究人員把編碼器輸入的最后一個時間點與編碼器輸出加以結(jié)合，以此作為解碼器的輸入，這時解碼器會被定義為四個解碼層的堆棧，而這些解碼層也由自注意力機制和前饋層組成。
隨后，全連接層會將解碼器層堆棧的輸出映射到目標(biāo)輸出形狀。與流感流行病例的時間序列 Transformer 不同，該團隊的模型能夠預(yù)測一系列的未來時間點，并能通過采用前瞻性掩蔽來預(yù)測基于過去的數(shù)據(jù)。
（來源：arXiv）
生成 1150 個時間點的合成時間序列的預(yù)測結(jié)果
當(dāng)將大腦狀態(tài)預(yù)測問題定義為自回歸任務(wù)時，研究人員使用均方誤差（MSE，mean squared error）作為損失函數(shù)。他們首先針對 40 名受試者的數(shù)據(jù)進行不同窗口大小的初步測試。
具體來說，他們輸入了時間序列之間的重疊，因此每個功能性磁共振成像會話數(shù)據(jù)能夠產(chǎn)生 1150 個訓(xùn)練樣本。
訓(xùn)練期間，研究人員從所有受試者和所有會話的訓(xùn)練數(shù)據(jù)中隨機選擇樣本。訓(xùn)練完畢 Transformer 網(wǎng)絡(luò)之后，研究人員使用模型此前沒有見過的受試者的功能性磁共振成像數(shù)據(jù)評估其性能。
首先，他們測試了該模型從真實功能性磁共振成像數(shù)據(jù)中預(yù)測單個大腦狀態(tài)的能力。然后，他們使用相同的輸入序列進行類似測試，其中大腦狀態(tài)的順序是隨機的。
研究人員假設(shè)：當(dāng)以隨機序列輸入相同的數(shù)據(jù)時，一個能夠?qū)W習(xí)順序信息和大腦動力學(xué)的模型應(yīng)該會產(chǎn)生更高的誤差。
為了驗證這一假設(shè)，他們針對兩種測試的均方誤差進行比較，并對兩組均方誤差結(jié)果進行了配對 t 檢驗（paired t-test）（注：配對 t 檢驗是配對樣本 t 檢驗的簡稱，用于檢驗相關(guān)或相互依賴的配對觀測值之間的平均差是否存在顯著差異）。
之后，他們評估了模型的這一能力，即采用有限的真實功能性磁共振成像數(shù)據(jù)和不斷增加的合成狀態(tài)，來預(yù)測一系列大腦狀態(tài)的能力。
具體來說，他們使用 30 個真實的功能性磁共振成像時間點來預(yù)測下一個時間點，然后將該預(yù)測與真實時間序列連接起來，并將輸入窗口移動一步，以迭代的方式囊括新的預(yù)測時間點，直到合成與真實數(shù)據(jù)（1200 個時間點）長度相同的時間序列序列。
通過此，研究人員生成 1150 個時間點的合成時間序列的預(yù)測結(jié)果，并計算了預(yù)測時間序列和真實功能性磁共振成像數(shù)據(jù)之間的均方誤差，以及每個預(yù)測和真實大腦狀態(tài)之間的斯皮爾曼相關(guān)系數(shù)，以便可以測試單調(diào)相關(guān)性（monotonic correlations）（注：斯皮爾曼相關(guān)系數(shù)，是一種非參數(shù)統(tǒng)計方法，用于評估兩個變量之間的單調(diào)關(guān)系，而非用于評估線性關(guān)系）。
同時，研究人員使用區(qū)域時間序列之間的皮爾遜相關(guān)系數(shù)，計算了真實功能性磁共振成像時間序列和預(yù)測功能性磁共振成像時間序列的功能連接矩陣（注：皮爾遜相關(guān)系數(shù)，是一種統(tǒng)計度量，用于量化兩個變量之間的線性關(guān)系強度和方向）。至此，本次研究正式進入尾聲。
（來源：arXiv）
未來，研究人員希望通過減輕誤差累積問題來改進這種 Transformer 架構(gòu)，以便生成更準(zhǔn)確的預(yù)測，這將有助于研究那些長期無法進行功能性磁共振成像掃描的人群的大腦功能。
同時，研究人員還計劃通過使用遷移學(xué)習(xí)（transfer learning）來開發(fā)個性化模型。此外，研究人員此次提出的方法還具有一定的可解釋性，因此也能用于探索人腦的功能原理。
參考資料：
https://arxiv.org/pdf/2412.19814
運營/排版：何晨龍
