近日，一篇由澳洲悉尼大學團隊牽頭完成的論文在 X 上引起關注，該校的博士生孫藝菲（Yifei Sun，音）是論文第一作者。
圖 | Yifei Sun（來源：LinkedIn）
基于人類連接組計劃的功能性磁共振成像數(shù)據(jù)，他們使用 Transformer 預測了人腦靜息狀態(tài)（human brain resting states）（注：人類連接組計劃是美國國立衛(wèi)生研究院于 2009 年開始資助的一個 5 年項目，由幾所研究機構分成兩組進行）。
具體來說，他們提出一種基于時間序列的 Transformer 架構，在功能性磁共振成像采集中觀察到的一系列先前時間點的情況下，成功預測了大腦 379 個灰質區(qū)域的大腦狀態(tài)，單時間點預測均方誤差為 0.0013。
研究中，他們將大腦狀態(tài)預測問題構建為一個自回歸任務，在給定序列的情況下來預測下一個時間元素。
借此發(fā)現(xiàn)，該模型可以準確預測大腦的即時狀態(tài)，其中預測 5.04 秒的大腦狀態(tài)誤差較小，預測 10 分鐘以上的大腦狀態(tài)與人類功能連接組的平均值一致（注：功能連接，是指大腦不同腦區(qū)之間在功能上的相互關聯(lián)和影響，主要通過分析不同腦區(qū)記錄的信號來計算反映不同腦區(qū)關系強弱的某種指標）。
本次方法也能學習大腦狀態(tài)隨時間的時間依賴性，基于 21.6s 的功能性磁共振成像數(shù)據(jù)可以準確預測約 5.04s 的狀態(tài)。
此外，即使預測誤差隨著時間的推移而累積，所生成的功能性磁共振成像大腦狀態(tài)，也能反映功能連接的結構。另據(jù)悉，本次研究的相關代碼已開源（https://github.com/syf0122/brain_state_pred）。
（來源：arXiv）
基于自注意力機制力的架構，能充當大腦未來狀態(tài)的“預言師”
人腦是一個復雜的動態(tài)系統(tǒng)，有數(shù)百億個神經元和數(shù)萬億個突觸連接。了解人腦的動態(tài)機制始終是神經科學領域的首要任務，因為它對于揭示認知、情感、語言和其他更高層次人類智能的起源至關重要。
此外，這種理解對于破譯阿爾茨海默病和精神分裂癥等腦部疾病背后的機制至關重要。同時，腦機接口（BCI，brain-computer interfaces）和大腦啟發(fā)的 AI 技術正在發(fā)展成為當前的技術趨勢，因此學習大腦機制是模仿人腦的重要一步。
功能性磁共振成像是一種廣為使用的非侵入性技術，它能在中觀尺度上觀察整個大腦的空間動態(tài)，以及在第二尺度上觀察時間動態(tài)。
盡管人們在繪制大腦功能組織方面取得了重大進展，例如用靜息態(tài)腦功能磁共振成像重建了內在網絡。但是，大腦的功能連接是了解大腦健康和心理健康的重要生物標志物。
而當大腦沒有執(zhí)行特定任務時（即靜息狀態(tài)），大腦活動到底是如何出現(xiàn)？對于這一問題仍然沒有得到解答。此外，從靜息狀態(tài)獲取的具體序列腦狀態(tài)是否可以預測？這仍然是一個未知數(shù)。
而假如能夠解決這一問題，則有望縮短有困難患者或殘疾患者的功能性磁共振成像掃描時間。如果可以預測大腦狀態(tài)，那么某些致命性腦部疾�。ㄈ绨d癇）的疼痛和傷害也可以避免或減少。
同時，預測大腦狀態(tài)可以為腦機接口技術鋪平道路，有望讓該技術實現(xiàn)更直觀、更有效的溝通。
自從相關研究人員于 2017 年引入多頭自注意力（Multi-headedSelf-attention）以來，Transformer 架構在深度學習中可謂無處不在，并主要專注于處理序列任務和圖像多任務。
ChatGPT 便是其中一個成功案例，它展示了 Transformer 在處理自然語言順序信息上的強大功能。Transformer 能從知識庫中學習模式，并能在連續(xù)對話的背景下給出答案。
鑒于它們能夠找到基于相關性和與圖論聯(lián)系的數(shù)據(jù) tokens 之間的遠距離關系，本次研究團隊認為基于自注意力機制力的架構，能夠從連續(xù)的大腦活動中預測即將到來的大腦狀態(tài)。
最近，有研究人員證明 Transformer 架構在分析功能性磁共振成像數(shù)據(jù)具備年齡預測、性別分類和疾病分類方面的潛力。
此外，腦語言模型（BrainLM，brain language model）是一種能夠監(jiān)測大腦動態(tài)活動的基礎模型。在使用腦語言模型的時候，需要經過預先訓練以便進行掩蔽預測，然后針對大腦狀態(tài)預測進行微調。
然而，腦語言模型需要使用大型數(shù)據(jù)集進行預訓練，而大腦狀態(tài)預測需要相對較長的時間序列（180 個時間點）。
因此，假如訓練一個能夠根據(jù)更短的輸入時間序列來預測大腦狀態(tài)的模型，就可以大大縮短功能性磁共振成像的掃描時間。
（來源：arXiv）
采用 1003 名健康年輕人的 3.0T 功能性磁共振成像數(shù)據(jù)
基于此，研究人員使用了人類連接組計劃的年輕人數(shù)據(jù)集的靜息狀態(tài)功能性磁共振成像數(shù)據(jù)。他們采用 1003 名健康年輕人的 3.0T 功能性磁共振成像數(shù)據(jù)，并排除了其中 110 名成像缺失或不完整的受試者。
這些受試者都曾使用四次功能性磁共振成像掃描，每次掃描 1200 個時間點，并采用存儲基于表面的灰質數(shù)據(jù)的 CIFTI 格式（注：CIFTI 的英文全稱是 Connectome Imaging Format for Tomography，它是一種用于存儲和表示大腦連接組數(shù)據(jù)的文件格式）。
人類連接組計劃的功能性磁共振成像數(shù)據(jù)具有 2mm 的各向同性空間分辨率和 0.72s 的時間分辨率。
除了人類連接組計劃數(shù)據(jù)集已能提供的最小預處理之外，該團隊還進行了幾個額外的預處理步驟，以便進一步地清理數(shù)據(jù)，并為訓練和測試 Transformer 準備數(shù)據(jù)。
研究中，他們使用高斯濾波器對功能性磁共振成像數(shù)據(jù)進行空間平滑處理，高斯濾波器在 CIFTI 格式中將半峰全寬設置為 6mm，以便降低噪聲和提高信噪比（注：半峰全寬，是指在色譜分析中色譜峰高一半處的峰寬度）。
然后，他們采用帶通濾波器濾除一些不感興趣的噪聲，同時將時間信號保持在 0.01Hz 至 0.1Hz 的范圍內。
為了將所有樣本放在一個共同尺度上，他們針對時間序列進行 z 分數(shù)變換，以便獲得零時間均值和單位標準差（注：z 分數(shù)，是一個數(shù)與平均數(shù)的差再除以標準差的過程）。
接著，他們使用多模態(tài)分割圖譜，計算了 379 個大腦區(qū)域的平均功能性磁共振成像時間序列，其中包括 360 個皮質區(qū)域和 19 個皮質下區(qū)域。基于此，他們使用每個時間點信號強度為 379 個區(qū)域的向量來表示大腦狀態(tài)。
人腦是一個動態(tài)系統(tǒng)，它的當前狀態(tài)與之前狀態(tài)有關。因此，研究人員也探索了這樣一個問題：在給定一系列先前大腦狀態(tài)的情況下，是否可以預測單個大腦狀態(tài)？為了模擬這些預測，他們重新設計一個為流感預測（influenza forecasting）開發(fā)的現(xiàn)有時間序列 Transformer 模型。該模型由 Transformer 編碼器和 Transformer 解碼器組合而來。
在使用時，Transformer 將由具有給定窗口大小的 token 序列表示的時間序列數(shù)據(jù)作為輸入。由于自注意力機制會將標記關系視為一個圖，因此可以使用正弦函數(shù)和余弦函數(shù)的位置編碼，來添加相對的時間信息。
網絡的編碼器，包含四個具有自關注和前饋的編碼層。編碼層，則包含八個注意頭。最終，這一編碼堆棧可以生成編碼器輸出。
研究人員把編碼器輸入的最后一個時間點與編碼器輸出加以結合，以此作為解碼器的輸入，這時解碼器會被定義為四個解碼層的堆棧，而這些解碼層也由自注意力機制和前饋層組成。
隨后，全連接層會將解碼器層堆棧的輸出映射到目標輸出形狀。與流感流行病例的時間序列 Transformer 不同，該團隊的模型能夠預測一系列的未來時間點，并能通過采用前瞻性掩蔽來預測基于過去的數(shù)據(jù)。
（來源：arXiv）
生成 1150 個時間點的合成時間序列的預測結果
當將大腦狀態(tài)預測問題定義為自回歸任務時，研究人員使用均方誤差（MSE，mean squared error）作為損失函數(shù)。他們首先針對 40 名受試者的數(shù)據(jù)進行不同窗口大小的初步測試。
具體來說，他們輸入了時間序列之間的重疊，因此每個功能性磁共振成像會話數(shù)據(jù)能夠產生 1150 個訓練樣本。
訓練期間，研究人員從所有受試者和所有會話的訓練數(shù)據(jù)中隨機選擇樣本。訓練完畢 Transformer 網絡之后，研究人員使用模型此前沒有見過的受試者的功能性磁共振成像數(shù)據(jù)評估其性能。
首先，他們測試了該模型從真實功能性磁共振成像數(shù)據(jù)中預測單個大腦狀態(tài)的能力。然后，他們使用相同的輸入序列進行類似測試，其中大腦狀態(tài)的順序是隨機的。
研究人員假設：當以隨機序列輸入相同的數(shù)據(jù)時，一個能夠學習順序信息和大腦動力學的模型應該會產生更高的誤差。
為了驗證這一假設，他們針對兩種測試的均方誤差進行比較，并對兩組均方誤差結果進行了配對 t 檢驗（paired t-test）（注：配對 t 檢驗是配對樣本 t 檢驗的簡稱，用于檢驗相關或相互依賴的配對觀測值之間的平均差是否存在顯著差異）。
之后，他們評估了模型的這一能力，即采用有限的真實功能性磁共振成像數(shù)據(jù)和不斷增加的合成狀態(tài)，來預測一系列大腦狀態(tài)的能力。
具體來說，他們使用 30 個真實的功能性磁共振成像時間點來預測下一個時間點，然后將該預測與真實時間序列連接起來，并將輸入窗口移動一步，以迭代的方式囊括新的預測時間點，直到合成與真實數(shù)據(jù)（1200 個時間點）長度相同的時間序列序列。
通過此，研究人員生成 1150 個時間點的合成時間序列的預測結果，并計算了預測時間序列和真實功能性磁共振成像數(shù)據(jù)之間的均方誤差，以及每個預測和真實大腦狀態(tài)之間的斯皮爾曼相關系數(shù)，以便可以測試單調相關性（monotonic correlations）（注：斯皮爾曼相關系數(shù)，是一種非參數(shù)統(tǒng)計方法，用于評估兩個變量之間的單調關系，而非用于評估線性關系）。
同時，研究人員使用區(qū)域時間序列之間的皮爾遜相關系數(shù)，計算了真實功能性磁共振成像時間序列和預測功能性磁共振成像時間序列的功能連接矩陣（注：皮爾遜相關系數(shù)，是一種統(tǒng)計度量，用于量化兩個變量之間的線性關系強度和方向）。至此，本次研究正式進入尾聲。
（來源：arXiv）
未來，研究人員希望通過減輕誤差累積問題來改進這種 Transformer 架構，以便生成更準確的預測，這將有助于研究那些長期無法進行功能性磁共振成像掃描的人群的大腦功能。
同時，研究人員還計劃通過使用遷移學習（transfer learning）來開發(fā)個性化模型。此外，研究人員此次提出的方法還具有一定的可解釋性，因此也能用于探索人腦的功能原理。
參考資料：
https://arxiv.org/pdf/2412.19814
運營/排版：何晨龍
