人腦功能活動的捕捉如同在迷霧中繪制星圖，需要多模態技術的協同。功能性磁共振成像（fMRI）憑借毫米級空間分辨率，在腦機工程研究中被視為腦功能解碼的金標準數據，但其笨重的設備、高昂的成本和低時間分辨率限制了應用潛力。與之互補的腦電圖（EEG）雖能毫秒級捕捉電信號，卻像“霧里看花”，信噪比低且難以定位深層腦區活動。如何讓兩者優勢融合提升腦功能解碼精度和可用性是腦機接口研究中的重要挑戰。

為突破這一瓶頸，中國科學院深圳先進技術研究院王書強課題組提出了一種創新的解決方案-通過構建條件對齊時序擴散模型（CATD），實現腦電-腦血氧信號的統一表征。團隊相關工作近日在IEEE Transactions on Medical Imaging發表了題為CATD: Unified Representation Learning for EEG-to-fMRI Cross-Modal Generation的研究成果，首次實現了基于擴散學習的EEG到fMRI跨模態表征，將BOLD信號時間分辨率提升3倍，為便捷獲取高質量腦功能信號提供新方案。

如果把EEG信號比作“閃電快照”，BOLD信號則是“延時攝影”——前者記錄毫秒級神經元放電，后者反映秒級血氧代謝。二者雖同源，卻因時空尺度差異如同“加密語言”。

CATD框架通過兩項核心技術破解這一密碼：

（1）“腦信號翻譯官”條件對齊塊（CAB）

研究團隊創新設計CAB模塊，借助跨模態注意力機制，將EEG的“時間密碼”與BOLD的“空間密碼”對齊至同一潛在空間。這一過程模擬了人腦神經血管耦合機制——當神經元放電后約6秒，血氧水平隨之波動。通過捕捉這種延遲關聯，AI能精準翻譯兩種信號的內在邏輯。

（2）“時間顯微鏡”動態時頻分割（DTFS）

傳統BOLD信號每秒采集1次，難以捕捉癲癇發作等瞬態事件。團隊開發的DTFS模塊，通過滑動采樣將EEG信號切割為毫秒級片段，驅動AI生成時間分辨率提升3倍的BOLD信號。實驗顯示，合成信號在癲癇早期征兆檢測中，時間相關性（余弦相似度）達0.85，媲美真實數據。

全球約70%的醫院配備EEG設備，但僅5%擁有fMRI。團隊提出的這一解決方案可基于海量EEG數據生成多模態腦影像庫，助力帕金森、抑郁癥等腦疾病神經調控機制研究。

數字所研究生姚瑋珩為論文第一作者，王書強研究員為論文通訊作者，該研究工作得到了國家重點研發計劃、國家自然科學基金等科技項目資助。

圖1. CATD模型圖

圖2. EEG-fMRI?跨模態增強在運動想象等下游任務中的驗證分析