腦機(jī)接口（BCI）技術(shù)作為連接人腦與外部設(shè)備的重要橋梁，近年來(lái)在醫(yī)療、康復(fù)、智能家居等領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。然而，傳統(tǒng)的BCI系統(tǒng)多依賴單一的EEG信號(hào)，其空間分辨率低且易受干擾，限制了其性能的進(jìn)一步提升。為此，研究者們開始探索將EEG與fNIRS（功能性近紅外光譜）相結(jié)合的雙模態(tài)BCI系統(tǒng)，以期通過(guò)兩種信號(hào)的互補(bǔ)優(yōu)勢(shì)，實(shí)現(xiàn)更高效、更準(zhǔn)確的腦機(jī)交互。 然而，同時(shí)記錄EEG和fNIRS信號(hào)并非易事。由于兩種傳感器在頭皮上的布局存在沖突，同時(shí)記錄高質(zhì)量的混合信號(hào)面臨諸多挑戰(zhàn)。

為突破這一瓶頸，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院的王書強(qiáng)課題組提出了一種創(chuàng)新的解決方案——SCDM（Spatio-Temporal Controlled Diffusion Model），即時(shí)空控制擴(kuò)散模型。該模型利用生成式AI技術(shù)，從EEG信號(hào)中生成fNIRS信號(hào)，從而實(shí)現(xiàn)雙模態(tài)信號(hào)的采集。 2025年3月4日?qǐng)F(tuán)隊(duì)相關(guān)工作在IEEE Transactions on Medical Imaging發(fā)表了題為SCDM: Unified Representation Learning for EEG-to-fNIRS Cross-Modal Generation in MI-BCIs的研究成果，首次實(shí)現(xiàn)了基于生成式人工智能的EEG到fNIRS跨模態(tài)生成。

SCDM模型的核心在于其兩個(gè)關(guān)鍵模塊：空間跨模態(tài)生成（SCG）模塊和多尺度時(shí)序表示（MTR）模塊。SCG模塊通過(guò)改進(jìn)的二維注意力機(jī)制，學(xué)習(xí)EEG和fNIRS信號(hào)的空間表示，并實(shí)現(xiàn)從EEG到fNIRS的準(zhǔn)確映射。MTR模塊則通過(guò)因果擴(kuò)張卷積和深度可分離卷積，捕捉多樣化的時(shí)序特征，同時(shí)減少空間特征的干擾，從而提高表示的準(zhǔn)確性。

研究團(tuán)隊(duì)通過(guò)對(duì)比真實(shí)fNIRS信號(hào)和合成fNIRS信號(hào)的分類性能，發(fā)現(xiàn)合成信號(hào)在多項(xiàng)指標(biāo)上與真實(shí)信號(hào)相當(dāng)，甚至在某些情況下表現(xiàn)更優(yōu)。這表明，SCDM模型生成的fNIRS信號(hào)不僅在質(zhì)量上接近真實(shí)信號(hào)，而且在實(shí)際應(yīng)用中具有潛在的替代價(jià)值。 此外，研究還發(fā)現(xiàn)，合成fNIRS信號(hào)在空間分布和時(shí)間特征上與真實(shí)信號(hào)高度一致。通過(guò)對(duì)比f(wàn)NIRS通道與EEG通道的相關(guān)性，發(fā)現(xiàn)合成信號(hào)保留了與EEG信號(hào)的空間對(duì)應(yīng)關(guān)系，這為雙模態(tài)信號(hào)的融合提供了有力支持。 SCDM模型不僅解決了同時(shí)記錄EEG和fNIRS信號(hào)的難題，還為未來(lái)BCI系統(tǒng)的性能提升提供了新的可能性。

數(shù)字所研究生李逸升為第一作者，王怡珊研究員為共同作者，王書強(qiáng)研究員為論文通訊作者，該研究工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金等科技項(xiàng)目資助。

SCDM模型圖

合成fNIRS信號(hào)與真實(shí)fNIRS信號(hào)的血流動(dòng)力學(xué)響應(yīng)曲線對(duì)比