癌癥患者的預(yù)后情況，是制定個(gè)性化治療方案的核心依據(jù)，但腫瘤具有高度異質(zhì)性，給精準(zhǔn)評(píng)估預(yù)后帶來(lái)了巨大挑戰(zhàn)。目前，多模態(tài)研究多集中在病理影像與基因組數(shù)據(jù)，而能反映患者整體健康狀況的臨床信息，因存在離散、稀疏、維度低等特性，尚未被充分挖掘利用，這也導(dǎo)致傳統(tǒng)方法難以精準(zhǔn)評(píng)估預(yù)后風(fēng)險(xiǎn)。

近日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院醫(yī)學(xué)成像科學(xué)與技術(shù)系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室秦文健研究員，提出一種臨床信息提示整合的多模態(tài)預(yù)后預(yù)測(cè)新框架，通過(guò)設(shè)計(jì)臨床文本模板和基礎(chǔ)大模型，將結(jié)構(gòu)化臨床數(shù)據(jù)轉(zhuǎn)化為高維語(yǔ)義特征，并通過(guò)交叉注意力機(jī)制實(shí)現(xiàn)病理圖像、基因組與臨床信息的高效融合，提升癌癥生存預(yù)測(cè)精度。研究成果以"Multimodal deep learning for cancer prognosis prediction with clinical information prompts integration"為題，發(fā)表于國(guó)際數(shù)字醫(yī)學(xué)權(quán)威期刊npj Digital Medicine（圖1）。

臨床信息“沉睡”難題如何破解？

傳統(tǒng)多模態(tài)研究多集中于病理影像與基因組數(shù)據(jù)，而年齡、腫瘤分期等臨床信息因離散、低維的特性常被忽略。受圖像-文本對(duì)比學(xué)習(xí)研究的啟發(fā)，研究團(tuán)隊(duì)設(shè)計(jì)“臨床文本模板”，并借助視覺(jué)-語(yǔ)言基礎(chǔ)模型編碼為高維向量，激活臨床數(shù)據(jù)的深層語(yǔ)義價(jià)值。具體而言，研究團(tuán)隊(duì)為每一項(xiàng)臨床特征設(shè)計(jì)了圍繞關(guān)鍵信息的文本描述模板，并利用GPT-4o mini自動(dòng)生成多個(gè)同義句模板，每個(gè)臨床特征隨機(jī)選取一個(gè)模板生成文本描述，并通過(guò)預(yù)訓(xùn)練的文本基礎(chǔ)模型進(jìn)行編碼。實(shí)驗(yàn)結(jié)果表明，當(dāng)模板數(shù)量Nt=1時(shí)，不同生存時(shí)間患者的臨床高維特征在區(qū)分性和聚類(lèi)效果上達(dá)到最優(yōu)（圖2a）。病理圖像和基因組數(shù)據(jù)分別通過(guò)基礎(chǔ)大模型UNI和scFoundation進(jìn)行特征編碼，隨后與高維臨床特征一同輸入SurvPGC模型。該模型采用雙路徑結(jié)構(gòu)，每一路均基于跨模態(tài)雙向注意力機(jī)制，將病理圖像分別與臨床信息或基因組數(shù)據(jù)進(jìn)行融合（圖2d），從而充分挖掘不同模態(tài)之間的互補(bǔ)信息。

三大癌種驗(yàn)證：AUC顯著提升，風(fēng)險(xiǎn)分層更精準(zhǔn)

在性能評(píng)估方面，研究將SurvPGC與多種單模態(tài)及多模態(tài)生存預(yù)測(cè)模型進(jìn)行了系統(tǒng)比較。總體而言，多模態(tài)模型顯著優(yōu)于單模態(tài)模型；其中，SurvPGC在TCGA-LIHC、TCGA-BRCA和TCGA-COADREAD數(shù)據(jù)集上的C-index分別達(dá)到0.701±0.054、0.701±0.057和0.676±0.087，均優(yōu)于現(xiàn)有性能最優(yōu)模型。基于Kaplan–Meier曲線的風(fēng)險(xiǎn)分層分析同樣表明，SurvPGC在區(qū)分高風(fēng)險(xiǎn)與低風(fēng)險(xiǎn)患者方面具有更強(qiáng)的預(yù)測(cè)能力（圖3）。?

為進(jìn)一步分析雙路徑融合嵌入對(duì)模型決策的貢獻(xiàn)，研究采用Integrated Gradients（IG）方法量化多模態(tài)嵌入對(duì)預(yù)測(cè)結(jié)果的影響，并對(duì)跨模態(tài)注意力矩陣Ac→p（臨床-病理學(xué)）和Ag→p（基因組-病理學(xué)）在病理全切片圖像上的分布進(jìn)行了可視化，以研究基因組和臨床信息關(guān)注的組織區(qū)域。圖4展示了來(lái)自數(shù)據(jù)集TCGA-LIHC的典型病例，其中紅色表示高關(guān)注區(qū)域，藍(lán)色表示低關(guān)注區(qū)域。根據(jù)生存時(shí)間將病例分為高風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)組，生存時(shí)間越短，風(fēng)險(xiǎn)越高。本研究分別根據(jù)Ac→p和Ag→p的累積注意力值選擇了排名前50的圖像塊區(qū)域。在TCGA-LIHC中（圖4），臨床和基因組數(shù)據(jù)的注意力主要集中在WSI中的腫瘤細(xì)胞區(qū)域。此外，基因組數(shù)據(jù)還更傾向于關(guān)注諸如淋巴細(xì)胞和壞死等區(qū)域，而這些區(qū)域很少被Ac→p選擇。然而，基因組數(shù)據(jù)更容易受到噪聲的影響，并可能聚焦于無(wú)關(guān)的偽影，如臨床上的人工馬克筆標(biāo)記或掃描陰影。盡管不同數(shù)據(jù)集中的臨床和基因組數(shù)據(jù)的主要關(guān)注區(qū)域有所不同，但總體而言它們是互補(bǔ)的。

中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院博士生侯嘉馨為該研究的第一作者，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院秦文健研究員為論文通訊作者。該研究工作得到了國(guó)家自然科學(xué)基金、深港腫瘤影像智能計(jì)算分析聯(lián)合實(shí)驗(yàn)室、深圳市基礎(chǔ)研究專(zhuān)項(xiàng)自然科學(xué)基金、深港澳科技計(jì)劃以及中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)會(huì)員的資助。

圖1：文章上線截圖

圖2：本研究提出的工作流

圖3：各模型在TCGA-LIHC數(shù)據(jù)集上的KM曲線

圖4：TCGA-LIHC患者的可解釋性可視化展示