動物行為的精細化追蹤與分析對于神經(jīng)科學(xué)、行為學(xué)和生物醫(yī)學(xué)領(lǐng)域至關(guān)重要。然而，當(dāng)前主流的深度學(xué)習(xí)姿態(tài)估計方法在面對多動物交互和長時程追蹤場景時，往往受到關(guān)鍵點漂移問題的困擾，影響行為量化的準(zhǔn)確性與數(shù)據(jù)的穩(wěn)定性。

近日，中國科學(xué)院深圳先進技術(shù)研究院（簡稱“深圳先進院”）腦認(rèn)知與腦疾病研究所/深港腦科學(xué)創(chuàng)新研究院蔚鵬飛研究員團隊在國際學(xué)術(shù)期刊eLife發(fā)表了題為“Anti-drift pose tracker (ADPT):A transformer-based network for robust animal pose estimation across species”的研究論文。研究團隊提出了一種基于Transformer架構(gòu)的抗漂移姿態(tài)追蹤技術(shù)（ADPT），成功實現(xiàn)跨物種動物姿態(tài)追蹤的高精度、高魯棒性檢測。

ADPT融合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）與Transformer結(jié)構(gòu)的優(yōu)勢，一方面利用CNN提取圖像的局部精細特征，另一方面通過Transformer有效捕捉身體各部位之間的全局依賴關(guān)系，顯著降低了關(guān)鍵點的漂移現(xiàn)象（圖1）。與DeepLabCut、SLEAP等現(xiàn)有方法的對比測試顯示，ADPT在復(fù)雜的多動物交互和長時程行為追蹤任務(wù)中具有明顯的精度與穩(wěn)定性優(yōu)勢。

研究團隊對多物種（包括小鼠、食蟹猴等）的行為視頻數(shù)據(jù)集進行了深入評估。在小鼠數(shù)據(jù)集中，ADPT有效解決了傳統(tǒng)方法難以準(zhǔn)確檢測的尾尖等細微部位追蹤問題，總體檢測精度較DeepLabCut與SLEAP方法提高超過8.6%，平均均方根誤差（RMSE）降至7.19 ± 0.58像素，表現(xiàn)出顯著優(yōu)勢(圖2左)。在食蟹猴行為數(shù)據(jù)集中，ADPT在復(fù)雜環(huán)境干擾下依舊成功實現(xiàn)靈長類動物的姿態(tài)穩(wěn)定追蹤。特別是在存在人類干擾的場景中，其他方法容易誤將人類識別為目標(biāo)動物，而ADPT表現(xiàn)出對跨物種干擾的優(yōu)秀抵抗能力，確保了追蹤精度與可靠性(圖2右)。

同時，研究團隊還利用公開的果蠅（Single fly）、獼猴（OMS_dataset）和狨猴（Marmoset）數(shù)據(jù)集進一步驗證了ADPT的泛化性能，結(jié)果再次證實了ADPT跨物種姿態(tài)估計的適應(yīng)能力。

在多動物自由社交行為的場景中，ADPT更展現(xiàn)了其“身份-姿態(tài)”同步精準(zhǔn)追蹤的突出優(yōu)勢。團隊發(fā)現(xiàn)，ADPT在不進行任何時序后處理的情況下，即可達到90.36%的身份追蹤準(zhǔn)確率；若結(jié)合簡單時序校正，這一準(zhǔn)確率進一步提高至99.72%，明顯優(yōu)于現(xiàn)有的多動物姿態(tài)追蹤工具。此外，在團隊自建的Homecage小鼠社交數(shù)據(jù)集中，ADPT不僅身份追蹤效果顯著優(yōu)于DeepLabCut和SLEAP（準(zhǔn)確率提高約5-10倍，身份互換現(xiàn)象顯著減少），姿態(tài)估計精度也提高了約15%（圖3）。

為進一步推動ADPT技術(shù)的應(yīng)用落地，研究團隊開發(fā)了簡單易用的ADPT工具箱，能夠讓缺乏深度學(xué)習(xí)背景的生物學(xué)研究人員輕松使用，極大地降低了姿態(tài)追蹤技術(shù)的應(yīng)用門檻。

本研究為動物行為學(xué)、神經(jīng)疾病與社會互動機制研究提供了強大的技術(shù)支持，有望推動神經(jīng)科學(xué)與行為學(xué)的交叉研究進入新的階段。

深圳先進院蔚鵬飛研究員為本文最后通訊作者，南方科技大學(xué)劉泉影助理教授為共同通訊作者，深圳先進院腦所研究助理唐國令、博士生韓亞寧為本文共同第一作者。該研究還得到了暨南大學(xué)李曉江教授、閆森教授團隊的大力支持。該項目主要受到國家自然科學(xué)基金-青年科學(xué)基金項目（B類）、國家自然科學(xué)基金外國學(xué)者研究基金項目、科技部“腦科學(xué)與類腦研究”國家科技重大專項以及深圳市科技創(chuàng)新計劃等項目資助。

圖1 ADPT工作流程和網(wǎng)絡(luò)結(jié)構(gòu)圖

圖2 ADPT實現(xiàn)高精度、高魯棒性單動物姿態(tài)估計

圖3 ADPT實現(xiàn)多動物社交場景下精確身份-姿態(tài)同步追蹤