近期，中國科學(xué)院廣州能源研究所黃玉萍副研究員團隊在低碳電力系統(tǒng)的智能調(diào)度與決策領(lǐng)域取得了新進展。

當(dāng)前，在配電網(wǎng)與微電網(wǎng)的運行主體存在本質(zhì)差異的情況下，實現(xiàn)碳責(zé)任的公平分配仍然面臨巨大挑戰(zhàn)。此外，在去中心化的多主體配電網(wǎng)中，實現(xiàn)快速、高效且安全的低碳經(jīng)濟調(diào)度依然存在諸多障礙。

黃玉萍團隊構(gòu)建了一個面向主動配電網(wǎng)與多微電網(wǎng)的協(xié)同優(yōu)化框架（圖1），結(jié)合時空碳強度均衡方法（STCIEM）和非合作優(yōu)化策略，分析了多主體協(xié)同決策中的碳排放分配問題。

圖1 多主體異構(gòu)網(wǎng)絡(luò)協(xié)同運行示意圖

圖2 在離線訓(xùn)練(a)和在線執(zhí)行(b)求解POMGs時的EAP-MATD3的架構(gòu)

該研究通過引入增強動作投影多智能體雙延遲深度確定性策略梯度（EAP-MATD3）算法，成功解決了低碳優(yōu)化中的非凸性問題，優(yōu)化了決策性能。該算法通過優(yōu)化智能體目標，解決Actor-Critic失配問題，在生成符合物理系統(tǒng)約束的最優(yōu)決策方面，相比傳統(tǒng)的安全多智能體深度強化學(xué)習(xí)方法具有更優(yōu)表現(xiàn)。

圖3 EAP-MATD3在線執(zhí)行時ADN-MMG內(nèi)部市場交易-碳強度結(jié)果

圖4 EAP-MATD3在線執(zhí)行時多個微電網(wǎng)內(nèi)部電價-碳強度-能源運行優(yōu)化結(jié)果

研究表明，去中心化低碳決策中的協(xié)同優(yōu)化策略在提升系統(tǒng)效率和降低碳排放方面發(fā)揮了關(guān)鍵作用。然而，過度依賴單一安全約束策略（如純獎勵懲罰或簡單投影）可能導(dǎo)致 Actor-Critic 失配，降低學(xué)習(xí)效率并隱藏安全風(fēng)險。EAP-MATD3算法能夠在復(fù)雜能源系統(tǒng)中有效平衡經(jīng)濟目標與環(huán)境目標，展現(xiàn)出更好的優(yōu)化性能。

本研究重點關(guān)注主動配電網(wǎng)與多微電網(wǎng)去中心化低碳運行中的復(fù)雜多主體協(xié)同決策和碳排放分配機制，為低碳電力系統(tǒng)的決策提供了參考依據(jù)。建議在低碳決策過程中合理平衡各主體自主優(yōu)化與全局效益，避免單一策略帶來的效率或安全問題；同時通過 STCIEM 確保碳責(zé)任公平分配，并借助 EAP-MATD3 優(yōu)化決策，以提升整體效率和穩(wěn)定性，保障低碳目標的實現(xiàn)。

研究得到了國家重點研發(fā)計劃、國家自然科學(xué)基金、廣東省發(fā)改委能源局項目等資助。

相關(guān)研究成果以Safe multi-agent deep reinforcement learning for decentralized low-carbon operation in active distribution networks and multi-microgrids為題發(fā)表于Applied Energy期刊，碩士研究生葉桐為第一作者，黃玉萍副研究員為通訊作者。

原文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S0306261925003393