近日，中科院深圳先進(jìn)技術(shù)研究院黃明強(qiáng)研究員團(tuán)隊(duì)在大模型AI芯片領(lǐng)域取得重要進(jìn)展，其研究成果在電路與系統(tǒng)領(lǐng)域頂級期刊IEEE Transactions on Circuits and Systems I: Regular Papers上在線發(fā)表，論文題目為“EdgeLLM: A Highly Efficient CPU-FPGA Heterogeneous Edge Accelerator for Large Language Models”。該研究成功攻克人工智能大語言模型（LLM）在資源受限邊緣設(shè)備部署的核心難題，為智能機(jī)器人、便攜設(shè)備等場景的實(shí)時(shí)AI應(yīng)用提供了創(chuàng)新解決方案。

自2017年以來，Transformer算法在自然語言處理和計(jì)算機(jī)視覺（CV）研究領(lǐng)域迅速成為人工智能領(lǐng)域的主導(dǎo)力量。通過引入自注意力機(jī)制，Transformer改變了傳統(tǒng)的序列建模方法，不再依賴卷積神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和序列處理。這一創(chuàng)新不僅增強(qiáng)了模型的并行化能力，使得大規(guī)模模型的訓(xùn)練成為可能，還顯著提升了模型性能。在Transformer取得成功之后，研究人員開始探索更大的模型，這些模型通常擁有數(shù)百億甚至更多的參數(shù)，被稱為“大語言模型”。大語言模型不僅增強(qiáng)了人工智能的語言處理能力，還推動(dòng)了AI更廣泛的技術(shù)進(jìn)步，為教育、娛樂、醫(yī)療和商業(yè)等行業(yè)帶來了革命性的變革。但是大語言模型在資源受限的端側(cè)系統(tǒng)部署仍存在較大的困難。

首先，大語言模型計(jì)算量龐大以及內(nèi)存訪問需求極高。現(xiàn)有解決方案通常將這些權(quán)重參數(shù)量化為INT4格式。然而，為了確保計(jì)算精度，模型中的激活函數(shù)仍然保持FP16格式。因此，在前饋神經(jīng)網(wǎng)絡(luò)（FFN）層中，系統(tǒng)需要支持FP16INT4格式的矩陣乘法。另一方面，在多頭注意力（MHA）模塊中，KV緩存作為激活數(shù)據(jù)動(dòng)態(tài)生成，因此涉及KV緩存的矩陣乘法需要FP16FP16格式。因此，設(shè)計(jì)混合精度計(jì)算單元以加速LLM變得尤為重要。我們分析了前饋網(wǎng)絡(luò)（FFN）和多頭注意力（MHA）的計(jì)算需求，提出了高效率的混合精度計(jì)算單元以及組脈動(dòng)陣列架構(gòu)。此外，我們還提出了對數(shù)尺度結(jié)構(gòu)化稀疏性和塊級量化方法，以在硬件效率和算法精度之間取得平衡。

此外，在大語言模型中，定義計(jì)算流程的算子圖極其復(fù)雜，包含數(shù)百甚至數(shù)千個(gè)以復(fù)雜方式相互連接的算子，確保從一個(gè)算子到另一個(gè)算子的過渡無縫且高效成為了一項(xiàng)重大挑戰(zhàn)。該團(tuán)隊(duì)分析了大語言模型中的編譯需求，設(shè)計(jì)了一種統(tǒng)一且通用的數(shù)據(jù)格式，適用于所有算子和AI算法中的高維張量結(jié)構(gòu)，使系統(tǒng)能夠快速執(zhí)行算子操作而無需任何數(shù)據(jù)重排。隨后，開發(fā)了端到端的編譯方案，其中動(dòng)態(tài)編譯用于處理不同輸入token長度，指令流水線策略用于減少延遲。該方案能夠動(dòng)態(tài)編譯所有算子，并將整個(gè)模型映射到CPU-FPGA異構(gòu)系統(tǒng)上。

最終，整個(gè)設(shè)計(jì)成功部署在AMDXilinx VCU128 FPGA上。與GPU相比，該系統(tǒng)的吞吐量提高了1.91倍，能效提高了7.55倍；與最先進(jìn)的FPGA加速器FlightLLM相比，整體性能提升了10%到24%。該成果有望應(yīng)用于新一代具身智能機(jī)器人、手機(jī)AI大模型等應(yīng)用場景中。