Mamba 選擇性狀態空間模型:如何以線性複雜度替代自注意力機制

Transformer 在長序列上的計算為何低效,為何需要狀態空間模型(SSM)?

結構化狀態空間模型是為解決Transformer長序列計算低效而生CITE:E3。Gu 與 Dao 在論文中指出,線性注意力、閘控卷積與循環模型、結構化狀態空間模型(SSM)等多種次二次時間(subquadratic-time)架構,皆是為了解決Transformer在長序列上的計算低效問題而開發,但在語言等重要模態上的表現不如注意力機制CITE:E3。Hugging Face 文件進一步說明,Mamba是一種選擇性結構化狀態空間模型,設計目的即在規避Transformer處理長序列時的計算低效CITE:E4。

Mamba 的核心創新是什麼?如何讓 SSM 選擇性傳遞資訊?

Mamba讓SSM參數成為輸入的函數,依當前token選擇性傳遞或遺忘資訊CITE:E1。Gu 與 Dao 指出,單純讓SSM參數成為輸入的函數,便能解決SSM在離散模態上的弱點,使模型能沿序列長度維度、依當前token選擇性地傳遞或遺忘資訊CITE:E1。

Mamba 相比自注意力機制有哪些效能優勢?

Mamba推論吞吐量達Transformer的5倍,且運算量隨序列長度線性成長CITE:E2。

Gu 與 Dao 指出,Mamba具備快速推論能力,吞吐量為Transformer的5倍,並隨序列長度線性成長,其在真實資料上的表現可延伸至百萬長度序列CITE:E2。Hugging Face 文件同樣說明,Mamba具備快速推論能力,並能擴展至非常長的序列CITE:E5。PyTorch 團隊在部落格中指出,長序列可擴展性是Mamba類模型的一項關鍵優勢CITE:E6。該團隊並具體說明,序列長度加倍時,Mamba的運算與記憶體需求約略加倍,而自注意力機制則會變為四倍CITE:E7。

這代表什麼:從Gu與Dao的研究脈絡看,結構化狀態空間模型最初是為解決Transformer長序列計算低效而發展的次二次時間架構之一CITE:E3,而Mamba藉由讓SSM參數成為輸入函數、實現選擇性傳遞或遺忘資訊CITE:E1,同時取得了5倍推論吞吐量與序列長度加倍僅需2倍運算資源(相對自注意力的4倍)的具體效益CITE:E2CITE:E7。這與PyTorch團隊將長序列可擴展性列為Mamba類模型關鍵優勢的說法一致CITE:E6。