KV 快取為何加速 LLM 逐字生成,又為何隨長上下文線性膨脹成記憶體瓶頸?

KV 快取的運作原理與加速機制:儲存和復用如何加速逐字生成?

Hugging Face 說明,KV 快取會儲存先前 token 在注意力層算出的鍵值配對,供後續 token 直接取用而不必重算CITE:E1。NVIDIA 於 2023 年 11 月 17 日發布的技術文章進一步指出,為避免在每個時間步對所有 token 重算這些張量,可將其快取在 GPU 記憶體中,這正是加速逐字生成的關鍵CITE:E2。換言之,KV 快取用「空間換時間」——犧牲記憶體容量,換取每一步生成不必重跑整段序列的注意力計算。

影響 KV 快取記憶體需求的因素:模型大小、批次數與序列長度的線性關係

NVIDIA 指出,KV 快取的記憶體需求會隨批次大小與序列長度線性成長CITE:E3。NVIDIA 在 2025 年 1 月 16 日發布的另一篇技術文章進一步指出,KV 快取同時隨語言模型大小、批次請求數與序列上下文長度三項因素線性成長CITE:E4。這代表記憶體壓力並非單一變數造成,而是模型規模、併發請求量與上下文長度三者疊加的結果。

KV 快取的記憶體瓶頸:為什麼在長上下文和高批次場景下成為效能瓶頸?

Hugging Face 在 2024 年 5 月 16 日發布的文章表示,KV 快取雖能加速自回歸生成,但在長上下文或高批次情境下會成為記憶體瓶頸CITE:E5。此一說法與 NVIDIA 描述的線性成長曲線相互呼應:當序列長度或批次請求數持續增加,原本用來加速的快取本身,會反過來吃掉可用於運算的 GPU 記憶體空間。

量化與高效注意力機制的緩解效果:Flash Attention 與量化如何擴展支援的序列長度?

Hugging Face 指出,在 80GB A100 上,量化後的 KV 快取搭配 Flash Attention 最多可支援 128k tokens,而半精度快取的上限僅為 40k tokensCITE:E6。以同一張 80GB A100 為基準換算,量化路線讓可支援的序列長度從 40k tokens 擴大到 128k tokens,達到約 3.2 倍。

分頁虛擬記憶體方案:PagedAttention 如何應用虛擬記憶體概念來緩解記憶體壓力?

vLLM 研究團隊在 2023 年 9 月 12 日發布的論文提出 PagedAttention,一種借鏡作業系統經典虛擬記憶體與分頁技術的注意力演算法CITE:E7。與量化路線壓縮每筆快取的位元寬度不同,PagedAttention 走的是記憶體管理層面的路線,借用作業系統管理實體記憶體的分頁概念,來處理 KV 快取的配置問題。

這代表什麼:Hugging Face 與 NVIDIA 分別在不同時間點的文件中描述了同一條因果鏈——KV 快取靠儲存鍵值配對換取生成速度CITE:E1CITE:E2,但這份快取會隨模型大小、批次數與序列長度線性膨脹CITE:E3CITE:E4,最終在長上下文或高批次場景下由加速手段變成瓶頸CITE:E5。量化CITE:E6與 PagedAttentionCITE:E7 是目前證據中出現的兩條緩解路線,分別對應「壓縮單筆快取體積」與「改善記憶體配置方式」,兩者處理的是同一個線性成長問題的不同層面。