2017 年 Transformer 論文如何以自注意力機制取代循環與卷積,奠定大型語言模型基礎

Transformer 論文如何革新神經網路架構,以自注意力機制取代循環與卷積結構?

Vaswani 等人 2017 年 6 月 12 日發表論文,提出完全基於注意力機制的 TransformerCITE:E1。該論文提出一種簡單的全新網路架構,完全捨棄循環與卷積結構,僅以注意力機制為基礎CITE:E1。Google Research 說明,《Attention Is All You Need》提出的 Transformer 是基於自注意力機制的全新神經網路架構,並認為它特別適合語言理解任務CITE:E6。

自注意力機制的核心原理是什麼?它如何直接建模文本中詞彙之間的關係?

自注意力機制在每一步直接建模句中所有詞彙之間的關係,不受相對位置影響CITE:E7。也就是說,模型計算每個詞的表示時,會同時參照句子中所有其他詞的位置,而非僅依賴相鄰詞彙。

什麼是多頭注意力?Transformer 如何透過平行運算實現多個注意力機制?

多頭注意力是指模型在每個注意力層平行計算多次自注意力運算CITE:E5。這種設計的目的是同時兼顧平均運算的效率,以及詞彙之間多面向關係的表達CITE:E5。

Transformer 的具體架構參數有哪些設計選擇?

Transformer 將所有子層與嵌入層的輸出維度統一設定為 d_model = 512CITE:E3。此設定是為了配合模型中的殘差連接設計CITE:E3。在注意力層數量上,論文採用 h = 8 個平行注意力層,即 8 個注意力頭CITE:E4。

Transformer 在機器翻譯任務上達到了什麼樣的性能突破?

Transformer 在 WMT 2014 英德翻譯任務上達到 28.4 BLEUCITE:E2。此結果超越當時包含集成模型在內的既有最佳結果逾 2 BLEUCITE:E2。

這代表什麼:Transformer 以 d_model=512、h=8 個注意力頭的架構設計CITE:E3CITE:E4,實現了不受詞彙位置限制、直接建模全句詞彙關係的自注意力運算CITE:E7,並透過多頭平行計算兼顧效率與多面向關係CITE:E5;這套設計在 WMT 2014 英德翻譯任務上取得 28.4 BLEU、超越先前最佳結果逾 2 BLEU 的成績CITE:E2,呼應 Google Research 對其「特別適合語言理解」的判斷CITE:E6。