BERT 深度雙向預訓練解析:Google 遮罩語言模型如何刷新 11 項 NLP 任務紀錄

什麼是 BERT 的「深度雙向」預訓練表示?

BERT 從深層神經網路最底層開始就同時運用左右脈絡表示詞義,因此屬於深度雙向表示CITE:E3。以「bank」一詞為例,BERT 會同時參照「I made a ... deposit」中該詞左右兩側的脈絡來表示它的語意,而這個雙向參照從網路最底層就開始,而非僅在最後階段才合併CITE:E3。這種設計的核心在於,BERT 是透過在所有層同時條件化左右兩側脈絡,從未標註文本預訓練出深層雙向表示CITE:E1。Hugging Face 的文件描述則指出,BERT 本質上是一個在未標註文本上預訓練的雙向 TransformerCITE:E7。

BERT 的遮罩語言模型與句序預測如何運作?

BERT 以遮罩語言模型隨機遮蔽輸入中 15% 的詞,並同時訓練句序預測任務CITE:E4。具體作法是:先遮蔽輸入序列中 15% 的詞,再將整段序列送入一個深度雙向 Transformer 編碼器,最後只針對被遮蔽的詞進行預測CITE:E4。除了這項遮罩語言模型任務之外,BERT 在預訓練階段還會學習預測一個句子是否接續在另一句之後,也就是句序預測CITE:E7。這兩項任務合併訓練,讓模型同時學到詞元層級的雙向語意,以及句子與句子之間的關係CITE:E7。

BERT-Base 與 BERT-Large 的架構參數有何差異?

BERT-Base 為 1.1 億參數,BERT-Large 為 3.4 億參數。兩者的架構規格如下:

可以看到,BERT-Large 的層數是 BERT-Base 的 2 倍(24 層對 12 層)、隱藏維度也從 768 提高到 1024、注意力頭數從 12 個增加到 16 個,參數量則從 1.1 億增加到 3.4 億CITE:E5CITE:E6。

BERT 在自然語言處理任務上的實績如何?

BERT 在十一項自然語言處理任務創下新的最佳成績,並將 GLUE 分數推升至 80.5%CITE:E2。這個 80.5% 的 GLUE 分數,相較先前紀錄是 7.7 個百分點的絕對進步CITE:E2。

這代表什麼?BERT 的實績數字與其架構設計互相呼應:同時運用左右脈絡的深度雙向預訓練CITE:E1CITE:E3,搭配遮罩 15% 詞元與句序預測的雙任務訓練CITE:E4CITE:E7,最終反映在十一項任務創新紀錄、GLUE 分數 80.5%、較先前進步 7.7 個百分點的成果上CITE:E2;而 BERT-Base 的 1.1 億參數與 BERT-Large 的 3.4 億參數CITE:E5CITE:E6,則說明這些成果是建立在不同規模的層數與隱藏維度配置之上。