知識蒸餾:教師模型如何把知識傳給更小的學生模型

什麼是知識蒸餾?核心目標為何?

知識蒸餾是將大型教師模型的學習成果轉移至較小學生模型的機器學習技術CITE:E1。這項技術的主要目標,是訓練學生網路去比對(模仿)教師網路所做出的預測CITE:E2。

知識蒸餾如何運作?軟目標與蒸餾損失扮演什麼角色?

教師模型產生的中介預測「軟目標」,通常是學生模型的主要訓練資料CITE:E3。蒸餾損失(distillation loss)衡量的是教師網路軟目標的機率分布與學生網路機率分布之間的差異CITE:E7;由於每個訓練樣本可有多個軟目標,學生學到的是教師的完整機率分布,而非單一標籤CITE:E7。

知識蒸餾的研究背景與相關研究為何?

Hinton 等人於 2015 年發表在 arXiv 的論文,延續了先前把整體模型知識壓縮進單一模型的做法CITE:E4。該論文指出,Caruana 等人已證明可把整體模型(ensemble)中的知識壓縮進單一、更易部署的模型,而這篇論文以不同的壓縮技術進一步發展此方法CITE:E4。

DistilBERT:知識蒸餾的成功案例與效果驗證為何?

DistilBERT 以 BERT base 模型作為教師,在相同語料上以自監督方式完成預訓練,產出一個更小、更快的模型CITE:E6。其量化效果如下:

以上數字顯示,把 BERT 模型體積縮小 40%,同時保留 97% 語言理解能力,並加快 60%,是可以達成的CITE:E5。

這代表什麼

從蒸餾機制的說明,到 2015 年 Hinton 等人的原始研究,再到 DistilBERT 於 2019 年公布的量化結果,三者呈現一致的邏輯鏈:學生模型透過模仿教師的完整機率分布學習,而非僅比對單一標籤CITE:E7;DistilBERT 的 40% 體積縮減、97% 能力保留與 60% 速度提升CITE:E5,則是這套機制在實際模型上的具體驗證,且其教師—學生關係(BERT base 為教師)與訓練方式(相同語料、自監督預訓練)也與方法論的描述一致CITE:E6。