Whisper 如何靠 68 萬小時弱監督音訊練出通用語音辨識能力?

OpenAI 研究提出的 Whisper,是一個以 68 萬小時已標註音訊訓練的編碼器-解碼器 Transformer,採大規模弱監督學習預測網路音訊逐字稿,使其在多語言語音辨識、翻譯與語言辨識等多任務零樣本遷移下,準確度與穩健度已接近人類水準。

Whisper 是什麼?其基礎架構如何設計?

Whisper 是一個通用型語音辨識模型CITE:E4,架構為編碼器-解碼器(序列對序列)TransformerCITE:E6。這款模型以 68 萬小時已標註音訊資料完成預訓練CITE:E6。

大規模弱監督如何驅動 Whisper 的訓練?

Whisper 的訓練方法是讓系統單純學習預測網路上大量音訊的逐字稿,以此作為大規模弱監督的核心做法CITE:E1。這套做法不依賴人工精細標註,而是直接以網路既有的逐字稿作為監督訊號CITE:E1,再透過編碼器-解碼器(序列對序列)Transformer 架構,將 68 萬小時已標註音訊資料轉化為可學習的訓練任務CITE:E6。

Whisper 的訓練資料規模與多樣性如何影響泛化能力?

當訓練規模擴大到 68 萬小時的多語言與多任務監督資料時,Whisper 在標準基準測試中展現良好泛化能力CITE:E2。在此規模下,Whisper 的表現往往可與先前完全監督式方法的結果相匹敵,且是在不需任何微調的零樣本遷移設定下達成CITE:E2。Whisper 是以多樣化音訊的大型資料集訓練而成的多任務模型,能執行多語言語音辨識、語音翻譯與語言辨識CITE:E5,其基礎正是 68 萬小時已標註音訊資料的編碼器-解碼器 Transformer 預訓練CITE:E6。

Whisper 如何在多語言與多任務上實現零樣本遷移能力?

Whisper 是能執行多語言語音辨識、語音翻譯與語言辨識的多任務模型CITE:E5。當訓練資料規模達到 68 萬小時的多語言與多任務監督時,這些能力在零樣本遷移情境下無需任何微調即具競爭力CITE:E2。這樣的預訓練規模也使 Whisper 在英語及許多其他語言的音訊任務上具備零樣本表現能力CITE:E7。

Whisper 在性能表現上如何與人類水準比較?

與人類相比,Whisper 模型的準確度與穩健度已接近人類水準CITE:E3。這樣的表現建立在 68 萬小時預訓練資料之上,該規模的資料量使 Whisper 能在英語及許多其他語言的音訊任務上發揮零樣本能力CITE:E7。

綜合上述,Whisper 建立於 68 萬小時已標註音訊資料的編碼器-解碼器 Transformer 架構CITE:E6,並以大規模弱監督直接學習網路上的音訊逐字稿CITE:E1。當監督規模擴大到相同等級的 68 萬小時多語言與多任務資料後,模型不僅能在零樣本遷移下媲美先前完全監督式方法的結果CITE:E2,也能執行多語言語音辨識、語音翻譯與語言辨識等多任務CITE:E5,並在英語及許多其他語言上具備零樣本表現能力CITE:E7,最終使其準確度與穩健度接近人類水準CITE:E3。訓練規模、任務廣度與零樣本能力三者之間的關聯,是這份研究呈現的核心脈絡。