分詞與 BPE(位元組對編碼):大型語言模型如何切分詞元、平衡詞彙表與未知詞

什麼是詞元(Token)?

詞元(token)是機器在自然語言處理中能理解的語言單位,通常是一個詞或詞的一部分CITE:E1。這個定義是大型語言模型處理任何文字前,最基本的切分結果CITE:E1。

子詞分詞如何平衡詞彙表大小與未知詞問題?

子詞分詞把文字切成介於詞與字元之間的單位,藉此讓詞彙表保持精簡,同時仍能捕捉有意義的片段CITE:E2。常見詞會維持為單一詞元,而罕見或未知詞則被拆解成子詞CITE:E3。這種做法讓模型不需要為每一個罕見詞單獨建立詞彙表項目,也能以既有子詞組合處理未曾見過的詞。

BPE(位元組對編碼)演算法與其變體是什麼?

BPE(位元組對編碼)從個別字元開始,反覆合併出現頻率最高的相鄰字元對,逐步組成子詞與詞彙表CITE:E4。位元組層級 BPE 則改用 256 個位元組值作為基礎詞彙表,取代以字元為起點的做法CITE:E5。

詞元與字元、英文單詞的換算比例是多少?

Google 官方文件說明,以 Gemini 模型而言,一個詞元約等於 4 個字元CITE:E6。

這三組數字分別對應詞元與字元、詞元與英文單字,以及 BPE 演算法本身的基礎詞彙表規模,呈現詞元切分在不同層面的具體量化結果。

綜合以上證據可看出,子詞分詞的兩個層次彼此呼應:在演算法層面,位元組層級 BPE 以 256 個位元組值作為基礎詞彙表CITE:E5,讓常見詞維持完整、罕見詞被拆解為子詞CITE:E3;在實際使用層面,以 Gemini 模型計算,一個詞元約對應 4 個字元,100 個詞元約對應 60 到 80 個英文單字CITE:E6CITE:E7。這代表詞彙表大小的設計選擇,最終會反映在使用者實際感受到的詞元與文字換算比例上。