嵌入與向量資料庫:AI 如何用數值座標鎖定語意相近的內容

什麼是嵌入?如何把非數學資料轉換成向量座標?

嵌入是把文字、圖像等非數學資料轉換成一組數值陣列的表徵手法。IBM 將向量嵌入定義為資料點的數值表徵,能把文字或圖像這類非數學性資料表示成機器學習模型可以處理的數字陣列CITE:E1。

這組數值陣列有固定的「維度數」,即向量的長度。OpenAI 的嵌入模型 text-embedding-3-small 預設輸出 1536 維,text-embedding-3-large 預設輸出 3072 維CITE:E6。

維度愈高,能承載的語意資訊愈細緻,但儲存與運算成本也愈高CITE:E6。

向量資料庫的核心能力是什麼?如何在高維空間中儲存和取回資料?

向量資料庫的核心能力是把向量當作高維空間中的點來儲存與取回。Amazon Web Services 指出,向量資料庫提供的正是「把向量儲存並取回為高維度點」的能力CITE:E2。

向量資料庫如何實現相似度搜尋?為什麼找最近鄰就能找到意思相近的東西?

向量資料庫額外提供在 N 維空間中高效查找最近鄰的能力,這正是相似度搜尋的基礎。AWS 說明,向量資料庫在既有的儲存與取回能力之外,還加入了在 N 維空間中高效、快速查找最近鄰的額外能力CITE:E3。當兩個資料點在高維空間中的座標距離愈近,代表兩者的語意愈相近,這也是「找最近鄰」等於「找意思相近的東西」的運作原理。

向量搜尋 vs 關鍵字搜尋:為什麼「語意理解」比「精準比對」更強大?

向量搜尋能找出使用者想表達的意思,不需要精準的關鍵字比對。Elastic 表示,向量搜尋找的是使用者「想表達的意思」,而非要求關鍵字完全吻合CITE:E4。這與前述的最近鄰查找機制相互呼應:向量資料庫先把查詢轉換成向量座標,再透過最近鄰搜尋比對語意距離,而不是逐字比對字串CITE:E3。

向量資料庫在生成式 AI 中如何應用?如何保障模型提供可信賴的資訊?

向量資料庫可作為生成式 AI 聊天機器人的外部知識庫,協助確保回答可信賴。AWS 指出,向量資料庫能為生成式 AI 聊天機器人提供外部知識庫,並協助確保其提供可信賴的資訊CITE:E5,這類架構常見於檢索增強生成(Retrieval-Augmented Generation,RAG)應用。

嵌入技術如何演進到今天?從 word2vec 到現代嵌入模型的歷程

現代嵌入技術可追溯至 2013 年發表的 word2vec 論文。Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean 等研究者於 2013 年 1 月 16 日發表論文《Efficient Estimation of Word Representations in Vector Space》,提出以連續向量高效表示詞語的方法,是現代嵌入技術的奠基工作之一CITE:E7。從這篇奠基論文的詞向量概念,發展到今天 OpenAI 提供 1536 維與 3072 維兩種預設輸出規格的嵌入模型,顯示這項技術已從單純的詞語表徵,擴展為可承載文字、圖像等多種資料型態的通用語意座標系統CITE:E6。

這代表什麼

把前述事實串起來看:嵌入自 2013 年 word2vec 論文奠定「用向量表示語意」的基礎後CITE:E7,如今已發展出 1536 維與 3072 維等不同規格的表徵方式CITE:E6;向量資料庫則負責把這些高維座標儲存並取回CITE:E2,再靠最近鄰查找找出語意鄰近的內容CITE:E3。這條技術鏈的結果,是搜尋從「比對字串」轉向「比對使用者想表達的意思」CITE:E4,也讓生成式 AI 能以向量資料庫作為外部知識庫,支撐更可信賴的輸出CITE:E5。