自編碼器與變分自編碼器(VAE):從壓縮重建到機率生成的潛在空間差異

自編碼器的基本架構是什麼?編碼器和解碼器如何協作完成壓縮與重建?

自編碼器是一種神經網路架構,由編碼器將輸入資料壓縮成關鍵特徵,再由解碼器從該壓縮表示重建回原始輸入CITE:E1。以手寫數字影像為例,TensorFlow 的教學說明指出,自編碼器先由編碼器把影像編碼成較低維度的潛在表示,再由解碼器把該潛在表示解碼還原成影像CITE:E3。這種「壓縮—還原」的兩段式結構,是自編碼器與其他神經網路架構最主要的區別。

如何量化自編碼器的重建效果?

自編碼器的輸出與真實值之間的差異稱為重建誤差,是評估重建品質的核心指標CITE:E2。IBM 對自編碼器的說明將重建誤差定義為模型輸出與 ground truth 之間的落差,換言之,自編碼器訓練的目標即是持續縮小這項差異,讓解碼器還原出的資料盡可能貼近原始輸入CITE:E2。

以 MNIST 手寫數字為例,自編碼器如何編碼與解碼真實影像?

TensorFlow 教學以 MNIST 手寫數字影像示範自編碼器的編碼與解碼流程CITE:E3。該教學所用資料集中,每張影像為 28×28 像素CITE:E4;若攤平成向量,每張 MNIST 影像原本是由 784 個整數構成,每個整數介於 0 到 255 之間,代表對應像素的強度CITE:E6。自編碼器的編碼器即是把這組 784 維的像素向量壓縮成遠低於 784 維的潛在表示,再由解碼器將其解碼還原成 28×28 像素的影像CITE:E3。

變分自編碼器(VAE)相比傳統自編碼器的根本區別是什麼?

傳統自編碼器把輸入映射為單一潛在向量,VAE 則把輸入映射為機率分布的參數CITE:E5。TensorFlow 的說明進一步指出,VAE 把輸入資料映射為機率分布的參數,例如高斯分布的平均值與變異數,藉此形成連續且具結構性的潛在空間,適用於影像生成CITE:E5。換句話說,傳統自編碼器的潛在空間是離散的固定座標,VAE 的潛在空間則是可連續取樣的機率分布,這也是 VAE 能用來生成全新資料、而傳統自編碼器只能重建既有輸入的關鍵差異CITE:E5。

VAE 的理論基礎與原始論文核心問題是什麼?

Kingma 與 Welling 於 2013 年發表的 VAE 原始論文《Auto-Encoding Variational Bayes》,聚焦一項推論問題CITE:E7。該論文提出的核心問題是:如何在具有連續潛在變數、後驗分布難解且資料量龐大的有向機率模型中,進行有效率的推論與學習CITE:E7。這項理論問題正是 VAE 把潛在空間建成機率分布、而非單一向量的根本動機。

這代表什麼?TensorFlow 同時維護標準自編碼器教學與 VAE(CVAE)教學,兩者共用同一組 MNIST 資料(784 維、28×28 像素、0–255 強度)作為示範素材,顯示在其文件體系中,自編碼器與 VAE 被視為同一技術脈絡的兩個階段:先掌握壓縮與重建、再進到機率生成CITE:E3CITE:E4CITE:E5CITE:E6。同時,IBM 對重建誤差的定義與 Kingma、Welling 論文提出的「後驗分布難解」問題彼此對應——重建誤差是傳統自編碼器可直接量測的訓練目標,而 VAE 正是為了處理無法直接量測、需以機率推論逼近的潛在空間才被提出CITE:E2CITE:E7。