聯邦學習如何做到「資料不離開裝置」?從 FedAvg 論文到 Gboard 實測

聯邦學習的核心原理是什麼?資料如何保留在本地裝置?

聯邦學習讓訓練資料留在行動裝置本地,僅彙整各裝置運算出的更新學得共享模型CITE:E1。這個概念出自 2016 年的原始論文,論文作者主張「讓訓練資料分散留在行動裝置上,透過彙整各裝置在本地計算出的更新來學得一個共享模型」CITE:E1。Google 在隔年進一步說明,聯邦學習(Federated Learning)讓多支手機能在所有訓練資料都保留在裝置上的前提下,協同學習出一個共享的預測模型CITE:E2。

模型更新如何被聚合?只有什麼資料被上傳到中央伺服器?

Google表示只有模型更新本身會透過加密通訊送上雲端,並立即與其他使用者的更新平均CITE:E3。原文寫道:「只有對模型的這份更新會被送上雲端,使用加密通訊,並立即與其他使用者的更新一起平均」CITE:E3。換言之,中央伺服器接收到的並非任何一支裝置上的原始資料,而是經聚合處理後的模型參數變化量。

採用聯邦學習能帶來哪些好處?

Google表示聯邦學習能帶來效能與隱私兼顧的具體效益CITE:E5。Google 原話指出:「聯邦學習可帶來更聰明的模型、更低的延遲與更少的耗電,同時確保隱私」CITE:E5。這代表聯邦學習被 Google 定位為同時滿足模型效能與資料保護兩個目標的訓練方式,而非僅是隱私合規的權宜做法。

聯邦學習已在哪些產品中落地應用?

Google目前正在Android版Gboard輸入法中測試聯邦學習CITE:E4。Google 的說法是:「我們目前正在 Android 上的 Google 鍵盤 Gboard 中測試聯邦學習」CITE:E4。這是目前證據中唯一被具名點出的產品落地案例,時間點與 Google 說明聯邦學習概念的部落格文章同為 2017 年 4 月 6 日CITE:E2CITE:E3CITE:E4CITE:E5。

聯邦學習最大的技術挑戰是什麼?通訊回合如何被壓縮?

IBM指出客戶端與中央伺服器之間的頻繁交換可能形成明顯瓶頸CITE:E6。IBM 的原話是:「客戶端節點與中央伺服器之間的頻繁交換,可能造成明顯的瓶頸」CITE:E6。而 FedAvg 原始論文則指出通訊成本是聯邦學習的主要限制,並表示該方法相較於同步隨機梯度下降,可將所需的通訊回合數減少 10 至 100 倍CITE:E7。

關鍵時間軸與數據對照

這代表什麼:從時間軸看,聯邦學習的技術構想(2016 年 FedAvg 論文)與產品端的公開說明及 Gboard 測試(2017 年 Google 部落格)相隔僅一年CITE:E1CITE:E2。同時,IBM 指出的通訊瓶頸CITE:E6與 FedAvg 論文宣稱的 10 至 100 倍通訊回合改善CITE:E7,分別對應同一項技術限制的問題面與解方面——前者描述聯邦學習在客戶端與伺服器頻繁交換時可能遇到的現況限制,後者是原始論文提出的具體改善數據。