快訊
中央社MCP正式上線:台灣首個新聞用「AI的USB-C」如何運作
中央社於2026年8月31日推出台灣首個新聞用模型上下文協定工具「AskCNA」,整合近500萬則新聞稿、350萬張照片與150個政府機關公開資料,月訂閱新台幣200元,供Claude、ChatGPT、Grok等AI平台即時查證且強制標註出處。
EffectStory 編輯部 ·
AI專題
CLIP是什麼？OpenAI對比式圖文預訓練模型解析：4億組圖文配對如何實現零樣本影像分類
E
OpenAI的CLIP以自網路蒐集的4億組圖文配對訓練,透過影像與文字編碼器把兩者特徵投影到同一潛在空間、以內積算相似度,使模型在ImageNet零樣本分類即可追平ResNet-50,且完全不用其128萬筆訓練樣本;並在逾30個電腦視覺資料集上驗證跨任務泛化能力。
CLIP是什麼？模型定義與零樣本學習的核心概念
OpenAI的CLIP是以圖片與文字配對訓練的神經網路，能以自然語言指示模型為一張影像找出最相關的文字描述CITE:E1。這項預測不需要針對該任務直接最佳化即可完成，OpenAI將此能力類比為GPT-2與GPT-3展現的零樣本能力CITE:E1。
CLIP的預訓練方法：對比式學習與4億級規模的圖文配對
CLIP的預訓練任務是預測哪段文字說明對應哪張圖片，OpenAI以此從零學習影像表徵CITE:E2。訓練所用的資料集由自網路蒐集而成的4億組（圖片，文字）配對組成CITE:E2。OpenAI稱這是一種「有效率且可擴展、能從零學習SOTA（當前最佳）影像表徵」的方式CITE:E2。
CLIP的技術架構：雙編碼器與向量空間映射
CLIP的架構由影像編碼器與文字編碼器組成，分別取得視覺特徵與文字特徵CITE:E6。Hugging Face的技術文件說明，這兩種特徵會被投影到維度相同的潛在（嵌入）空間，模型再以兩者的內積計算相似度分數CITE:E6。
CLIP如何實現零樣本遷移：從預訓練到下游任務
完成預訓練後，CLIP以自然語言指涉模型已學到的視覺概念，或用來描述新的概念，藉此讓模型零樣本遷移到下游任務CITE:E3。
CLIP的零樣本性能突破：ImageNet基準測試
在ImageNet基準測試中，CLIP零樣本分類即可匹配原始ResNet-50的準確率CITE:E4。OpenAI指出，達成此結果完全不需要使用ResNet-50訓練時所用的128萬筆訓練樣本CITE:E4。
CLIP的泛化性能：跨資料集與跨任務的基準評估
OpenAI在30多個既有電腦視覺資料集上為CLIP做基準測試，藉此評估其跨任務泛化能力CITE:E5。測試範圍涵蓋OCR（光學文字辨識）、影片動作辨識、地理定位，以及多種細粒度物件分類等任務CITE:E5。
關鍵數字一覽
| 項目 | 數字 | 說明 |
|---|---|---|
| 預訓練圖文配對規模 | 4億組 | 自網路蒐集的（圖片，文字）配對，用於從零學習影像表徵CITE:E2 |
| ImageNet訓練樣本 | 128萬筆 | CLIP零樣本分類匹配ResNet-50準確率時，完全未使用的訓練樣本數CITE:E4 |
| 基準測試資料集數量 | 30多個 | 涵蓋OCR、影片動作辨識、地理定位與細粒度物件分類等任務CITE:E5 |
這代表什麼：CLIP以4億組網路圖文配對取代ResNet-50所需的128萬筆人工標註訓練樣本，仍在ImageNet零樣本分類上達到相同準確率CITE:E4；而OpenAI進一步在30多個涵蓋OCR、影片動作辨識、地理定位與細粒度物件分類的資料集上驗證此方法CITE:E5，顯示雙編碼器與同一潛在空間的架構設計CITE:E6，與其零樣本遷移機制CITE:E3，是支撐上述規模與廣度驗證結果的共同基礎。
📊 證據與數據
- 外部已核驗CLIP 是以大量「圖片-文字」配對訓練的神經網路,可用自然語言指示它為影像找出最相關的文字描述,無需為該任務直接最佳化,類似 GPT-2、GPT-3 的零樣本能力:以圖文配對訓練、可用自然語言指示github.com
- 外部已核驗CLIP 的核心預訓練任務是「預測哪段文字說明對應哪張圖片」,並在自網路蒐集的 4 億組(圖片,文字)配對資料集上從零學習影像表徵:預測圖文配對;4 億組圖文配對arxiv.org
- 外部已核驗預訓練後,CLIP 以自然語言指涉已學到的視覺概念(或描述新概念),使模型能零樣本遷移到下游任務:以自然語言達成零樣本遷移arxiv.org
- 外部已核驗在 ImageNet 上,CLIP 零樣本即可匹配原始 ResNet-50 的準確率,且完全不需使用其訓練所用的 128 萬筆訓練樣本:零樣本追平 ResNet-50;免用 128 萬筆樣本arxiv.org
- 外部已核驗研究在 30 多個現有電腦視覺資料集上做基準測試,涵蓋 OCR、影片動作辨識、地理定位與多種細粒度物件分類等任務:跨 30+ 個視覺資料集評測arxiv.org
- 外部已核驗CLIP 以影像編碼器與文字編碼器分別取得視覺與文字特徵,再將兩者投影到維度相同的潛在(嵌入)空間,以內積計算相似度:圖文特徵投影到同一潛在空間、以內積算相似度huggingface.co
常見問題
CLIP是什麼？模型定義與零樣本學習的核心概念
OpenAI的CLIP是以圖片與文字配對訓練的神經網路，能以自然語言指示模型為一張影像找出最相關的文字描述CITE:E1。這項預測不需要針對該任務直接最佳化即可完成，OpenAI將此能力類比為GPT-2與GPT-3展現的零樣本能力CITE:E1。
CLIP如何實現零樣本遷移：從預訓練到下游任務
完成預訓練後，CLIP以自然語言指涉模型已學到的視覺概念，或用來描述新的概念，藉此讓模型零樣本遷移到下游任務CITE:E3。
📎 資料來源
延伸數據
作者觀點・EffectStory 編輯部
CLIP真正的技術判斷點不在於它贏了ResNet-50多少，證據顯示的是「追平」而非超越——真正的關鍵是它用4億組網路圖文配對取代了128萬筆人工標註樣本，卻能在同一個ImageNet基準上打平監督式訓練的結果。這意味著雙編碼器將圖文特徵投影到同一潛在空間、以內積計算相似度的架構設計，本身就足以承載零樣本遷移，不需要針對下游任務重新標註或微調。後續值得觀察的具體指標，是這套雙編碼器架構在30多個資料集所涵蓋的OCR、影片動作辨識、地理定位與細粒度物件分類之外的任務類型上，是否仍能維持「零樣本追平監督式基準」的表現模式。
E
EffectStory 編輯部・編輯部
🔗 作者頁與著作
相關文章
快訊
Sony Music、Warner Chappell控告Anthropic:指控「公然盜版」音樂著作侵權
Sony Music Publishing、Warner Chappell等多家音樂出版商於2026年8月28日晚間向加州北區地方法院對Anthropic提起訴訟,並將共同創辦人Dario Amodei、Benjamin Mann列為個人被告,求償每件作品最高15萬美元,總額上看數十億美元。
EffectStory 編輯部 ·
快訊
Anthropic連簽輝達系兩大算力合約:350億美元給Lambda、450億美元給Nscale
Anthropic今年8月接連與Lambda簽下350億美元、與Nscale簽下450億美元算力合約,兩案的資料中心與晶片皆與輝達相關:輝達是Lambda股東與晶片供應商,也是Nscale的投資方,並被外媒指為德州資料中心租戶。
EffectStory 編輯部 ·