一句話定義

模型蒸餾(Knowledge Distillation)是讓一個小模型當學生,拿大模型的輸出當教材來訓練,用更少的參數與成本,學到接近大模型能力的方法。

30 秒看重點

  • 是什麼:模型蒸餾是用大模型(老師)的回答去訓練小模型(學生),讓小模型學會大模型的本事。
  • 為什麼重要:大模型又貴又慢,蒸餾能做出便宜、快、可以塞進手機或筆電的小模型,DistilBERT、Distil-Whisper、DeepSeek-R1 蒸餾版都是例子。
  • 跟誰相關:想省 API 費用的開發者、用手機 AI 功能的一般人、關心中美 AI 競爭與智慧財產的人。
  • 最常見的誤解:以為「蒸餾」就等於偷模型,其實它是各大廠自己也在用的正當訓練技術,有爭議的是未經授權去撈別人的模型。
  • 記住這件事就夠了:蒸餾不是複製大模型的腦袋,而是讓小模型照著大模型的答案練習,練到「很像」但不會完全一樣。

模型蒸餾到底是什麼?

模型蒸餾是一種「大模型教小模型」的訓練方法:先有一個很強但很肥的老師模型,再讓一個小很多的學生模型,照著老師給的答案反覆練習,最後學生用一小部分的身材,做出接近老師的成績。

Anthropic 在 2026 年 2 月的官方文章裡,給了一個很乾淨的定義:蒸餾就是「拿一個較強模型的輸出,去訓練一個能力較弱的模型」。同一篇文章也直說,這是「被廣泛使用而且正當的訓練方法」,前沿實驗室常用它把自家模型做成更小、更便宜的版本。

這個概念最常被引用的源頭,是 Geoffrey Hinton、Oriol Vinyals 與 Jeff Dean 在 2015 年 3 月發表的論文《Distilling the Knowledge in a Neural Network》。多個搜尋來源一致指出,論文的出發點很務實:一堆大模型組起來效果很好,可是部署起來太笨重,所以要想辦法把那些「功力」壓進一個好部署的小網路裡。

生活比喻:你可以想像成金門高粱的釀法。一大缸發酵好的高粱,真正有價值的是裡面的酒精跟香氣,蒸餾就是把水分跟雜質留在鍋裡,只把精華收集起來。模型蒸餾想做的事情很像,不搬整缸,只把大模型真正會的本事濃縮到小瓶子裡。

為什麼會有模型蒸餾?

模型蒸餾的出現,是為了解決一個很現實的矛盾:最強的模型通常最大,可是最大的模型最難拿來實際用。

問題 1:大模型太貴、太慢。參數越多,每回答一句話要跑的運算就越多,雲端帳單跟等待時間一起往上爬。用過 AI 寫程式的人應該都有感,旗艦模型很聰明,但一個請求要等好幾秒,API 費用通常也比小模型貴。

問題 2:大模型塞不進你的裝置。手機、筆電、車用系統的記憶體有限,一個幾百 GB 的模型根本放不進去。想要離線用、想要資料不出裝置,就得有夠小的模型。

那直接訓練一個小模型不就好了?

可以,但效果通常比較差。DeepSeek 在 DeepSeek-R1 的 GitHub 頁面上講得很直接:把大模型的推理模式蒸餾到小模型,表現比直接在小模型上用強化學習自己摸索出來的推理模式還要好。

說白了,自己埋頭苦讀,不如跟著學霸的筆記讀。

模型蒸餾是怎麼運作的?

先講結論:模型蒸餾的核心是「讓學生模仿老師的答案」,差別只在學生能看到老師的答案有多詳細。

  1. 老師先出題作答:準備一大批題目,丟給大模型回答,把它的輸出收集起來當教材。Distil-Whisper 的 GitHub 說明就寫到,他們用 Whisper 對 2.2 萬小時的音訊產生轉錄文字當訓練資料,還會濾掉老師自己聽錯或亂講的部分。
  2. 學生照著練:小模型拿同樣的題目來答,答得跟老師不一樣就調整自己的參數。Distil-Whisper 的訓練目標,就是縮小學生與老師之間輸出分布的差距(KL 散度),再加上一般的對答案損失。
  3. 驗收成績:最後拿標準測驗比對學生跟老師的分數,確認縮小後還保留多少能力。

這邊真的關鍵是第 1 步的「答案有多詳細」。Hinton 2015 年的做法,學生看到的不只是「答案是 C」,而是老師對每個選項的機率分布,例如「C 有七成把握、B 有兩成、A 幾乎不可能」,論文把它叫做 soft targets(軟標籤),還會調高 softmax 的「溫度」讓這個分布更平滑、更好學。

名詞小教室:soft targets 可以想像成補習班名師的講解。只給標準答案的叫 hard label,你只知道對或錯;名師會跟你說「B 其實也很像,只是差在這個細節」,這些「錯得有道理」的資訊,正是小模型學得快的祕密。這種訓練本質上也是一種微調(Fine-tuning),只是教材換成老師模型的輸出。

到了大型語言模型時代,很多蒸餾其實更簡單。DeepSeek 官方說明寫到,R1 的蒸餾版是用 DeepSeek-R1 產生的推理資料,去微調 Qwen2.5 和 Llama3 系列的開源模型,Qwen 那幾支用了 80 萬筆樣本。學生只看到老師寫出來的文字,看不到機率分布,有點像只拿到學霸的解題筆記。

模型蒸餾跟量化、微調差在哪?

一句話:蒸餾是「換一個小學生來學」,量化是「同一個人把筆記寫精簡」,微調是「同一個人去上專業進修班」。三個都跟讓模型更好用有關,但動的地方完全不同。

比較項目模型蒸餾(Distillation)量化(Quantization)微調(Fine-tuning)
換模型了嗎換了,另外訓練一個小模型沒換,同一個模型沒換,同一個模型繼續訓練
參數量變少不變,每個參數變瘦不變
需要重新訓練嗎要,而且要老師產教材通常不用要,用特定領域資料
主要目的變小、變快、變便宜省記憶體、跑更快讓模型更懂某個領域
我會在什麼情況選它想要長期大量使用的便宜小模型想把現成模型塞進自己的電腦想讓模型學會公司內部的專業寫法

從這張表可以看出來,蒸餾是三者裡最「重工」的,要準備老師、要產資料、要重新訓練,可是換來的是一個體質真的變小的新模型。

實務上這三招常常疊著用。像 DeepSeek-R1 的蒸餾版本身就是微調出來的,下載回家後很多人還會再做量化,才塞得進筆電。如果你只是想在自己電腦跑模型,先找現成的量化版就好;如果是公司每天要打幾百萬次 API,才值得考慮自己蒸餾一個。

「蒸餾攻擊」又是什麼?DeepSeek 爭議怎麼回事?

蒸餾攻擊是指未經授權,大量呼叫別人的 AI 服務撈出回答,拿去訓練自己的模型,技術跟正常蒸餾一樣,問題出在沒有取得同意、違反服務條款。

這個詞會紅,是從 DeepSeek 開始的。多個媒體轉述英國《金融時報》2025 年 1 月 29 日的報導,OpenAI 表示看到 DeepSeek 可能透過蒸餾使用自家模型的證據,但沒有公開細節,DeepSeek 也沒有承認。

到了 2026 年,Anthropic 直接把數字攤開。官方 2 月 23 日的文章指出,DeepSeek、Moonshot AI(月之暗面)、MiniMax 三家透過約 24,000 個假帳號,與 Claude 進行超過 1,600 萬次對話:

  • MiniMax:超過 1,300 萬次,鎖定 agentic coding 與工具使用
  • Moonshot AI:超過 340 萬次,鎖定代理推理、寫程式、電腦操作與電腦視覺
  • DeepSeek:超過 15 萬次,鎖定推理能力,以及拿 Claude 當評分用的獎勵模型

你可以想像成有人開了上萬個人頭帳號,每天去名店點幾千碗牛肉麵,帶回家拆解湯頭配方,再開一家便宜的分店。食譜本身不犯法,犯規的是用假身分繞過店家「不賣給同業」的規矩。

Anthropic 在文章裡把重點放在安全。官方的說法是,用這種方式蒸餾出來的模型,大概不會保留原本的安全防護,危險能力可能就這樣外流。之後本站日報也持續追蹤,包括白宮點名 Kimi K3、Anthropic 9 月報告指阿里巴巴動用 1.51 億次對話,到 9 月都還有新案例。

老實講,大廠一邊說「蒸餾很正當,我們自己也在用」,一邊又說「但你不可以蒸餾我」,聽起來有點雙標 當年訓練資料也沒問過誰。可是服務條款就是遊戲規則,真正在吵的是授權,技術本身沒什麼問題。

你會在哪些 AI 工具看到模型蒸餾?

先講結論:有些模型會直接把蒸餾寫在名字裡(Distil、Distill),但不是每家都會公開怎麼做,以下只列有官方資料的例子。

  • DistilBERT:Hugging Face 的經典作品,GitHub 說明寫明它比老師 BERT 少 40% 參數、快 60%,在 GLUE 語言理解測驗保留 97% 的表現。
  • Distil-Whisper:Whisper 語音轉文字模型的蒸餾版,官方寫明快 6 倍、小 49%,在測試集上的字錯率跟原版相差 1% 以內,採 MIT 授權可商用。
  • DeepSeek-R1 蒸餾版:開源了 1.5B 到 70B 共六個尺寸。官方表格中,32B 版在 AIME 2024 數學測驗拿到 72.6 分,高於 OpenAI o1-mini 的 63.6 分。
  • Google Gemma 2:多個搜尋來源一致指出,技術報告寫到 2B 與 9B 版本用知識蒸餾取代一般的預測下一個字訓練。

如果你是工程師,最可能碰到的是雲端平台的蒸餾功能。多個來源報導,OpenAI 在 2024 年 10 月 1 日的 DevDay 推出 API 版的 Model Distillation,用 Stored Completions 把大模型的回答存起來,再拿去微調小模型。

學模型蒸餾最常見的 3 個誤解

最大的誤解,是把「蒸餾」直接跟「抄襲」畫上等號。

  1. 誤解一:蒸餾就是偷模型 — 真相是蒸餾是正當技術,DeepSeek-R1 的 MIT 授權甚至明文允許拿它來蒸餾訓練其他 LLM,有爭議的只有未經授權的那種。
  2. 誤解二:蒸餾會把大模型整個複製過來 — 真相是學生只學到老師輸出的樣子,參數完全是自己的。DistilBERT 保留 97% 的表現,代表還是有 3% 的落差。
  3. 誤解三:蒸餾版一定比較爛 — 真相是在特定測驗上,蒸餾版可能贏過別家的大模型,DeepSeek-R1-Distill-Qwen-32B 的數學分數就勝過 o1-mini,但在程式競賽 CodeForces 上仍輸給 o1-mini(1691 比 1820)。

看到這邊應該有感,蒸餾版就像高粱的小瓶裝,濃度可以很高,但容量就是比較少(這比喻我自己滿喜歡的)。

想多了解模型蒸餾,從哪開始?

沒有技術背景的話:下次看到模型名稱裡有「Distil」「Distill」,可以去翻官方說明,看它的老師是誰、保留了多少能力。也可以拿同一個問題分別問旗艦版跟小模型,自己感受「濃縮」之後少了什麼。

有技術背景的話:先讀 Distil-Whisper 的 GitHub README,它把凍結編碼器、只留兩層解碼器、KL 散度訓練寫得很清楚,是很好的實作範本。再去看 DeepSeek-R1 的 repo,對照「用老師產生的文字微調」這種 LLM 時代的蒸餾怎麼做。


常見問題 FAQ

模型蒸餾跟 AI 有什麼關係?

模型蒸餾是 AI 模型的一種訓練方法,讓小模型學習大模型的輸出,用更少的參數與運算成本接近大模型的能力。DistilBERT、Distil-Whisper 與 DeepSeek-R1 蒸餾版都是用這個方法做出來的小模型。

為什麼模型蒸餾突然這麼紅?

模型蒸餾的概念因 Hinton 等人 2015 年的論文廣為人知。2025 年 1 月 OpenAI 表示看到 DeepSeek 可能蒸餾自家模型的證據,2026 年 2 月 Anthropic 公開指出 DeepSeek、Moonshot AI、MiniMax 透過約 24,000 個假帳號與 Claude 進行超過 1,600 萬次對話,蒸餾因此從技術名詞變成國際新聞。

我不是工程師也需要懂模型蒸餾嗎?

不需要會實作,但懂基本觀念很有幫助。手機與筆電上的 AI 功能常用小模型,了解蒸餾就知道小模型為什麼便宜又快、也為什麼偶爾不如旗艦版,看到蒸餾爭議的新聞時也能分辨技術與授權是兩回事。

模型蒸餾的中文翻譯有沒有統一?

英文正式名稱是 Knowledge Distillation,常簡稱 Distillation。台灣與中國大陸都常譯為「知識蒸餾」或「模型蒸餾」,新聞報導多用「模型蒸餾」或直接寫「蒸餾」。本站採用「模型蒸餾」,因為它是台灣搜尋量最高的寫法。

學會模型蒸餾之後,下一個該學什麼?

建議先讀量化,了解另一種讓模型變小的方法;再讀微調,因為大型語言模型的蒸餾多半是用老師的輸出做微調;最後看推理模型,了解 DeepSeek-R1 這類被蒸餾的推理能力是什麼。


延伸閱讀


參考來源

  1. Detecting and preventing distillation attacks|Anthropic — 蒸餾定義、正當用途、三家實驗室的對話次數與安全疑慮。
  2. deepseek-ai/DeepSeek-R1|GitHub — 蒸餾版尺寸、基底模型、80 萬筆樣本、與 o1-mini 的分數比較、MIT 授權。
  3. DistilBERT 蒸餾說明|huggingface/transformers-research-projects — 少 40% 參數、快 60%、保留 97% 表現。
  4. huggingface/distil-whisper|GitHub — 快 6 倍、小 49%、2.2 萬小時偽標註資料與 KL 散度訓練。

查證限制:Hinton 等人 2015 年論文(arXiv)的 soft targets 與溫度說明、Gemma 2 技術報告的蒸餾訓練、OpenAI 2024 年 DevDay 的 Model Distillation API,以及《金融時報》關於 DeepSeek 的報導,原始網站在撰寫環境無法開啟,以多個獨立搜尋結果交叉比對一致後才寫入,未列入參考來源。


整理一下重點:模型蒸餾說穿了就是讓小模型跟著大模型的答案練功,把精華濃縮進小瓶子,技術本身滿正當的,真正在吵的是「誰准你拿我的答案去練」。

希望這一篇有讓你對模型蒸餾有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。

我們下篇文章見囉~

本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。