AI 詞彙百科

模型蒸餾是什麼?Distillation 意思與 DeepSeek 爭議

模型蒸餾(Knowledge Distillation)是讓小模型學習大模型的輸出,用更少參數與成本接近大模型能力的訓練方法。DistilBERT、DeepSeek-R1 蒸餾版都靠它,「蒸餾攻擊」爭議也出自這裡。