Pre-Training

預訓練（Pre-training）是什麼？預訓練是拿海量文字讓 AI 反覆做「文字接龍」、把語言規律與世界常識壓進參數裡的第一階段訓練。這篇帶你看懂它跟微調差在哪、為什麼 AI 會有知識截止日，以及一次預訓練到底燒掉多少電。