本地模型

量化 AI 模型是什麼？量化就是把模型裡的數字從 16 位元換成 4 位元存放，用一點準確度換回體積跟速度。這篇用手搖飲甜度的比喻，帶你看懂 Llama-3.1-8B 怎麼從 15GB 壓到 4.6GB、量化跟蒸餾差在哪，以及它為什麼是記憶體漲價時代最划算的一招。