AI 詞彙百科
量化 AI 模型是什麼?同樣的模型怎麼從 15GB 壓到 4.6GB 還能用
量化 AI 模型是什麼?量化就是把模型裡的數字從 16 位元換成 4 位元存放,用一點準確度換回體積跟速度。這篇用手搖飲甜度的比喻,帶你看懂 Llama-3.1-8B 怎麼從 15GB 壓到 4.6GB、量化跟蒸餾差在哪,以及它為什麼是記憶體漲價時代最划算的一招。
AI 詞彙百科
量化 AI 模型是什麼?量化就是把模型裡的數字從 16 位元換成 4 位元存放,用一點準確度換回體積跟速度。這篇用手搖飲甜度的比喻,帶你看懂 Llama-3.1-8B 怎麼從 15GB 壓到 4.6GB、量化跟蒸餾差在哪,以及它為什麼是記憶體漲價時代最划算的一招。
AI 詞彙百科
模型微調(Fine-tuning)是什麼?模型微調是拿一個已經訓練好的大模型,再餵它一批特定領域的資料繼續訓練,讓它更擅長某個任務的做法。這篇用總鋪師改練鹽酥雞的比喻,帶你看懂微調跟 RAG 差在哪、要花掉多少張顯示卡,以及 OpenAI 為什麼正在收掉自家的微調服務。
AI 詞彙百科
推理模型是會先在心裡打一份草稿、再把答案講給你聽的 AI 模型。這篇帶你搞懂它跟一般模型差在哪、那份草稿為什麼要你付錢,還有三家廠商的思考旋鈕怎麼調。
AI 詞彙百科
Embedding 是什麼?它是把文字、圖片轉成一長串數字的技術,讓電腦能用「距離」判斷兩件事像不像。這篇用夜市攤位的比喻,帶你搞懂 1536 維在講什麼、它跟向量資料庫又差在哪。
AI 詞彙百科
Transformer 是什麼?它是 2017 年〈Attention Is All You Need〉提出的神經網路架構,把整句話一次攤開讀完,ChatGPT、Claude、Gemini、Whisper 全蓋在它上面。這篇用傳話遊戲的比喻帶你搞懂。
AI 詞彙百科
Tool Calling(工具呼叫)是什麼?它是讓 AI 開口要求外部工具去查資料、跑程式、動手做事的機制,模型只負責決定要叫哪個工具,真正動手的是你的程式或廠商的伺服器。
AI 詞彙百科
MoE(混合專家模型)是讓 AI 每次只叫醒一小部分參數來運算的架構,DeepSeek、Qwen、GPT-OSS 都靠它把上千億參數跑出小模型的成本。這篇帶你搞懂它省的到底是什麼。
AI 詞彙百科
AI 推論是模型訓練完之後、真正拿來回答問題的那段過程,你每次跟 ChatGPT 對話都是在跑推論。這篇帶你搞懂它跟訓練差在哪,以及為什麼它才是最燒錢的一塊。
AI 詞彙百科
AI 越獄(Jailbreak)是用特製的說法繞過模型內建的安全規範,讓它講出原本會拒絕的內容。這篇帶你分清它跟提示詞注入的包含關係、跟新聞說的「模型衝出沙盒」差在哪,以及為什麼安全訓練修不掉它。
AI 詞彙百科
注意力機制是 AI 在讀每一個字的時候,自己算出「前後哪些字該多看一眼」的計算方式,也是 Transformer 與所有主流 AI 模型的地基。這篇用 LINE 群組發問的比喻,帶你搞懂 Q、K、V 在幹嘛,以及它為什麼又強又貴。