一句話定義
GPU(圖形處理器)是一種內建上百個運算單元、能同時處理大量簡單計算的晶片,原本用來畫遊戲畫面,現在是訓練和執行 AI 模型最主要的硬體。
30 秒看重點
- 是什麼:GPU 是 Graphics Processing Unit 的縮寫,擅長把一個大工作切成幾萬份同時算,也就是「平行運算」。
- 為什麼重要:AI 模型的運算幾乎全是矩陣乘法,剛好是 GPU 最拿手的事,所以大廠搶 GPU 就等於在搶 AI 算力。
- 跟誰相關:想在自己電腦跑 AI 模型的玩家、在雲端訓練模型的工程師,以及每天看到「某公司砸幾百億買 GPU」新聞的一般讀者。
- 最常見的誤解:以為 AI 用的 GPU 跟你家打遊戲的顯示卡是同一個東西,其實資料中心那種已經是另一個物種了。
- 記住這件事就夠了:CPU 是一個很聰明的人,GPU 是一大群只會做加減乘除、但人多到嚇人的工讀生,AI 剛好需要的是後者。
AI 用的 GPU 到底是什麼?
GPU 是專門做大量平行運算的晶片,中文叫圖形處理器。它原本負責算遊戲畫面上每個像素的顏色,因為「同時算很多件簡單的事」這個本領剛好也是 AI 需要的,後來就變成 AI 資料中心的主角。
最近新聞裡 SpaceX 借錢買 GPU、Mistral 用 4,000 張 GPU 訓練模型、微軟自己做晶片想少買一點 GPU,講的都是同一顆晶片,可是很多人還是只知道「那是打電動的顯示卡」。
先講名字的由來。多個資料來源都提到,NVIDIA 在 1999 年推出 GeForce 256 時把它稱為「世界第一顆 GPU」,GPU 這個詞從此變成顯示卡晶片的代名詞。也有評論認為 NVIDIA 真正發明的,其實是「GPU」這個行銷說法(這招行銷真的有夠成功 XD)。
那 AI 用的 GPU 長什麼樣子?根據 JAX 團隊在 GitHub 公開的《How to Scale Your Model》,一顆 AI 用的 GPU 是由一堆叫 SM(串流多處理器)的運算核心組成,旁邊接著 HBM 高頻寬記憶體。NVIDIA H100 有 132 個 SM,B200 有 148 個,每個 SM 裡都有專算矩陣的 Tensor Core。
生活比喻:你可以想像成學測閱卷。CPU 是一位資深教授,申論題、作文、計分規則有爭議的題目都能判,可是一次只能改一份。GPU 是一千個工讀生坐滿整個體育館,每個人只會對選擇題答案,但幾十萬份卷子同時開改。AI 模型要做的,偏偏就是幾十億題選擇題等級的簡單乘法。
AI 為什麼需要 GPU?
AI 需要 GPU,是因為訓練和執行模型時要做的計算量太大,而且幾乎都是可以拆開同時算的矩陣乘法,CPU 一題一題算會慢到不實用。
沒有 GPU 會怎樣?主要卡在兩件事。
問題 1:計算量大到 CPU 扛不住。 一個大型語言模型有幾百億到上兆個參數,你每問一句話,它就要把這些數字跟你的輸入乘過一輪。CPU 核心很強但數量少,排隊排到天荒地老。
問題 2:資料搬得不夠快。 算得快還不夠,數字要能及時送到運算單元手上。《How to Scale Your Model》列的規格裡,H100 配 80GB 的 HBM,頻寬大約每秒 3.35TB;B200 拉到 192GB。
轉捩點是 2012 年。多個搜尋來源一致指出,那年拿下 ImageNet 影像辨識比賽冠軍的 AlexNet,是用兩張 3GB 的 NVIDIA GTX 580 遊戲顯示卡訓練五到六天完成的,錯誤率大幅領先第二名。
兩張打電動的卡,拿下了影像辨識的冠軍,GPU 從此不只是遊戲玩家的東西。
GPU 是怎麼運作的?
GPU 的運作方式,是把一個大工作切成幾萬個小任務,丟給上百個運算核心同時處理,矩陣乘法再交給專用的 Tensor Core 加速。
拆成三個步驟來看:
- 把工作切碎:開發者用 PyTorch 這類框架寫模型。PyTorch 官方 README 寫明,它的張量「可以放在 CPU 或 GPU 上」,而且放到 GPU 能把運算大幅加速。
- 交給 Tensor Core 算矩陣:《How to Scale Your Model》提到,H100 的 Tensor Core 提供約 990 TFLOPS 的 bf16 算力,一般 CUDA 核心只有約 66 TFLOPS。也就是說 AI 算力絕大部分來自 Tensor Core,不是傳統的繪圖核心。
- 很多張 GPU 串起來一起算:同一份文件寫到,Hopper 世代每張 GPU 靠 NVLink 有 450GB/s 的對外頻寬,Blackwell 翻倍到 900GB/s;一般一台伺服器塞 8 張,GB200 NVL72 則把 72 張 GPU 串成一組。
這邊真的關鍵是第 3 步。最大的那幾個模型,一張 GPU 根本裝不下,誰的 GPU 串得多、串得快,誰就訓練得動更大的模型。
名詞小教室:Tensor Core 專門加速的矩陣乘法,就是深度學習神經網路裡最大宗的運算。模型訓練完之後每次回答你的那段計算叫推論,詳細可以看AI 推論是什麼。
GPU 跟 CPU、TPU 差在哪?
GPU 是什麼平行運算都能扛的通用加速器;CPU 是負責整台電腦大小事的總管,擅長複雜但不能拆開的工作;TPU 則是 Google 自己做、只專攻 AI 矩陣運算的晶片。
| 比較項目 | CPU | GPU | Google TPU |
|---|---|---|---|
| 擅長什麼 | 複雜、一步接一步的工作 | 大量簡單計算同時進行 | 只做 AI 矩陣運算 |
| 核心設計 | 少數幾個很強的核心 | H100 有 132 個 SM、上百個小單元 | 1 到 2 個大型矩陣核心 |
| 怎麼取得 | 每台電腦都有 | 買卡或向各家雲端租 | 只能透過 Google Cloud 租 |
| 軟體生態 | 所有程式都能跑 | CUDA 最成熟,AMD 有 ROCm | JAX、XLA 為主 |
| 我會在什麼情況選它 | 一般工作、資料前處理 | 要彈性、要跑各種模型或自己買機器 | 已在 Google Cloud、要大規模跑同一種模型 |
從這張表可以看出來,GPU 贏在「什麼都能跑、誰都買得到」。《How to Scale Your Model》也提到,GPU 上百個小 SM 可以同時跑很多不相干的工作,TPU 比較依賴編譯器事先排好。
那為什麼不是大家都改用 TPU?同一份文件提到,單張 H200 的算力大約是 TPU v5p 的兩倍,可是租用價格也貴,一小時約 10 美元,TPU v5p 在 Google Cloud 上約 4 美元。貴不貴要看你跑什麼,也要看你搶不搶得到貨。想看 TPU 那邊的說法,可以讀Google TPU 是什麼。
你會在哪些 AI 服務看到 GPU?
你用的 ChatGPT、Claude、Copilot 背後幾乎都有 GPU 在跑,只是你看不到;你真正「看得到」GPU 的地方,是新聞裡的大額採購,還有自己電腦上的本地模型。
- Anthropic 的 Claude:Anthropic 在 2025 年 11 月 18 日宣布,跟 NVIDIA 的初始算力承諾最多 1 GW,使用 Grace Blackwell 與 Vera Rubin 系統,NVIDIA 也承諾投資 Anthropic 最多 100 億美元。
- Mistral Large 4:本站 10 月報導過,據外媒報導它用 4,000 張 NVIDIA Grace Blackwell GPU 從頭訓練約兩個月。
- 在自己電腦跑模型:llama.cpp 的 README 列出 NVIDIA 的 CUDA、AMD 的 HIP、Apple 的 Metal,以及 Vulkan、SYCL 等後端,還支援「CPU 加 GPU 混合推論」,讓比顯示記憶體還大的模型也能部分加速。
如果你是工程師,繞不開的就是 NVIDIA 的 CUDA,官方 cuda-samples 目前對應 CUDA Toolkit 13.4。想用 AMD 卡的話,ROCm 官方 README 把它定位成一套開源的驅動、開發工具與 API,PyTorch 也有支援,但 README 寫明目前只限 Linux。
學 GPU 最常見的 3 個誤解
GPU 最常被誤會的,是把資料中心的 AI 晶片跟家用顯示卡畫上等號,或以為只要算力數字大就一定比較快。
- 誤解一:AI 用的 GPU 就是高階遊戲顯示卡 — 真相是兩者早就分家了。H100、B200 這類資料中心 GPU 的賣點是 Tensor Core、HBM 記憶體和多卡串接;你家的 RTX 顯示卡可以跑小模型,但規格不是同一個量級。
- 誤解二:GPU 只看算力就好 — 真相是記憶體常常比算力更卡。模型放不進顯示記憶體就跑不動,這也是為什麼大家要做量化,把 Gemma 3 27B 壓到能塞進一張 24GB 的 RTX 3090。
- 誤解三:GPU 被專用晶片取代只是時間問題 — 真相是大廠都兩邊押。微軟自己做了 Maia 300,可是 Copilot 目前大部分還是跑在 NVIDIA 晶片上;Anthropic 一邊租 Google TPU,一邊跟 NVIDIA 簽 1 GW。
「那我家顯示卡可以拿來跑 AI 嗎?」可以,llama.cpp 這類工具就是為這個存在的,只是模型大小要挑放得進那張卡的。
題外話,NVIDIA 最新的 Blackwell GPU 有 2,080 億個電晶體,多個來源都指出是在台積電的 4NP 製程生產。全世界搶的 AI 晶片,很大一部分是在台灣做出來的。
想多了解 GPU,從哪開始?
沒有技術背景的話,先練習看懂新聞。下次看到「某公司買了幾萬張 GPU」,問自己三件事:哪一代(H100、B200 還是 Rubin)、買還是租、拿來訓練還是推論。
想把觀念串起來,建議接著讀本站的NPU 是什麼,你會發現手機筆電裡的 AI 走的是完全不同的省電路線。
有技術背景的話,直接讀《How to Scale Your Model》的 GPU 章節,從 SM、HBM 到 NVLink 都有規格表,還有跟 TPU 的對照。
常見問題 FAQ
GPU 跟 AI 有什麼關係?
GPU 是目前訓練和執行 AI 模型最主要的晶片。AI 模型的運算幾乎都是可以同時進行的矩陣乘法,GPU 內建上百個運算核心與專門算矩陣的 Tensor Core,速度遠比 CPU 快,所以 ChatGPT、Claude 等服務背後都大量使用 GPU。
為什麼 GPU 突然這麼紅?
GPU 這個詞在 1999 年隨遊戲顯示卡出現,2012 年 AlexNet 用兩張 NVIDIA 遊戲顯示卡訓練出冠軍模型後,才成為 AI 研究的標準工具。近兩年大型語言模型爆發,各大公司搶著建資料中心,GPU 變成 AI 算力的代名詞,採購金額動輒數百億美元。
我不是工程師也需要懂 GPU 嗎?
不需要會寫程式控制它,但懂一點會讓你更容易看懂 AI 新聞。AI 服務的價格和速度很大一部分取決於 GPU 的成本與供給,而 NVIDIA 最新的 GPU 由台積電代工,也牽動台灣半導體與伺服器產業的景氣。
GPU 的中文翻譯有沒有統一?
台灣多半直接講 GPU,正式中文是「圖形處理器」,口語上也常說「顯示卡」,但嚴格來說顯示卡是整張板卡,GPU 是上面的晶片。中國常譯為「圖形處理器」或「顯卡」,本站統一使用「圖形處理器」。
學會 GPU 之後,下一個該學什麼?
建議接著看三個概念:TPU,了解 Google 自製的 AI 專用晶片;NPU,了解手機筆電裡的省電 AI 晶片;以及量化,理解怎麼把大模型壓小、塞進一般顯示卡。
延伸閱讀
- Google TPU 是什麼?中文叫張量處理單元,跟 GPU 差在哪 — GPU 最大的對手,只有 Google 在做的 AI 專用晶片。
- NPU 是什麼?中文叫神經處理單元,手機筆電裡的 AI 晶片在幹嘛 — 同樣跑 AI,NPU 走的是裝置端省電路線。
- 量化 AI 模型是什麼?同樣的模型怎麼從 15GB 壓到 4.6GB 還能用 — 顯示記憶體不夠時的最主要解法。
- 微軟 Maia 300 挑戰輝達、亞馬遜傳 70 億美元買 Decart — 大廠自研晶片想少買 GPU,但短期還取代不了。
- Anthropic 上市代號 ANT、Meta 賣股募 950 億美元 — SpaceX 敲定約 400 億美元債務融資買 GPU。
參考來源
- How to Scale Your Model:GPU 章節|jax-ml on GitHub — SM 結構、H100 與 B200 規格、Tensor Core 與 CUDA 核心算力、HBM、NVLink、NVL72,以及 GPU 與 TPU 的比較與租用價格。
- Microsoft, NVIDIA and Anthropic announce strategic partnerships|Anthropic — 2025 年 11 月 18 日宣布的 NVIDIA 1 GW 算力承諾、Grace Blackwell 與 Vera Rubin 系統、最多 100 億美元投資。
- PyTorch|PyTorch on GitHub — 張量可放在 CPU 或 GPU 上加速,以及 CUDA、ROCm(限 Linux)、Intel GPU 的支援。
- llama.cpp|ggml-org on GitHub — CUDA、HIP、Metal、Vulkan、SYCL 等後端,以及 CPU 加 GPU 混合推論。
- ROCm|AMD on GitHub — AMD GPU 的開源驅動、開發工具與 API 軟體堆疊。
- CUDA Samples|NVIDIA on GitHub — CUDA Toolkit 範例,目前對應 CUDA Toolkit 13.4。
關於本篇的查證限制:撰寫當下 NVIDIA 官方部落格、Wikipedia 與多數科技媒體無法直接讀取。GeForce 256 在 1999 年被稱為第一顆 GPU、AlexNet 使用兩張 GTX 580 訓練五到六天,以及 Blackwell 的 2,080 億電晶體與台積電 4NP 製程,皆經兩個以上獨立搜尋結果比對才寫入,未列入參考來源。CUDA 的推出年份各來源寫 2006 或 2007 年不一致,因此本篇不寫。
整理一下重點:GPU 真的就是那一整個體育館的閱卷工讀生,每個人只會對答案,但人多到能把 AI 要的幾十億題一次改完,這就是全世界搶著買它的原因。
希望這一篇有讓你對 GPU 有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。
我們下篇文章見囉~
本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。