一句話定義
Google TPU(張量處理單元)是 Google 自己設計、專門做 AI 矩陣運算的晶片,放在 Google 資料中心裡負責訓練與執行 Gemini 這類大型模型,外部客戶只能透過雲端租用。
30 秒看重點
- 是什麼:TPU 是 Tensor Processing Unit 的縮寫,是一種只為 AI 運算打造的專用晶片(ASIC),不是顯示卡。
- 為什麼重要:它是目前少數規模大到能跟 NVIDIA GPU 正面競爭的 AI 晶片,Anthropic 在 2025 年宣布要用上最多一百萬顆。
- 跟誰相關:關心 AI 算力新聞的投資人、在 Google Cloud 上訓練模型的工程師,以及想看懂 AI 晶片大戰的一般讀者。
- 最常見的誤解:以為 TPU 是要把 NVIDIA 趕下台,實際上連 Google 和 Anthropic 都還在同時用 GPU。
- 記住這件事就夠了:GPU 是什麼都能算的通才,TPU 是只把矩陣乘法做到極致的專才,而且只有 Google 在做。
Google TPU 到底是什麼?
TPU 是 Google 自己設計的 AI 專用晶片,全名 Tensor Processing Unit,中文叫張量處理單元。它不對外販售,放在 Google 自己的資料中心,拿來訓練 Gemini 這些自家模型,也出租給 Google Cloud 的客戶。
「張量」是什麼?簡單來講就是一大疊排好的數字:一排叫向量,一張表格叫矩陣,好幾張表格疊起來就是張量。AI 模型裡全是這種數字堆,晶片才取名叫「處理張量的單元」。
最早那顆 TPU 是 Google 在 2016 年 5 月的 Google I/O 公開的,當時 Google 說它已經在資料中心裡默默跑了一年多。根據 Google 在 2017 年發表的論文〈In-Datacenter Performance Analysis of a Tensor Processing Unit〉,第一代 TPU 從 2015 年開始部署,核心是一個有 65,536 個 8 位元乘加器的矩陣運算單元,尖峰算力每秒 92 兆次運算,而且只做推論、不做訓練。
那年 3 月在首爾打敗李世乭的 AlphaGo,背後用的也是 TPU。
生活比喻:你可以想像成夜市的雞蛋糕攤。CPU 是什麼點心都會做的老闆,GPU 是一排可以同時煎很多種點心的鐵板,TPU 則是那台一次壓出幾十顆雞蛋糕的專用模具。它不會煎蔥油餅,可是只要是雞蛋糕,速度跟省瓦斯程度沒人比得過(AI 剛好每天都只要雞蛋糕)。
為什麼會有 Google TPU?
TPU 的出現,是因為 Google 發現如果全部靠 CPU 和 GPU 來跑神經網路,資料中心要擴建的速度跟電費會失控。
沒有它會怎樣?主要卡在兩個地方。
問題 1:AI 用量長得太快。 每一次語音辨識、每一次翻譯,背後都是一大串矩陣乘法,用量照這個速度長下去,光是蓋機房就蓋不完。
問題 2:通用晶片做 AI 很浪費。 CPU 跟 GPU 為了什麼都能做,塞了很多 AI 用不到的電路,就像請全能主廚整天只負責打蛋,做得到,但成本太高。
Google 的解法是自己做一顆只會做矩陣乘法的晶片。效果有多明顯?前面那篇 2017 年論文拿第一代 TPU 跟同時期的 Intel Haswell CPU、NVIDIA K80 GPU 比,在 Google 實際的推論工作上平均快 15 到 30 倍,每瓦效能高 30 到 80 倍。
老實講,這組數字是 Google 自己量的、比的又是 2015 年的對手,球員兼裁判的味道還是有,但方向很清楚:專用晶片做專用工作就是比較省。
Google TPU 是怎麼運作的?
TPU 的運作方式,是把 AI 模型拆成大量矩陣乘法,丟進一個叫「脈動陣列」的格子狀電路裡,讓數字像流水線一樣一格一格往下傳,邊傳邊算,盡量不回頭去記憶體拿資料。
拆成三個步驟來看:
- 模型先被編譯成 TPU 看得懂的指令:開發者用 JAX、TensorFlow 或 PyTorch 寫好模型,交給 XLA 編譯器翻譯。JAX 的 README 寫明,它靠 XLA 在 TPU、GPU 等加速器上編譯程式。
- 矩陣乘法交給 MXU 的脈動陣列:MXU 是 TPU 的矩陣乘法單元。根據 JAX 團隊在 GitHub 公開的《How to Scale Your Model》,權重先放進格子裡不動,輸入資料從旁邊流進來,部分加總一格傳一格;格子在 v6e 以後是 256×256,之前是 128×128。
- 很多顆 TPU 串成 Pod 一起算:同一份文件提到,TPU 只跟相鄰晶片用 ICI(晶片間互連)直接相連,組成 2D 或 3D 環形網路,TPU7x 一個超級 Pod 可以串到 9,216 顆。
這邊真的關鍵是「少跑腿」。矩陣乘法的計算量是 n 的三次方、要搬的資料只有 n 的平方,資料留在晶片附近,運算單元就不太會餓肚子。
名詞小教室:TPU 主要用在 AI 推論與訓練這兩段工作。推論就是模型訓練完之後每次回答你的那段運算,可以看這篇AI 推論是什麼;訓練一個大模型要燒多少算力,則可以看預訓練是什麼。
Google TPU 跟 NVIDIA GPU、NPU 差在哪?
TPU 是只為 AI 矩陣運算設計、只在 Google 雲端租得到的專用晶片;GPU 是什麼平行運算都能扛、誰都買得到的通用加速器;NPU 則是塞在手機筆電裡、主打省電的小型 AI 晶片。
| 比較項目 | Google TPU | NVIDIA GPU | NPU |
|---|---|---|---|
| 設計目的 | AI 矩陣運算專用 | 繪圖起家,後來擴展到各種平行運算 | 裝置端 AI 推論,主打省電 |
| 放在哪裡 | Google 資料中心 | 資料中心、個人電腦、工作站 | 手機、筆電的處理器裡 |
| 怎麼取得 | 透過 Google Cloud 租用 | 直接買卡或向各家雲端租 | 買新手機、新筆電就內建 |
| 軟體生態 | JAX、XLA 為主,PyTorch 正在換新工具 | CUDA 生態最成熟,幾乎所有框架都支援 | 各家晶片廠自己的工具 |
| 我會在什麼情況選它 | 已經在 Google Cloud 上,要大規模訓練或推論 | 需要彈性、要跑各種不同模型或自己買機器 | 想在自己裝置上離線跑小模型 |
從這張表可以看出來,TPU 的強項是「規模大、單一用途很省」,弱項是「只有一家在賣」。
《How to Scale Your Model》也點出取捨:只跟鄰居相連的網路,讓 TPU 比靠一堆 NVLink 交換器的 GPU 便宜又好串;但晶片內那塊小暫存區(VMEM)放不下的資料,就會比較吃力。
先講結論:在本機跑模型、或需要最多工具支援,GPU 還是首選;公司已經在 Google Cloud 上、要跑大型模型,TPU 可能比較划算。手機上的 AI 功能則是另一回事,那是NPU的地盤。
你會在哪些 AI 工具看到 Google TPU?
你每天用的 Gemini 就是在 TPU 上訓練的,只是你不會看到它;比較常「看到」TPU 的地方,其實是新聞裡的大廠合約。
- Anthropic 的 Claude:Anthropic 在 2025 年 10 月 23 日宣布擴大使用 Google Cloud,最多用到一百萬顆 TPU,價值數百億美元,預計 2026 年上線超過 1 GW 的算力。本站 10 月報導過,據 Anthropic 招股書,它未來五年的 TPU 租約總額是 1,252 億美元。
- Google 的 Ironwood 與第八代 TPU:第七代 Ironwood 在 2025 年 4 月發表、同年 11 月開放使用,每顆有 192GB 的 HBM(高頻寬記憶體),FP8 算力約 4,614 TFLOPS。2026 年 4 月 22 日的 Cloud Next,Google 再把第八代拆成訓練用的 TPU 8t 和推論用的 TPU 8i,並宣稱 8i 的 SRAM 是 Ironwood 的三倍、每美元效能最多好 80%。
如果你是工程師,最常碰到 TPU 的地方是 JAX,打 pip install -U "jax[tpu]" 就裝好了;Google 開源的訓練框架 MaxText 也支援 Gemma、Llama、DeepSeek、Qwen 等模型。PyTorch 使用者要注意,PyTorch/XLA 已公告由 TorchTPU 取代,2026 年 11 月 15 日封存。
學 Google TPU 最常見的 3 個誤解
TPU 最常被誤會的,是把它當成 GPU 的一個品牌,或以為規格表上的數字可以直接跟別家比大小。
- 誤解一:TPU 就是 Google 牌的顯示卡 — 真相是 TPU 從一開始就是 AI 專用的 ASIC,裡面沒有繪圖用的電路,也不能插在你家電腦上打遊戲。它是 Google 為自家 AI 量身做的,Gemini 模型卡寫的訓練硬體就是 TPU,軟體則是 JAX 和 ML Pathways。
- 誤解二:TPU 出來,NVIDIA 就要被取代了 — 真相是大廠都在分散押寶。Anthropic 明講 TPU、Amazon Trainium、NVIDIA GPU 三種並用,Google 自己在 Cloud Next 2026 也同場推出 NVIDIA Vera Rubin 機型。
- 誤解三:TPU 的 exaflops 數字可以直接跟超級電腦比 — 真相是精度不一樣就沒得比。Google 說一個 Ironwood Pod 有 42.5 exaflops,是超級電腦 El Capitan 的 24 倍以上,可是一個用 FP8、一個用 FP64,根本不是同一把尺。
行銷數字本來就是拿來嚇人的
「那一般人碰得到 TPU 嗎?」其實可以,PyTorch/XLA 的 README 就提到能在 Kaggle 上用 Cloud TPU VM 試跑。
想多了解 Google TPU,從哪開始?
沒有技術背景的話,從「看懂新聞」開始。下次看到「某某公司簽下 TPU 大單」,先問三件事:哪一代、租還是買、跟原本的 GPU 是取代還是並用。
想把底子打好,可以搭配本站的深度學習是什麼,理解 TPU 加速的到底是哪一種運算。
有技術背景的話,直接讀《How to Scale Your Model》的 TPU 章節,從 MXU、HBM 到 ICI 都有圖解跟各代規格表,再裝 JAX 的 TPU 版本在 Kaggle 上跑個小模型。
常見問題 FAQ
Google TPU 跟 AI 有什麼關係?
TPU 是 Google 專門為 AI 運算設計的晶片,負責在資料中心裡訓練和執行大型 AI 模型。Google 的 Gemini 模型是在 TPU 上訓練的,Anthropic 的 Claude 也有使用 TPU 提供的算力。
為什麼 Google TPU 突然這麼紅?
TPU 從 2015 年就在 Google 內部運作,但近兩年因為大型 AI 公司搶算力而變成新聞焦點。Anthropic 在 2025 年 10 月宣布最多使用一百萬顆 TPU,Google 又在 2026 年 4 月推出第八代 TPU 8t 與 8i,讓 TPU 成為 NVIDIA GPU 之外最受關注的 AI 晶片。
我不是工程師也需要懂 Google TPU 嗎?
不需要會用,但懂一點會讓你更容易看懂 AI 產業新聞。AI 服務的價格和速度很大一部分取決於算力成本,TPU 與 GPU 的競爭會影響未來 AI 服務會不會變便宜,也牽動台灣半導體與伺服器供應鏈的訂單。
Google TPU 的中文翻譯有沒有統一?
台灣多半直接講 TPU,中文常見寫法有「張量處理單元」和「張量處理器」,本站統一使用「張量處理單元」。要注意 TPU 也是一種塑膠材料熱塑性聚氨酯的縮寫,搜尋時加上「Google」或「AI 晶片」比較不會找錯。
學會 Google TPU 之後,下一個該學什麼?
建議接著看三個概念:NPU,了解手機筆電裡的小型 AI 晶片;AI 推論,了解 TPU 實際在執行的工作;以及預訓練,理解為什麼訓練一個大模型需要成千上萬顆 TPU 或 GPU。
延伸閱讀
- NPU 是什麼?中文叫神經處理單元,手機筆電裡的 AI 晶片在幹嘛 — 同樣是 AI 專用晶片,NPU 走的是裝置端省電路線。
- AI 推論(Inference)是什麼?模型訓練完之後,每次回答你的那段過程 — 第一代 TPU 只做推論,TPU 8i 也是專為推論設計。
- 博通替 Anthropic 籌 600 億美元、Google 簽約讓核電廠增容 — Anthropic 五年 1,252 億美元 TPU 租約背後的錢怎麼來。
- Google AI 晶片上太空 — Project Suncatcher 把 4 顆 Trillium TPU 送上軌道。
參考來源
- Expanding our use of Google Cloud TPUs and Services|Anthropic — 最多一百萬顆 TPU、2026 年超過 1 GW 算力,以及 TPU、Trainium、GPU 三平台並用。
- How to Scale Your Model:TPU 章節|jax-ml on GitHub — MXU 脈動陣列尺寸、VMEM、HBM、ICI 環形網路、各代規格與 TPU7x 的 9,216 顆超級 Pod。
- JAX|jax-ml on GitHub — JAX 透過 XLA 在 TPU、GPU 上編譯執行,以及 TPU 版本安裝指令。
- XLA|OpenXLA on GitHub — XLA 是支援 PyTorch、TensorFlow、JAX 的開源機器學習編譯器。
- PyTorch/XLA|PyTorch on GitHub — 專案由 TorchTPU 取代、2026 年 11 月 15 日封存,以及可在 Kaggle 試用 Cloud TPU VM。
- MaxText|Google on GitHub — 以 Cloud TPU 與 GPU 為目標的訓練框架與支援模型清單。
關於本篇的查證限制:撰寫當下 Google Cloud 文件、Google Research、arXiv 與多數科技媒體無法直接讀取。第一代 TPU 的部署年份、規格與 2017 年論文數字、AlphaGo 使用 TPU、Ironwood 規格與 El Capitan 比較、TPU 8t 與 8i 的發表內容,以及 Gemini 模型卡的訓練硬體,皆經兩個以上獨立搜尋結果比對才寫入,未列入參考來源。
整理一下重點:Google TPU 真的就是那台「只會做雞蛋糕、但做得超快超省」的專用模具,看到 TPU 新聞時記得,它跟 GPU 是在搶客戶,沒有要把對方消滅。
希望這一篇有讓你對 Google TPU 有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。
我們下篇文章見囉~
本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。