一句話定義

Google TPU(張量處理單元)是 Google 自己設計、專門做 AI 矩陣運算的晶片,放在 Google 資料中心裡負責訓練與執行 Gemini 這類大型模型,外部客戶只能透過雲端租用。

30 秒看重點

  • 是什麼:TPU 是 Tensor Processing Unit 的縮寫,是一種只為 AI 運算打造的專用晶片(ASIC),不是顯示卡。
  • 為什麼重要:它是目前少數規模大到能跟 NVIDIA GPU 正面競爭的 AI 晶片,Anthropic 在 2025 年宣布要用上最多一百萬顆。
  • 跟誰相關:關心 AI 算力新聞的投資人、在 Google Cloud 上訓練模型的工程師,以及想看懂 AI 晶片大戰的一般讀者。
  • 最常見的誤解:以為 TPU 是要把 NVIDIA 趕下台,實際上連 Google 和 Anthropic 都還在同時用 GPU。
  • 記住這件事就夠了:GPU 是什麼都能算的通才,TPU 是只把矩陣乘法做到極致的專才,而且只有 Google 在做。

Google TPU 到底是什麼?

TPU 是 Google 自己設計的 AI 專用晶片,全名 Tensor Processing Unit,中文叫張量處理單元。它不對外販售,放在 Google 自己的資料中心,拿來訓練 Gemini 這些自家模型,也出租給 Google Cloud 的客戶。

「張量」是什麼?簡單來講就是一大疊排好的數字:一排叫向量,一張表格叫矩陣,好幾張表格疊起來就是張量。AI 模型裡全是這種數字堆,晶片才取名叫「處理張量的單元」。

最早那顆 TPU 是 Google 在 2016 年 5 月的 Google I/O 公開的,當時 Google 說它已經在資料中心裡默默跑了一年多。根據 Google 在 2017 年發表的論文〈In-Datacenter Performance Analysis of a Tensor Processing Unit〉,第一代 TPU 從 2015 年開始部署,核心是一個有 65,536 個 8 位元乘加器的矩陣運算單元,尖峰算力每秒 92 兆次運算,而且只做推論、不做訓練。

那年 3 月在首爾打敗李世乭的 AlphaGo,背後用的也是 TPU。

生活比喻:你可以想像成夜市的雞蛋糕攤。CPU 是什麼點心都會做的老闆,GPU 是一排可以同時煎很多種點心的鐵板,TPU 則是那台一次壓出幾十顆雞蛋糕的專用模具。它不會煎蔥油餅,可是只要是雞蛋糕,速度跟省瓦斯程度沒人比得過(AI 剛好每天都只要雞蛋糕)。

為什麼會有 Google TPU?

TPU 的出現,是因為 Google 發現如果全部靠 CPU 和 GPU 來跑神經網路,資料中心要擴建的速度跟電費會失控。

沒有它會怎樣?主要卡在兩個地方。

問題 1:AI 用量長得太快。 每一次語音辨識、每一次翻譯,背後都是一大串矩陣乘法,用量照這個速度長下去,光是蓋機房就蓋不完。

問題 2:通用晶片做 AI 很浪費。 CPU 跟 GPU 為了什麼都能做,塞了很多 AI 用不到的電路,就像請全能主廚整天只負責打蛋,做得到,但成本太高。

Google 的解法是自己做一顆只會做矩陣乘法的晶片。效果有多明顯?前面那篇 2017 年論文拿第一代 TPU 跟同時期的 Intel Haswell CPU、NVIDIA K80 GPU 比,在 Google 實際的推論工作上平均快 15 到 30 倍,每瓦效能高 30 到 80 倍。

老實講,這組數字是 Google 自己量的、比的又是 2015 年的對手,球員兼裁判的味道還是有,但方向很清楚:專用晶片做專用工作就是比較省。

Google TPU 是怎麼運作的?

TPU 的運作方式,是把 AI 模型拆成大量矩陣乘法,丟進一個叫「脈動陣列」的格子狀電路裡,讓數字像流水線一樣一格一格往下傳,邊傳邊算,盡量不回頭去記憶體拿資料。

拆成三個步驟來看:

  1. 模型先被編譯成 TPU 看得懂的指令:開發者用 JAX、TensorFlow 或 PyTorch 寫好模型,交給 XLA 編譯器翻譯。JAX 的 README 寫明,它靠 XLA 在 TPU、GPU 等加速器上編譯程式。
  2. 矩陣乘法交給 MXU 的脈動陣列:MXU 是 TPU 的矩陣乘法單元。根據 JAX 團隊在 GitHub 公開的《How to Scale Your Model》,權重先放進格子裡不動,輸入資料從旁邊流進來,部分加總一格傳一格;格子在 v6e 以後是 256×256,之前是 128×128。
  3. 很多顆 TPU 串成 Pod 一起算:同一份文件提到,TPU 只跟相鄰晶片用 ICI(晶片間互連)直接相連,組成 2D 或 3D 環形網路,TPU7x 一個超級 Pod 可以串到 9,216 顆。

這邊真的關鍵是「少跑腿」。矩陣乘法的計算量是 n 的三次方、要搬的資料只有 n 的平方,資料留在晶片附近,運算單元就不太會餓肚子。

名詞小教室:TPU 主要用在 AI 推論與訓練這兩段工作。推論就是模型訓練完之後每次回答你的那段運算,可以看這篇AI 推論是什麼;訓練一個大模型要燒多少算力,則可以看預訓練是什麼。

Google TPU 跟 NVIDIA GPU、NPU 差在哪?

TPU 是只為 AI 矩陣運算設計、只在 Google 雲端租得到的專用晶片;GPU 是什麼平行運算都能扛、誰都買得到的通用加速器;NPU 則是塞在手機筆電裡、主打省電的小型 AI 晶片。

比較項目Google TPUNVIDIA GPUNPU
設計目的AI 矩陣運算專用繪圖起家,後來擴展到各種平行運算裝置端 AI 推論,主打省電
放在哪裡Google 資料中心資料中心、個人電腦、工作站手機、筆電的處理器裡
怎麼取得透過 Google Cloud 租用直接買卡或向各家雲端租買新手機、新筆電就內建
軟體生態JAX、XLA 為主,PyTorch 正在換新工具CUDA 生態最成熟,幾乎所有框架都支援各家晶片廠自己的工具
我會在什麼情況選它已經在 Google Cloud 上,要大規模訓練或推論需要彈性、要跑各種不同模型或自己買機器想在自己裝置上離線跑小模型

從這張表可以看出來,TPU 的強項是「規模大、單一用途很省」,弱項是「只有一家在賣」。

《How to Scale Your Model》也點出取捨:只跟鄰居相連的網路,讓 TPU 比靠一堆 NVLink 交換器的 GPU 便宜又好串;但晶片內那塊小暫存區(VMEM)放不下的資料,就會比較吃力。

先講結論:在本機跑模型、或需要最多工具支援,GPU 還是首選;公司已經在 Google Cloud 上、要跑大型模型,TPU 可能比較划算。手機上的 AI 功能則是另一回事,那是NPU的地盤。

你會在哪些 AI 工具看到 Google TPU?

你每天用的 Gemini 就是在 TPU 上訓練的,只是你不會看到它;比較常「看到」TPU 的地方,其實是新聞裡的大廠合約。

  • Anthropic 的 Claude:Anthropic 在 2025 年 10 月 23 日宣布擴大使用 Google Cloud,最多用到一百萬顆 TPU,價值數百億美元,預計 2026 年上線超過 1 GW 的算力。本站 10 月報導過,據 Anthropic 招股書,它未來五年的 TPU 租約總額是 1,252 億美元。
  • Google 的 Ironwood 與第八代 TPU:第七代 Ironwood 在 2025 年 4 月發表、同年 11 月開放使用,每顆有 192GB 的 HBM(高頻寬記憶體),FP8 算力約 4,614 TFLOPS。2026 年 4 月 22 日的 Cloud Next,Google 再把第八代拆成訓練用的 TPU 8t 和推論用的 TPU 8i,並宣稱 8i 的 SRAM 是 Ironwood 的三倍、每美元效能最多好 80%。

如果你是工程師,最常碰到 TPU 的地方是 JAX,打 pip install -U "jax[tpu]" 就裝好了;Google 開源的訓練框架 MaxText 也支援 Gemma、Llama、DeepSeek、Qwen 等模型。PyTorch 使用者要注意,PyTorch/XLA 已公告由 TorchTPU 取代,2026 年 11 月 15 日封存。

學 Google TPU 最常見的 3 個誤解

TPU 最常被誤會的,是把它當成 GPU 的一個品牌,或以為規格表上的數字可以直接跟別家比大小。

  1. 誤解一:TPU 就是 Google 牌的顯示卡 — 真相是 TPU 從一開始就是 AI 專用的 ASIC,裡面沒有繪圖用的電路,也不能插在你家電腦上打遊戲。它是 Google 為自家 AI 量身做的,Gemini 模型卡寫的訓練硬體就是 TPU,軟體則是 JAX 和 ML Pathways。
  2. 誤解二:TPU 出來,NVIDIA 就要被取代了 — 真相是大廠都在分散押寶。Anthropic 明講 TPU、Amazon Trainium、NVIDIA GPU 三種並用,Google 自己在 Cloud Next 2026 也同場推出 NVIDIA Vera Rubin 機型。
  3. 誤解三:TPU 的 exaflops 數字可以直接跟超級電腦比 — 真相是精度不一樣就沒得比。Google 說一個 Ironwood Pod 有 42.5 exaflops,是超級電腦 El Capitan 的 24 倍以上,可是一個用 FP8、一個用 FP64,根本不是同一把尺。行銷數字本來就是拿來嚇人的

「那一般人碰得到 TPU 嗎?」其實可以,PyTorch/XLA 的 README 就提到能在 Kaggle 上用 Cloud TPU VM 試跑。

想多了解 Google TPU,從哪開始?

沒有技術背景的話,從「看懂新聞」開始。下次看到「某某公司簽下 TPU 大單」,先問三件事:哪一代、租還是買、跟原本的 GPU 是取代還是並用。

想把底子打好,可以搭配本站的深度學習是什麼,理解 TPU 加速的到底是哪一種運算。

有技術背景的話,直接讀《How to Scale Your Model》的 TPU 章節,從 MXU、HBM 到 ICI 都有圖解跟各代規格表,再裝 JAX 的 TPU 版本在 Kaggle 上跑個小模型。


常見問題 FAQ

Google TPU 跟 AI 有什麼關係?

TPU 是 Google 專門為 AI 運算設計的晶片,負責在資料中心裡訓練和執行大型 AI 模型。Google 的 Gemini 模型是在 TPU 上訓練的,Anthropic 的 Claude 也有使用 TPU 提供的算力。

為什麼 Google TPU 突然這麼紅?

TPU 從 2015 年就在 Google 內部運作,但近兩年因為大型 AI 公司搶算力而變成新聞焦點。Anthropic 在 2025 年 10 月宣布最多使用一百萬顆 TPU,Google 又在 2026 年 4 月推出第八代 TPU 8t 與 8i,讓 TPU 成為 NVIDIA GPU 之外最受關注的 AI 晶片。

我不是工程師也需要懂 Google TPU 嗎?

不需要會用,但懂一點會讓你更容易看懂 AI 產業新聞。AI 服務的價格和速度很大一部分取決於算力成本,TPU 與 GPU 的競爭會影響未來 AI 服務會不會變便宜,也牽動台灣半導體與伺服器供應鏈的訂單。

Google TPU 的中文翻譯有沒有統一?

台灣多半直接講 TPU,中文常見寫法有「張量處理單元」和「張量處理器」,本站統一使用「張量處理單元」。要注意 TPU 也是一種塑膠材料熱塑性聚氨酯的縮寫,搜尋時加上「Google」或「AI 晶片」比較不會找錯。

學會 Google TPU 之後,下一個該學什麼?

建議接著看三個概念:NPU,了解手機筆電裡的小型 AI 晶片;AI 推論,了解 TPU 實際在執行的工作;以及預訓練,理解為什麼訓練一個大模型需要成千上萬顆 TPU 或 GPU。


延伸閱讀


參考來源

  1. Expanding our use of Google Cloud TPUs and Services|Anthropic — 最多一百萬顆 TPU、2026 年超過 1 GW 算力,以及 TPU、Trainium、GPU 三平台並用。
  2. How to Scale Your Model:TPU 章節|jax-ml on GitHub — MXU 脈動陣列尺寸、VMEM、HBM、ICI 環形網路、各代規格與 TPU7x 的 9,216 顆超級 Pod。
  3. JAX|jax-ml on GitHub — JAX 透過 XLA 在 TPU、GPU 上編譯執行,以及 TPU 版本安裝指令。
  4. XLA|OpenXLA on GitHub — XLA 是支援 PyTorch、TensorFlow、JAX 的開源機器學習編譯器。
  5. PyTorch/XLA|PyTorch on GitHub — 專案由 TorchTPU 取代、2026 年 11 月 15 日封存,以及可在 Kaggle 試用 Cloud TPU VM。
  6. MaxText|Google on GitHub — 以 Cloud TPU 與 GPU 為目標的訓練框架與支援模型清單。

關於本篇的查證限制:撰寫當下 Google Cloud 文件、Google Research、arXiv 與多數科技媒體無法直接讀取。第一代 TPU 的部署年份、規格與 2017 年論文數字、AlphaGo 使用 TPU、Ironwood 規格與 El Capitan 比較、TPU 8t 與 8i 的發表內容,以及 Gemini 模型卡的訓練硬體,皆經兩個以上獨立搜尋結果比對才寫入,未列入參考來源。


整理一下重點:Google TPU 真的就是那台「只會做雞蛋糕、但做得超快超省」的專用模具,看到 TPU 新聞時記得,它跟 GPU 是在搶客戶,沒有要把對方消滅。

希望這一篇有讓你對 Google TPU 有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。

我們下篇文章見囉~

本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。