一句話定義

邊緣 AI(Edge AI)是把 AI 模型放在資料產生的地方直接執行,例如手機、筆電、監視器或工廠設備,不必把資料傳到雲端伺服器再等答案回來。

30 秒看重點

  • 是什麼:邊緣運算是把運算搬到靠近資料來源的裝置上做,邊緣 AI 則是專指在這些裝置上跑 AI 模型。
  • 為什麼重要:資料不用來回傳輸,反應更快、斷網也能用,敏感資料也可以留在自己的裝置裡。
  • 跟誰相關:買 AI 手機或 AI 筆電的消費者、做工廠與零售監控的業者,以及想省雲端費用的開發者。
  • 最常見的誤解:以為邊緣 AI 要取代雲端,其實模型多半還是在雲端訓練好,再搬到裝置上執行。
  • 記住這件事就夠了:邊緣 AI 換的是「AI 在哪裡算」,好處是快和隱私,代價是裝置的算力和記憶體很有限。

邊緣運算跟邊緣 AI 到底是什麼?

邊緣運算(Edge Computing)是把資料處理搬到資料產生的地方附近做,邊緣 AI(Edge AI)是它的子集合,專指在這些靠近使用者的裝置上執行 AI 模型。

不知道大家有沒有注意到,這幾年手機發表會、筆電廣告很愛講「裝置端 AI」「不用連網也能用」,搜尋「邊緣運算」又會跑出一堆物聯網、5G 基地台、工廠設備的資料,兩邊看起來好像在講同一件事,又好像不是,看完反而更霧煞煞。

先講結論,兩者是大框框跟小框框的關係。

「邊緣」指的是網路的邊緣,也就是離使用者最近、資料一產生就在那裡的設備:你的手機、家裡的攝影機、工廠產線上的感測器。多個來源的定義都很一致,邊緣運算的重點是運算發生的位置;邊緣 AI 則是在這個位置上跑的東西剛好是 AI 模型。

物聯網感測器在本機把溫度資料先整理過、只把異常值傳回總部,這叫邊緣運算,但裡面不一定有 AI。手機用相簿裡的照片在本機辨識人臉,就是邊緣 AI 了。

生活比喻:你可以想像成外送跟自己煮。雲端 AI 是叫外送,餐廳(資料中心)廚具最齊、什麼菜都做得出來,可是你得先下單、等騎士來回,遇到下大雨或訂單爆量就卡住。邊緣 AI 是在自家廚房煮,冰箱小、爐子只有一口,做不出滿漢全席,但肚子餓了五分鐘就有得吃,而且你今天吃什麼,外送平台完全不知道。

為什麼會有邊緣 AI?

邊緣 AI 的出現,是為了解決「什麼事都丟給雲端」帶來的三個麻煩:太慢、太佔頻寬、資料太敏感。

問題 1:來回一趟太慢。 資料要先上傳到遠端伺服器、算完再傳回來,對聊天還好,對自駕車、工廠機械手臂這種要即時反應的場景就不行。車子看到前面有行人,總不能等雲端回覆才煞車吧。

問題 2:頻寬吃不消。 一台監視器 24 小時錄影,全部上傳雲端再分析,網路費和雲端費用都很可觀。在裝置上先分析,只把「有人闖入」這種結果傳出去,流量就小很多。

問題 3:資料不想離開身邊。 你的照片、錄音、病歷、公司內部文件,很多人根本不想傳出去。在本機處理,資料從頭到尾都留在裝置裡。

再加一個很實際的:沒有網路的時候。山上、飛機上、地下室,雲端 AI 直接罷工,邊緣 AI 照樣能用。

邊緣 AI 的解法很單純,就是把模型搬到這些裝置上,讓資料就地處理。

邊緣 AI 是怎麼運作的?

邊緣 AI 的運作方式,是先在雲端把模型訓練好,再壓縮成裝置吃得下的大小,最後在手機、筆電或嵌入式裝置上執行推論。

拆成三個步驟來看:

  1. 在雲端訓練模型:訓練需要大量算力,多個來源都指出這一步通常留在資料中心做,邊緣裝置主要負責執行。
  2. 把模型壓小、轉成裝置看得懂的格式:手機和攝影機的記憶體有限,模型通常要先量化、裁剪,再轉成 LiteRT、ExecuTorch 這類執行環境吃的格式。PyTorch 官方的 ExecuTorch 文件也提醒,匯出的檔案是針對特定硬體後端特化的,換一種硬體可能就要重新匯出。
  3. 在裝置上執行推論:模型在本機的 CPU、GPU 或 NPU 上跑,資料不用離開裝置。Google 的 LiteRT 新版 API 還會自動挑要用哪顆加速器,開發者不用自己指定。

名詞小教室:推論就是 AI「訓練完、拿來用」的那一段,詳細可以看AI 推論;量化則是把模型的數字精度降低換取體積變小,原理在量化 AI 模型這篇。手機裡專門跑 AI 的那顆晶片叫 NPU,可以搭配NPU 條目一起看。

邊緣 AI 跟雲端 AI 差在哪?

邊緣 AI 在你的裝置上算,雲端 AI 在遠端資料中心算,前者贏在快、省頻寬、資料不外流,後者贏在模型大、能力強、不挑裝置。

比較項目邊緣 AI(Edge AI)雲端 AI(Cloud AI)
運算位置手機、筆電、攝影機、工廠設備遠端資料中心
反應速度不用等網路來回,即時受網路延遲影響
斷網時照常運作無法使用
隱私資料可以完全留在裝置資料要上傳到別人的伺服器
模型大小受裝置記憶體與算力限制,通常是小模型可以跑最大、最強的模型
費用硬體一次買斷,沒有每次呼叫的費用常見按用量計費
我會在什麼情況選它即時反應、敏感資料、常常斷網需要最強推理能力、任務複雜

從這張表可以看出來,兩邊幾乎是互補的,各自的強項剛好是對方的弱點。

所以實務上不少大廠是兩邊混著用。根據 Apple 公開的技術報告,Apple Intelligence 用的是一個約 30 億參數、跑在裝置上的模型,搭配一個在 Apple 自家伺服器上的大模型,本機模型負責日常任務,更大的模型則跑在名叫 Private Cloud Compute 的雲端系統上。Apple 還把 Private Cloud Compute 部分元件的原始碼放上 GitHub,讓安全研究人員自己驗證隱私宣稱(畢竟「相信我們」這句話,大家聽多了)。

你會在哪些 AI 工具看到邊緣 AI?

你手上的手機、新買的筆電、社群 App,其實很多都已經在偷偷跑邊緣 AI,只是不會跳出來跟你說。

  • Meta 的 App 與眼鏡:PyTorch 的 ExecuTorch 官方說明寫到,它支撐了 Instagram、WhatsApp、Facebook、Messenger 上的裝置端功能,也在 Meta Quest 和 Ray-Ban Meta 眼鏡上跑 AI 功能。
  • Google AI Edge Gallery:Google 官方開源的 App,在 Android 12 以上與 iOS 17 以上都能裝,標榜「不需要網路」,所有推論都在手機硬體上完成,可以下載 FunctionGemma 270M 這類小模型來玩。
  • Google Pixel 11:本站之前報導過,Tensor G6 由台積電 2 奈米製程生產,TPU 算力增加 50%,裝置端 AI 任務最快 3.5 倍。
  • AI 筆電:Google 的 Gemma 4 12B 發布時就主打 16GB 記憶體的筆電能跑。微軟開源的 Foundry Local 則讓開發者在自己的電腦上本機跑模型,官方寫明「對話不會離開裝置」、不用 Azure 訂閱、也沒有按 Token 計費。
  • 工廠與機器人:NVIDIA 的 jetson-inference 專案示範在 Jetson 開發板上即時分析攝影機畫面,也能接 ROS 機器人框架;它列的一個道路分割模型,在 Jetson Nano 上以 512x256 解析度可以跑到每秒 48 張畫面。

如果你是工程師,最常碰到的是這幾套:Android 與嵌入式裝置用 Google 的 LiteRT(前身是 TensorFlow Lite,舊版已進入只修重大問題的維護模式);PyTorch 生態系用 ExecuTorch,連 Arm Cortex-M 微控制器都有支援(目前是測試版);想在自己電腦上試,可以先從 Foundry Local 下手,它的 API 跟 OpenAI 格式相容,原本的程式改個網址就能接。

題外話,LiteRT 列出的 NPU 供應商裡就有聯發科,ExecuTorch 的 Android 後端也有 MediaTek 加速器,台灣晶片廠其實也在這張名單上,只是一般讀者比較少注意到。

學邊緣 AI 最常見的 3 個誤解

邊緣 AI 最常被誤會的地方,是把它想成雲端的替代品,或以為裝置上能跑跟雲端一樣強的模型。

  1. 誤解一:有了邊緣 AI 就不需要雲端 — 真相是兩者分工。模型訓練幾乎都在雲端完成,裝置只負責執行;最強的大模型也還是住在資料中心,連 Apple 都是本機加雲端混著用。
  2. 誤解二:邊緣運算就一定有 AI — 真相是邊緣運算講的是「在哪裡算」,算的可以只是資料過濾、壓縮、警報判斷,不一定跑 AI 模型。物聯網閘道器在本地整理感測資料,就是沒有 AI 的邊緣運算。
  3. 誤解三:放在本機就絕對安全 — 真相是資料不上網確實少了一段外洩風險,但裝置本身可能被偷、被拆、被實體竄改,安全問題只是換了個地方。

「那邊緣 AI 跑出來的效果,會不會比雲端差?」老實講,多半會。裝置上的模型比較小,複雜問題的表現通常比不上雲端大模型,ExecuTorch 的文件也建議一定要在目標裝置上實測準確度、記憶體與速度。規格表上「本機就能跑」跟「本機跑得好用」是兩回事

想多了解邊緣 AI,從哪開始?

沒有技術背景的話,最好玩的入門是把手機開飛航模式,裝個 Google AI Edge Gallery 下載一個小模型,親身感受一下「斷網還能聊天」是什麼感覺,順便看看手機會不會發燙 XD

買新手機或筆電時,看到「裝置端 AI」「本機 AI」這類字眼,可以多問一句:這個功能是在機器上跑,還是其實偷偷連回雲端?兩者的隱私與斷網表現完全不同。

有技術背景的話,Android 從 LiteRT 的範例開始,PyTorch 使用者直接看 ExecuTorch,手上有 Jetson 板子就跑一次 jetson-inference 的 Hello AI World。搭配本站的GPU 條目,會更清楚雲端那一側的算力為什麼那麼難取代。


常見問題 FAQ

邊緣運算跟 AI 有什麼關係?

邊緣運算是把資料處理搬到靠近資料來源的裝置上進行,當這些裝置上執行的是 AI 模型時,就叫邊緣 AI。手機的人臉辨識、筆電的即時字幕、工廠攝影機的瑕疵檢測,都是在裝置端直接跑 AI,不用把資料傳到雲端。

為什麼邊緣 AI 突然這麼紅?

手機與筆電晶片陸續內建 NPU,小模型的能力又進步很快,讓過去只能在雲端跑的 AI 功能開始搬到裝置上。Apple Intelligence 採用約 30 億參數的裝置端模型,Google 推出可離線使用的 AI Edge Gallery,Meta 也用 ExecuTorch 在 Instagram、WhatsApp 跑裝置端功能,各大廠同時押注,讓這個詞跟著紅起來。

我不是工程師也需要懂邊緣 AI 嗎?

如果你在意隱私、常在網路不穩的地方用 AI,或正準備買 AI 手機或 AI 筆電,懂一點邊緣 AI 會很有幫助。它決定了你的資料會不會離開裝置、斷網時功能還能不能用,也能幫你分辨廣告上「裝置端 AI」到底指的是什麼。

邊緣運算的中文翻譯有沒有統一?

台灣常見寫法是「邊緣運算」,對應英文 Edge Computing;Edge AI 則多寫成「邊緣 AI」或「裝置端 AI」。中國大陸多寫成「邊緣計算」與「邊緣智能」,本站統一使用台灣用語的邊緣運算與邊緣 AI。

學會邊緣 AI 之後,下一個該學什麼?

建議接著看三個概念:NPU,了解手機和筆電裡專門跑 AI 的晶片;量化,了解模型怎麼壓縮才塞得進裝置;以及 AI 推論,了解邊緣裝置實際在執行的是 AI 的哪一段工作。


延伸閱讀


參考來源

  1. LiteRT|Google AI Edge on GitHub — LiteRT 是 TensorFlow Lite 的後繼者、支援的平台與 NPU 供應商、自動選擇加速器。
  2. ExecuTorch|PyTorch on GitHub — Meta 各 App 與 Quest、Ray-Ban Meta 的裝置端應用,支援的硬體後端與實測提醒。
  3. Google AI Edge Gallery|Google AI Edge on GitHub — 不需網路、推論全在裝置上執行,支援的系統版本與模型。
  4. Foundry Local|Microsoft on GitHub — 對話不離開裝置、離線可用、不需 Azure 訂閱與按 Token 計費。
  5. jetson-inference|dusty-nv on GitHub — Jetson 上的即時影像推論、ROS 支援與 Jetson Nano 48 FPS 實測值。
  6. security-pcc|Apple on GitHub — Apple 公開 Private Cloud Compute 部分原始碼供研究人員驗證。

關於本篇的查證限制:撰寫當下 Wikipedia、arXiv、IBM 與部分 Apple 官方網域無法直接讀取。Apple Intelligence 約 30 億參數的裝置端模型搭配 Private Cloud Compute 伺服器模型、邊緣 AI 與邊緣運算的定義差異、模型多在雲端訓練再部署到裝置,以及邊緣裝置仍有實體竄改風險等內容,皆經兩個以上獨立搜尋結果比對才寫入,並未列入上方參考來源。常被引用的 Gartner「75% 企業資料將在邊緣處理」預測,因找不到原始報告且各家轉述版本不一,本篇沒有採用。


整理一下重點:邊緣 AI 真的就是「AI 在你自己的裝置上算」,快、斷網能用、資料不外流,但模型小一號,最強的那些還是住在雲端。

希望這一篇有讓你對邊緣運算和邊緣 AI 有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。

我們下篇文章見囉~

本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。