一句話定義
擴散模型(Diffusion Model)是一種生成式 AI 模型,先學會把被雜訊弄糊的圖片一步步還原,再從一張純雜訊出發反覆去噪,生成全新的內容。
30 秒看重點
- 是什麼:擴散模型是靠「反覆去除雜訊」來生成圖片、影片、聲音的 AI 模型。
- 為什麼重要:Stable Diffusion、SDXL 這些文字生圖模型,以及 Stable Video Diffusion 這類影片模型,核心都是擴散模型。
- 跟誰相關:用 AI 生圖的設計師與行銷、關心 AI 版權與深偽的一般人、想入門生成式 AI 的工程師。
- 最常見的誤解:以為 AI 是從資料庫裡「拼貼」現成圖片,其實它是從雜訊一步步算出一張新圖。
- 記住這件事就夠了:擴散模型學的是「怎麼把雜訊擦乾淨」,把這件事做幾十次,就畫出一張圖。
擴散模型到底是什麼?
擴散模型是一種讓 AI 「從雜訊裡變出圖片」的生成模型,它不會一筆畫完,是從一團亂碼開始,每一步擦掉一點雜訊,擦個幾十次後,畫面就慢慢浮現出來。
用過 AI 生圖的話,你應該看過那種畫面:先是一片彩色雪花,接著出現模糊輪廓,最後才變成清楚的貓咪或風景。那不是特效,擴散模型真的就是這樣畫圖的。
Hugging Face 的免費課程《Diffusion Models Class》講得很白:擴散模型是「生成模型」家族裡相對新的成員,生成「從隨機雜訊開始,經過好幾個步驟逐漸精煉,直到圖片浮現」。
名字裡的「擴散」借自物理。一滴墨水滴進水裡會慢慢擴散,直到整杯水變成均勻的淡灰色,結構就不見了。擴散模型就是把這個過程倒過來播放。
生活比喻:你可以想像成擦起霧的浴室鏡子。洗完熱水澡,鏡子整片霧茫茫,什麼都看不到(這是純雜訊)。你用手抹一下,看到一點輪廓;再抹一下,看出是一張臉;抹個十幾下,整張臉清清楚楚。擴散模型就是一隻超會擦鏡子的手,只不過鏡子後面原本沒有人,那張臉是它邊擦邊「推算」出來的。
為什麼會有擴散模型?
擴散模型的出現,是因為「一次就把整張圖畫對」實在太難,拆成很多小步慢慢修,反而簡單又穩定。
在擴散模型紅起來之前,AI 生圖的主流是 GAN(生成對抗網路),讓一個「畫家」網路跟一個「鑑定師」網路互相較勁。這招畫得很快,可是多個搜尋來源一致指出,GAN 的訓練出了名的不穩定,常見的毛病叫 mode collapse(模式崩潰),簡單來講就是畫家發現某幾種圖最好騙過鑑定師,之後就只畫那幾種。
擴散模型換個思路。Hugging Face 課程解釋:一開始就預測成品非常難,但每一步只改一點點,早期估錯的地方,後面還能修回來。
說白了,就是一次只修一點,修錯了下一步還能救。
擴散模型是怎麼運作的?
先講結論:擴散模型分成「訓練時加雜訊、生成時去雜訊」兩個方向,模型真正學會的只有一件事,就是看一張有雜訊的圖,猜出裡面的雜訊長什麼樣子。
- 往圖上撒雜訊(前向過程):拿一張清楚的照片,一點一點加上隨機雜訊。2020 年 DDPM 論文的官方程式碼裡,預設就是分 1,000 步加完,到最後原圖幾乎完全被雜訊蓋掉。
- 學會猜雜訊(訓練):把不同程度的「髒圖」餵給模型,要它猜出加了哪些雜訊,猜錯就調整權重。Hugging Face 課程強調,模型要能處理「極度雜亂」和「幾乎乾淨」的各種程度。
- 從純雜訊倒著擦(反向過程):生成時給模型一張完全隨機的雜訊圖,它每一步預測雜訊、擦掉一點,反覆執行後就得到一張全新的圖。
那「畫一隻在夜市吃雞排的柴犬」這種文字指令,是怎麼影響畫面的?Hugging Face diffusers 的官方教學說明,文字會先經過 tokenizer 和文字編碼器變成向量,再拿來「指揮」去噪的模型。另外有個 guidance_scale 參數,決定要給 prompt 多少權重,也就是 AI 要多聽你的話。
名詞小教室:去噪模型本身就是一個大型神經網路。早期多用叫 U-Net 的架構,後來 2022 年 UC Berkeley 與紐約大學的 DiT 論文,把它換成在潛在空間小方塊上運算的 Transformer。
Stable Diffusion 為什麼能在家用電腦上跑?
Stable Diffusion 能跑在一般電腦,是因為它不在原始像素上去噪,而是在一個被壓縮過的「潛在空間」(latent space)裡去噪,運算量小很多。
這招叫潛在擴散模型(Latent Diffusion Model),出自 Robin Rombach 等人的 CVPR 2022 論文。CompVis/stable-diffusion 的 GitHub 寫到:
- 模型大小:去噪用的 UNet 有 8.6 億個參數,文字編碼器有 1.23 億個,官方形容「相對輕量」
- 壓縮比例:用一個縮小 8 倍的自編碼器,diffusers 教學也寫到圖片的長寬要除以 8,所以 512×512 的圖,實際去噪的是 64×64 的潛在表示
- 硬體門檻:有至少 10GB 顯示記憶體的 GPU 就能跑
- 訓練資料:LAION-5B 的 512×512 圖片子集,Stability AI 與 Runway 參與合作
最後再由 VAE 把潛在表示「解壓縮」回圖片。老實講,我認為「能在自己顯卡上跑」是 Stable Diffusion 紅出圈的關鍵,畢竟不是每個人都想把 prompt 交給雲端。
擴散模型跟 GAN 差在哪?
一句話:GAN 是畫家跟鑑定師對打、一筆畫完,擴散模型是一個人慢慢擦鏡子、分幾十步畫完。前者快但難訓練,後者慢但穩。
| 比較項目 | 擴散模型(Diffusion Model) | GAN(生成對抗網路) |
|---|---|---|
| 生成方式 | 從雜訊出發,分很多步逐漸去噪 | 一次前向運算直接輸出 |
| 訓練難度 | 目標單純(猜雜訊),相對穩定 | 兩個網路對抗,容易不穩定 |
| 常見毛病 | 生成步驟多,速度較慢 | mode collapse,畫來畫去都很像 |
| 生成速度 | 傳統做法要跑很多步,比較慢 | 很快 |
| 代表作 | Stable Diffusion、SDXL | StyleGAN 系列 |
從這張表可以看出來,擴散模型是拿速度換品質與穩定度。很有代表性的是 OpenAI 2021 年那篇論文,標題直接嗆聲叫《Diffusion Models Beat GANs on Image Synthesis》(擴散模型在影像生成上打敗 GAN)。
如果你只是要「挑一個來理解現在的 AI 生圖」,我會直接從擴散模型開始,GAN 當成歷史背景知道就好。
擴散模型是怎麼一路走到今天的?
擴散模型的概念在 2015 年就出現了,2020 年才真正好用,2022 年之後全面爆發。
- 2015 年:多個搜尋來源一致指出,Jascha Sohl-Dickstein 等人在 ICML 發表論文,借用非平衡熱力學,提出「先破壞資料結構,再學會還原」。
- 2020 年:Jonathan Ho、Ajay Jain、Pieter Abbeel 發表 DDPM(去噪擴散機率模型),實驗跑在 Google Cloud TPU v3-8 上。
- 2021 年:OpenAI 發表《Diffusion Models Beat GANs on Image Synthesis》。
- 2022 年:潛在擴散模型論文登上 CVPR 2022,Stable Diffusion 就是以它為基礎;同年的 DiT 論文把 Transformer 帶進擴散模型。
- 2023 年:Stability AI 7 月 26 日釋出 SDXL 1.0(1024×1024 訓練),11 月 21 日推出 Stable Video Diffusion,11 月 28 日推出快速版 SDXL-Turbo。
你會在哪些 AI 工具看到擴散模型?
先講結論:只要是「打一段字就生出圖片或影片」的工具,背後很可能有擴散模型,但不是每家都會公開自己的架構。
- Stable Diffusion / SDXL:開放權重、能在自己電腦跑,資料也最公開。
- Stable Video Diffusion:Stability AI 的圖轉影片模型,官方 repo 寫明可從一張圖生成 14 格、576×1024 的影片,SVD-XT 版本則是 25 格。
- OpenAI Sora:多個搜尋來源描述,OpenAI 的技術報告把 Sora 定位為在影片的時空小方塊上運作的擴散 Transformer。
- Hugging Face diffusers:最多人用的開源擴散模型函式庫,README 寫明可生成圖片、聲音,甚至分子的 3D 結構。
工程師最常碰到的是 diffusers,三個積木是 pipeline、scheduler(決定每一步怎麼去噪)與預訓練模型。num_inference_steps 就是去噪步數,官方教學範例用 50 步。
學擴散模型最常見的 3 個誤解
最大的誤解,就是以為 AI 生圖是從網路上找圖來剪剪貼貼。
- 誤解一:AI 是從資料庫拼貼現成的圖 — 真相是生成時從純雜訊出發,一步步「算」出新圖。不過訓練資料的版權爭議是另一回事。
- 誤解二:擴散模型只能畫圖 — 真相是它可以生成影片、聲音,diffusers 甚至支援分子結構。
- 誤解三:擴散模型一定很慢 — 真相是加速研究很多,OpenAI 2023 年的 Consistency Models 官方範例就示範了一步生成。
DDPM 原版的雜訊排程是 1,000 步,光聽就覺得漫長(泡麵都泡好了吧),難怪一堆研究都在砍步數 XD
想多了解擴散模型,從哪開始?
沒有技術背景的話:下次用 AI 生圖時,試著把步數從 10 調到 50,看畫面細節怎麼變;再把 guidance 調高調低,感受「AI 有多聽你的話」。親手調過一輪,比背原理更快抓到手感。
有技術背景的話:直接看 Hugging Face 在 GitHub 上的《Diffusion Models Class》第一單元,再照 diffusers 的「write your own pipeline」教學,自己把 text encoder、UNet、scheduler、VAE 串起來跑一次。
常見問題 FAQ
擴散模型跟 AI 有什麼關係?
擴散模型是生成式 AI 的一種核心技術,專門用來生成圖片、影片與聲音。Stable Diffusion、SDXL、Stable Video Diffusion 等知名 AI 生圖與影片模型,都是以擴散模型為基礎。
為什麼擴散模型突然這麼紅?
擴散模型的概念 2015 年就出現,2020 年 DDPM 論文讓它真正好用,2021 年 OpenAI 發表論文指出擴散模型在影像生成上勝過 GAN。Stable Diffusion 以 CVPR 2022 的潛在擴散模型論文為基礎、開放權重,而且能在家用 GPU 上執行,讓擴散模型迅速普及。
我不是工程師也需要懂擴散模型嗎?
不需要會寫程式,但懂基本觀念很有幫助。知道 AI 生圖是從雜訊一步步去噪生成的,就能理解步數、guidance 這些參數在調什麼,也比較能判斷 AI 生成圖片與深偽內容的風險。
擴散模型的中文翻譯有沒有統一?
台灣與中國大陸都普遍譯為「擴散模型」,英文是 Diffusion Model。2020 年的 DDPM 全名 Denoising Diffusion Probabilistic Models,中文常譯為去噪擴散機率模型。本站採用「擴散模型」。
學會擴散模型之後,下一個該學什麼?
建議先讀生成式 AI,了解擴散模型在整個生成式 AI 裡的位置;再讀 Transformer,因為新一代擴散模型開始用它當去噪骨幹;最後看多模態 AI,了解文字如何指揮圖片生成。
延伸閱讀
- 生成式 AI 是什麼?Generative AI 跟以前差在哪 — 所屬的大家族。
- Transformer 是什麼?中文意思與原理 — DiT 拿來取代 U-Net 的架構。
- Multimodal 中文是什麼?多模態 AI 怎麼同時看圖、聽聲、讀文字 — 文字指揮圖片的概念。
- Deepfake 是什麼?中文叫深偽 — AI 生成影像的另一面。
- Fable 5 解禁歸來,Gemini 3.1 Flash Image 千張圖約新台幣 1 塊 — AI 生圖的價格戰。
參考來源
- CompVis/stable-diffusion|GitHub — 潛在擴散模型、參數量、10GB VRAM、LAION-5B。
- hojonathanho/diffusion(DDPM 官方程式碼)|GitHub — DDPM 作者、TPU v3-8、1,000 步雜訊排程。
- Hugging Face Diffusion Models Class Unit 1|GitHub — 逐步去噪與訓練流程。
- huggingface/diffusers|GitHub — 三大元件與支援的生成類型。
- diffusers:Write your own pipeline|GitHub — guidance_scale、VAE 解碼、長寬除以 8。
- Stability-AI/generative-models|GitHub — SDXL、SDXL-Turbo、SVD 日期與規格。
- openai/guided-diffusion|GitHub — 《Diffusion Models Beat GANs on Image Synthesis》。
- facebookresearch/DiT|GitHub — 以 Transformer 取代 U-Net 的擴散模型。
- openai/consistency_models|GitHub — Consistency Models 與一步生成範例。
查證限制:2015 年 Sohl-Dickstein 等人的 ICML 論文、GAN 訓練不穩定與 mode collapse 的比較,以及 Sora 被描述為擴散 Transformer 的內容,原始網站(arXiv、OpenAI 官網)在撰寫環境無法開啟,以多個獨立搜尋結果交叉比對一致後才寫入,未列入參考來源。
整理一下重點:擴散模型說穿了就是一隻超會擦鏡子的手,先學會把髒圖擦乾淨,再從一片雜訊開始擦出一張全新的圖,現在滿街的 AI 生圖工具真的都靠這招。
希望這一篇有讓你對擴散模型有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。
我們下篇文章見囉~
本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。