一句話定義

擴散模型(Diffusion Model)是一種生成式 AI 模型,先學會把被雜訊弄糊的圖片一步步還原,再從一張純雜訊出發反覆去噪,生成全新的內容。

30 秒看重點

  • 是什麼:擴散模型是靠「反覆去除雜訊」來生成圖片、影片、聲音的 AI 模型。
  • 為什麼重要:Stable Diffusion、SDXL 這些文字生圖模型,以及 Stable Video Diffusion 這類影片模型,核心都是擴散模型。
  • 跟誰相關:用 AI 生圖的設計師與行銷、關心 AI 版權與深偽的一般人、想入門生成式 AI 的工程師。
  • 最常見的誤解:以為 AI 是從資料庫裡「拼貼」現成圖片,其實它是從雜訊一步步算出一張新圖。
  • 記住這件事就夠了:擴散模型學的是「怎麼把雜訊擦乾淨」,把這件事做幾十次,就畫出一張圖。

擴散模型到底是什麼?

擴散模型是一種讓 AI 「從雜訊裡變出圖片」的生成模型,它不會一筆畫完,是從一團亂碼開始,每一步擦掉一點雜訊,擦個幾十次後,畫面就慢慢浮現出來。

用過 AI 生圖的話,你應該看過那種畫面:先是一片彩色雪花,接著出現模糊輪廓,最後才變成清楚的貓咪或風景。那不是特效,擴散模型真的就是這樣畫圖的。

Hugging Face 的免費課程《Diffusion Models Class》講得很白:擴散模型是「生成模型」家族裡相對新的成員,生成「從隨機雜訊開始,經過好幾個步驟逐漸精煉,直到圖片浮現」。

名字裡的「擴散」借自物理。一滴墨水滴進水裡會慢慢擴散,直到整杯水變成均勻的淡灰色,結構就不見了。擴散模型就是把這個過程倒過來播放。

生活比喻:你可以想像成擦起霧的浴室鏡子。洗完熱水澡,鏡子整片霧茫茫,什麼都看不到(這是純雜訊)。你用手抹一下,看到一點輪廓;再抹一下,看出是一張臉;抹個十幾下,整張臉清清楚楚。擴散模型就是一隻超會擦鏡子的手,只不過鏡子後面原本沒有人,那張臉是它邊擦邊「推算」出來的。

為什麼會有擴散模型?

擴散模型的出現,是因為「一次就把整張圖畫對」實在太難,拆成很多小步慢慢修,反而簡單又穩定。

在擴散模型紅起來之前,AI 生圖的主流是 GAN(生成對抗網路),讓一個「畫家」網路跟一個「鑑定師」網路互相較勁。這招畫得很快,可是多個搜尋來源一致指出,GAN 的訓練出了名的不穩定,常見的毛病叫 mode collapse(模式崩潰),簡單來講就是畫家發現某幾種圖最好騙過鑑定師,之後就只畫那幾種。

擴散模型換個思路。Hugging Face 課程解釋:一開始就預測成品非常難,但每一步只改一點點,早期估錯的地方,後面還能修回來。

說白了,就是一次只修一點,修錯了下一步還能救。

擴散模型是怎麼運作的?

先講結論:擴散模型分成「訓練時加雜訊、生成時去雜訊」兩個方向,模型真正學會的只有一件事,就是看一張有雜訊的圖,猜出裡面的雜訊長什麼樣子。

  1. 往圖上撒雜訊(前向過程):拿一張清楚的照片,一點一點加上隨機雜訊。2020 年 DDPM 論文的官方程式碼裡,預設就是分 1,000 步加完,到最後原圖幾乎完全被雜訊蓋掉。
  2. 學會猜雜訊(訓練):把不同程度的「髒圖」餵給模型,要它猜出加了哪些雜訊,猜錯就調整權重。Hugging Face 課程強調,模型要能處理「極度雜亂」和「幾乎乾淨」的各種程度。
  3. 從純雜訊倒著擦(反向過程):生成時給模型一張完全隨機的雜訊圖,它每一步預測雜訊、擦掉一點,反覆執行後就得到一張全新的圖。

那「畫一隻在夜市吃雞排的柴犬」這種文字指令,是怎麼影響畫面的?Hugging Face diffusers 的官方教學說明,文字會先經過 tokenizer 和文字編碼器變成向量,再拿來「指揮」去噪的模型。另外有個 guidance_scale 參數,決定要給 prompt 多少權重,也就是 AI 要多聽你的話。

名詞小教室:去噪模型本身就是一個大型神經網路。早期多用叫 U-Net 的架構,後來 2022 年 UC Berkeley 與紐約大學的 DiT 論文,把它換成在潛在空間小方塊上運算的 Transformer。

Stable Diffusion 為什麼能在家用電腦上跑?

Stable Diffusion 能跑在一般電腦,是因為它不在原始像素上去噪,而是在一個被壓縮過的「潛在空間」(latent space)裡去噪,運算量小很多。

這招叫潛在擴散模型(Latent Diffusion Model),出自 Robin Rombach 等人的 CVPR 2022 論文。CompVis/stable-diffusion 的 GitHub 寫到:

  • 模型大小:去噪用的 UNet 有 8.6 億個參數,文字編碼器有 1.23 億個,官方形容「相對輕量」
  • 壓縮比例:用一個縮小 8 倍的自編碼器,diffusers 教學也寫到圖片的長寬要除以 8,所以 512×512 的圖,實際去噪的是 64×64 的潛在表示
  • 硬體門檻:有至少 10GB 顯示記憶體的 GPU 就能跑
  • 訓練資料:LAION-5B 的 512×512 圖片子集,Stability AI 與 Runway 參與合作

最後再由 VAE 把潛在表示「解壓縮」回圖片。老實講,我認為「能在自己顯卡上跑」是 Stable Diffusion 紅出圈的關鍵,畢竟不是每個人都想把 prompt 交給雲端。

擴散模型跟 GAN 差在哪?

一句話:GAN 是畫家跟鑑定師對打、一筆畫完,擴散模型是一個人慢慢擦鏡子、分幾十步畫完。前者快但難訓練,後者慢但穩。

比較項目擴散模型(Diffusion Model)GAN(生成對抗網路)
生成方式從雜訊出發,分很多步逐漸去噪一次前向運算直接輸出
訓練難度目標單純(猜雜訊),相對穩定兩個網路對抗,容易不穩定
常見毛病生成步驟多,速度較慢mode collapse,畫來畫去都很像
生成速度傳統做法要跑很多步,比較慢很快
代表作Stable Diffusion、SDXLStyleGAN 系列

從這張表可以看出來,擴散模型是拿速度換品質與穩定度。很有代表性的是 OpenAI 2021 年那篇論文,標題直接嗆聲叫《Diffusion Models Beat GANs on Image Synthesis》(擴散模型在影像生成上打敗 GAN)。

如果你只是要「挑一個來理解現在的 AI 生圖」,我會直接從擴散模型開始,GAN 當成歷史背景知道就好。

擴散模型是怎麼一路走到今天的?

擴散模型的概念在 2015 年就出現了,2020 年才真正好用,2022 年之後全面爆發。

  • 2015 年:多個搜尋來源一致指出,Jascha Sohl-Dickstein 等人在 ICML 發表論文,借用非平衡熱力學,提出「先破壞資料結構,再學會還原」。
  • 2020 年:Jonathan Ho、Ajay Jain、Pieter Abbeel 發表 DDPM(去噪擴散機率模型),實驗跑在 Google Cloud TPU v3-8 上。
  • 2021 年:OpenAI 發表《Diffusion Models Beat GANs on Image Synthesis》。
  • 2022 年:潛在擴散模型論文登上 CVPR 2022,Stable Diffusion 就是以它為基礎;同年的 DiT 論文把 Transformer 帶進擴散模型。
  • 2023 年:Stability AI 7 月 26 日釋出 SDXL 1.0(1024×1024 訓練),11 月 21 日推出 Stable Video Diffusion,11 月 28 日推出快速版 SDXL-Turbo。

你會在哪些 AI 工具看到擴散模型?

先講結論:只要是「打一段字就生出圖片或影片」的工具,背後很可能有擴散模型,但不是每家都會公開自己的架構。

  • Stable Diffusion / SDXL:開放權重、能在自己電腦跑,資料也最公開。
  • Stable Video Diffusion:Stability AI 的圖轉影片模型,官方 repo 寫明可從一張圖生成 14 格、576×1024 的影片,SVD-XT 版本則是 25 格。
  • OpenAI Sora:多個搜尋來源描述,OpenAI 的技術報告把 Sora 定位為在影片的時空小方塊上運作的擴散 Transformer。
  • Hugging Face diffusers:最多人用的開源擴散模型函式庫,README 寫明可生成圖片、聲音,甚至分子的 3D 結構。

工程師最常碰到的是 diffusers,三個積木是 pipeline、scheduler(決定每一步怎麼去噪)與預訓練模型。num_inference_steps 就是去噪步數,官方教學範例用 50 步。

學擴散模型最常見的 3 個誤解

最大的誤解,就是以為 AI 生圖是從網路上找圖來剪剪貼貼。

  1. 誤解一:AI 是從資料庫拼貼現成的圖 — 真相是生成時從純雜訊出發,一步步「算」出新圖。不過訓練資料的版權爭議是另一回事。
  2. 誤解二:擴散模型只能畫圖 — 真相是它可以生成影片、聲音,diffusers 甚至支援分子結構。
  3. 誤解三:擴散模型一定很慢 — 真相是加速研究很多,OpenAI 2023 年的 Consistency Models 官方範例就示範了一步生成。

DDPM 原版的雜訊排程是 1,000 步,光聽就覺得漫長(泡麵都泡好了吧),難怪一堆研究都在砍步數 XD

想多了解擴散模型,從哪開始?

沒有技術背景的話:下次用 AI 生圖時,試著把步數從 10 調到 50,看畫面細節怎麼變;再把 guidance 調高調低,感受「AI 有多聽你的話」。親手調過一輪,比背原理更快抓到手感。

有技術背景的話:直接看 Hugging Face 在 GitHub 上的《Diffusion Models Class》第一單元,再照 diffusers 的「write your own pipeline」教學,自己把 text encoder、UNet、scheduler、VAE 串起來跑一次。


常見問題 FAQ

擴散模型跟 AI 有什麼關係?

擴散模型是生成式 AI 的一種核心技術,專門用來生成圖片、影片與聲音。Stable Diffusion、SDXL、Stable Video Diffusion 等知名 AI 生圖與影片模型,都是以擴散模型為基礎。

為什麼擴散模型突然這麼紅?

擴散模型的概念 2015 年就出現,2020 年 DDPM 論文讓它真正好用,2021 年 OpenAI 發表論文指出擴散模型在影像生成上勝過 GAN。Stable Diffusion 以 CVPR 2022 的潛在擴散模型論文為基礎、開放權重,而且能在家用 GPU 上執行,讓擴散模型迅速普及。

我不是工程師也需要懂擴散模型嗎?

不需要會寫程式,但懂基本觀念很有幫助。知道 AI 生圖是從雜訊一步步去噪生成的,就能理解步數、guidance 這些參數在調什麼,也比較能判斷 AI 生成圖片與深偽內容的風險。

擴散模型的中文翻譯有沒有統一?

台灣與中國大陸都普遍譯為「擴散模型」,英文是 Diffusion Model。2020 年的 DDPM 全名 Denoising Diffusion Probabilistic Models,中文常譯為去噪擴散機率模型。本站採用「擴散模型」。

學會擴散模型之後,下一個該學什麼?

建議先讀生成式 AI,了解擴散模型在整個生成式 AI 裡的位置;再讀 Transformer,因為新一代擴散模型開始用它當去噪骨幹;最後看多模態 AI,了解文字如何指揮圖片生成。


延伸閱讀


參考來源

  1. CompVis/stable-diffusion|GitHub — 潛在擴散模型、參數量、10GB VRAM、LAION-5B。
  2. hojonathanho/diffusion(DDPM 官方程式碼)|GitHub — DDPM 作者、TPU v3-8、1,000 步雜訊排程。
  3. Hugging Face Diffusion Models Class Unit 1|GitHub — 逐步去噪與訓練流程。
  4. huggingface/diffusers|GitHub — 三大元件與支援的生成類型。
  5. diffusers:Write your own pipeline|GitHub — guidance_scale、VAE 解碼、長寬除以 8。
  6. Stability-AI/generative-models|GitHub — SDXL、SDXL-Turbo、SVD 日期與規格。
  7. openai/guided-diffusion|GitHub — 《Diffusion Models Beat GANs on Image Synthesis》。
  8. facebookresearch/DiT|GitHub — 以 Transformer 取代 U-Net 的擴散模型。
  9. openai/consistency_models|GitHub — Consistency Models 與一步生成範例。

查證限制:2015 年 Sohl-Dickstein 等人的 ICML 論文、GAN 訓練不穩定與 mode collapse 的比較,以及 Sora 被描述為擴散 Transformer 的內容,原始網站(arXiv、OpenAI 官網)在撰寫環境無法開啟,以多個獨立搜尋結果交叉比對一致後才寫入,未列入參考來源。


整理一下重點:擴散模型說穿了就是一隻超會擦鏡子的手,先學會把髒圖擦乾淨,再從一片雜訊開始擦出一張全新的圖,現在滿街的 AI 生圖工具真的都靠這招。

希望這一篇有讓你對擴散模型有比較具體的理解哩~如果發現事實錯誤、定義不準、或翻譯卡卡的,歡迎透過聯絡頁指正,看到我們會盡快修。

我們下篇文章見囉~

本條目由 Array 報報 AI 編輯部根據上方「參考來源」整理,文末已揭露 AI 生成 + 公開資料引用。