확산 모델

Diffusion model; 확산 모델
데이터에 잡음을 조금씩 더해 완전한 잡음으로 만드는 과정을 거꾸로 학습해, 잡음에서 데이터를 만들어 내는 생성 모델

확산 모델(Diffusion model)은 데이터에 가우시안 잡음을 단계적으로 더해 가는 순방향 과정(forward process)과, 그 과정을 되돌려 잡음을 단계적으로 걷어 내는 역방향 과정(reverse process)으로 이루어진 생성 모델이다. 순방향 과정은 미리 정해진 고정 절차라 학습할 것이 없고, 신경망은 "지금 이미지에 섞인 잡음이 무엇인지"를 맞히는 법만 배운다. 생성할 때는 순수한 잡음에서 출발해 학습된 신경망으로 잡음을 조금씩 지워 나가면 새 데이터가 나온다.

개념은 2015년 솔딕스타인(Jascha Sohl-Dickstein) 등이 비평형 열역학에서 착안해 처음 제시했고^[1], 2020년 조너선 호(Jonathan Ho) 등의 DDPM이 고품질 이미지 생성을 보여 주면서 폭발적으로 연구되었다.^[2] 2021년 GAN을 이미지 품질에서 앞질렀고, 2022년 DALL-E 2, 스테이블 디퓨전, 구글 이매진(Imagen) 같은 텍스트-이미지 모델과 2024년 소라 같은 영상 생성 모델의 핵심 기술이 되었다. 2025년에는 텍스트를 확산 방식으로 생성하는 언어 모델도 등장했다.

직관

사진 한 장에 잡음을 아주 조금 섞는 일을 수백~천 번 반복하면 결국 TV 화면의 지지직 같은 순수 잡음만 남는다. 각 단계에서 섞이는 잡음은 아주 작으므로, 한 단계만 놓고 보면 "방금 섞인 잡음을 추정해 빼는" 일은 비교적 쉬운 문제다. 확산 모델은 이 쉬운 잡음 제거 문제를 모든 잡음 수준에서 풀도록 신경망 하나를 학습시키고, 생성할 때 이를 수백 번 연달아 적용해 어려운 문제(잡음에서 사진 만들기)를 푼다.

이 점에서 확산 모델은 생성을 "한 번에 그리기"(GAN, VAE)도 "앞에서부터 한 조각씩 그리기"(자기 회귀 모델)도 아닌, "전체를 흐릿하게 잡은 뒤 점점 또렷하게 다듬기"로 바꾼 것이다. 거친 구도가 먼저 정해지고 세부가 나중에 채워진다.

수학적 정의 (DDPM)

순방향 과정

데이터 $x_{0}$ 에서 시작해 T단계에 걸쳐 잡음을 더하는 마르코프 연쇄다. 단계별 잡음 크기 $β_{1}, \dots, β_{T}$ 는 미리 정한다(DDPM은 T=1000, $β$ 를 0.0001에서 0.02까지 선형 증가).^[2]

$q (x_{t} ∣ x_{t - 1}) = 𝒩 (x_{t}; \sqrt{1 - β_{t}} x_{t - 1}, β_{t} I)$

$α_{t} = 1 - β_{t}$ , ${\bar{α}}_{t} = \prod_{s = 1}^{t} α_{s}$ 로 두면 임의의 단계 t로 한 번에 건너뛸 수 있다.

$q (x_{t} ∣ x_{0}) = 𝒩 (x_{t}; \sqrt{{\bar{α}}_{t}} x_{0}, (1 - {\bar{α}}_{t}) I), x_{t} = \sqrt{{\bar{α}}_{t}} x_{0} + \sqrt{1 - {\bar{α}}_{t}} ϵ, ϵ \sim 𝒩 (0, I)$

t가 T에 가까워지면 ${\bar{α}}_{t} \to 0$ 이 되어 $x_{T}$ 는 표준 정규 분포와 거의 같아진다. 이 닫힌 형태 덕분에 학습 때 단계를 차례로 시뮬레이션할 필요 없이 무작위 t를 골라 바로 $x_{t}$ 를 만들 수 있다.

역방향 과정

생성은 $x_{T} \sim 𝒩 (0, I)$ 에서 출발해 학습된 가우시안 전이로 한 단계씩 되돌아간다.

$p_{θ} (x_{t - 1} ∣ x_{t}) = 𝒩 (x_{t - 1}; μ_{θ} (x_{t}, t), σ_{t}^{2} I)$

DDPM은 평균을 직접 예측하는 대신, 신경망 $ϵ_{θ} (x_{t}, t)$ 가 $x_{t}$ 에 섞인 잡음 $ϵ$ 을 예측하게 하고 평균을 다음과 같이 계산한다.

$μ_{θ} (x_{t}, t) = \frac{1}{\sqrt{α_{t}}} (x_{t} - \frac{β_{t}}{\sqrt{1 - {\bar{α}}_{t}}} ϵ_{θ} (x_{t}, t))$

손실 함수

원래 목표는 데이터 로그 가능도의 변분 하한(ELBO, 변분 오토인코더와 같은 개념)을 최대화하는 것이다. 각 단계의 항이 두 가우시안 사이의 쿨백-라이블러 발산으로 정리되는데, DDPM은 가중치를 떼어 낸 다음의 단순한 손실이 더 좋은 표본을 낸다는 것을 보였다.^[2]

$L_{simple} = 𝔼_{t, x_{0}, ϵ} [{‖ ϵ - ϵ_{θ} (\sqrt{{\bar{α}}_{t}} x_{0} + \sqrt{1 - {\bar{α}}_{t}} ϵ, t) ‖}^{2}]$

결국 확산 모델 학습은 "잡음 섞인 입력에서 잡음 맞히기"라는 평범한 회귀 문제다. 적대 학습이 필요 없어 GAN보다 훨씬 안정적이다.

# 학습 한 단계 (의사코드)
x0 = 데이터_미니배치()
t = randint(1, T)                     # 무작위 잡음 수준
eps = randn_like(x0)
xt = sqrt(abar[t]) * x0 + sqrt(1 - abar[t]) * eps
loss = mse(eps_model(xt, t), eps)     # 섞인 잡음 맞히기
loss.backward(); optimizer.step()

# 생성 (DDPM 조상 샘플링)
x = randn(shape)
for t in range(T, 0, -1):
    z = randn(shape) if t > 1 else 0
    x = (x - beta[t] / sqrt(1 - abar[t]) * eps_model(x, t)) / sqrt(alpha[t]) + sigma[t] * z

DDPM은 CIFAR-10 무조건 생성에서 인셉션 점수 9.46, FID 3.17로 당시 최고 기록을 냈고, 256×256 LSUN에서는 ProgressiveGAN과 비슷한 품질을 보였다.^[2]

점수 기반 관점

같은 시기 송양(Yang Song)과 에르몬(Stefano Ermon)은 다른 길로 같은 곳에 도착했다. 데이터 분포의 로그 밀도 기울기, 즉 점수(score) $\nabla_{x} \log p (x)$ 를 신경망으로 추정하고, 이 기울기를 따라 무작위로 움직이는 랑주뱅 동역학으로 표본을 뽑는 방법이다. 데이터가 저차원 다양체에 몰려 있으면 점수를 추정하기 어려우므로 여러 크기의 가우시안 잡음을 섞은 분포의 점수를 함께 학습하고, 잡음을 줄여 가며 랑주뱅 샘플링을 하는 NCSN을 2019년에 발표했다.^[3]

잡음 예측과 점수 추정은 사실상 같은 일이다. 가우시안 잡음을 섞은 분포에서 $\nabla_{x_{t}} \log q (x_{t}) \approx - ϵ_{θ} (x_{t}, t) / \sqrt{1 - {\bar{α}}_{t}}$ 가 성립하기 때문이다. DDPM 논문도 확산 모델과 랑주뱅 동역학을 쓰는 잡음 제거 점수 매칭 사이의 연결을 이용했다고 밝혔다.^[2]

2020년 송양 등은 이산 단계를 연속 시간 확률 미분 방정식(SDE)으로 일반화해 두 관점을 하나로 묶었다. 데이터를 잡음으로 바꾸는 순방향 SDE에는 그것을 되돌리는 역시간 SDE가 존재하고, 역시간 SDE는 시간에 따른 점수만 알면 풀 수 있다. 같은 분포를 내는 결정론적 상미분 방정식(확률 흐름 ODE)도 유도되어 정확한 가능도 계산과 빠른 샘플링이 가능해졌다.^[4] 이후 샘플러 연구 대부분이 "확산 ODE/SDE를 수치적으로 어떻게 잘 풀까"라는 문제로 정리되었다.

샘플링 가속

원래 DDPM은 표본 하나에 신경망을 1,000번 실행해야 해서 느렸다. 이를 줄이는 방법이 여러 갈래로 나왔다.

방법(연도)	아이디어	보고된 효과
DDIM(2020)^[5]	학습 목표는 DDPM과 같게 두고 비마르코프 역과정을 정의해 단계를 건너뜀. 결정론적 샘플링 가능	DDPM보다 벽시계 시간 10~50배 빠름. 잠재 공간 보간 가능
개선 DDPM(2021)^[6]	역과정 분산도 학습	순전파 수를 한 자릿수 줄여도 품질 차이 미미
DPM-Solver(2022)^[7]	확산 ODE의 선형 부분을 해석적으로 풀고 나머지만 고차 수치 해법으로	10~20번 평가로 고품질. CIFAR-10에서 10번 평가로 FID 4.70
EDM(2022)^[8]	잡음 일정, 샘플러, 신경망 전처리 설계를 분리해 정리	이미지당 35번 평가로 CIFAR-10 FID 1.79(조건부)
점진적 증류(2022)^[9]	학생 모델이 교사의 두 단계를 한 단계로 흉내 내도록 반복 증류	8,192단계를 4단계로, CIFAR-10 FID 3.0
일관성 모델(2023)^[10]	확산 궤적 위 어느 점이든 같은 끝점(데이터)으로 바로 사상하도록 학습	1단계 생성 CIFAR-10 FID 3.55
적대적 확산 증류(2023)^[11]	점수 증류에 GAN의 적대 손실을 더함	1~4단계로 대형 이미지 모델 품질 유지

조건부 생성과 가이던스

텍스트나 클래스 같은 조건 c를 신경망 입력에 넣으면 $ϵ_{θ} (x_{t}, t, c)$ 로 조건부 생성을 할 수 있다. 여기에 조건을 얼마나 강하게 따를지 조절하는 가이던스(guidance) 기법이 더해져 품질이 크게 올랐다.

분류기 가이던스(classifier guidance): 잡음 섞인 이미지에서 클래스를 맞히는 분류기를 따로 학습하고, 그 분류기의 기울기 $\nabla_{x_{t}} \log p_{ϕ} (c ∣ x_{t})$ 를 점수에 더해 샘플링 방향을 조건 쪽으로 민다. 다리왈과 니컬은 이를 이용해 다양성을 조금 희생하고 충실도를 높였다.^[12]
분류기 없는 가이던스(classifier-free guidance, CFG): 학습 때 일정 확률로 조건을 지워 한 신경망이 조건부·무조건부 예측을 모두 하게 만든다. 샘플링 때 두 예측의 차이를 증폭한다.^[13]

${\tilde{ϵ}}_{θ} (x_{t}, c) = ϵ_{θ} (x_{t}, \emptyset) + w (ϵ_{θ} (x_{t}, c) - ϵ_{θ} (x_{t}, \emptyset))$

$w$ (가이던스 척도)가 1이면 일반 조건부 생성이고, 1보다 크면 조건을 더 강하게 따르는 대신 다양성이 줄어든다. 별도 분류기가 필요 없어 구현이 단순하며, OpenAI의 GLIDE 실험에서 사람 평가자들은 CLIP 가이던스보다 분류기 없는 가이던스 결과를 더 선호했다.^[14] 오늘날 텍스트-이미지 모델의 "프롬프트 충실도" 조절값은 대부분 이 척도다.

잠재 확산

픽셀 공간에서 직접 확산하면 고해상도 이미지 학습에 수백 GPU일이 들고 추론도 비싸다. 롬바흐(Robin Rombach) 등은 2021년, 먼저 오토인코더로 이미지를 작은 잠재 공간으로 압축하고 그 안에서 확산을 수행하는 잠재 확산 모델(LDM)을 제안했다. 지각적으로 중요하지 않은 세부는 오토인코더가 처리하고 확산 모델은 의미 있는 구조에 집중하게 하는 분업이다. 텍스트 같은 조건은 교차 어텐션 층으로 주입한다.^[15]

LDM을 대규모로 학습한 것이 2022년 8월 공개된 스테이블 디퓨전이다. 스태빌리티 AI는 이를 상업적 이용도 허용하는 CreativeML OpenRAIL-M 라이선스로 공개했고, 약 6.9GB VRAM에서 돌아간다고 밝혔다.^[16] v1.4 모델 카드에 따르면 오토인코더는 이미지를 가로세로 8분의 1, 4채널 잠재 표현으로 줄이고, 텍스트는 CLIP ViT-L/14 텍스트 인코더로 부호화하며, LAION-2B(영어) 데이터로 학습했다.^[17] 가중치가 공개되어 개인 GPU에서 돌릴 수 있게 되면서 이미지 생성 AI가 대중화되었다. 잠재 공간을 만드는 오토인코더의 역할은 변분 오토인코더 문서 참고.

신경망 백본

시기	백본	특징	예
2020~2022	U-Net	해상도를 줄였다 늘리는 합성곱 구조에 스킵 연결과 셀프 어텐션. 시간 t는 임베딩으로 주입	DDPM, ADM, 스테이블 디퓨전 1·2
2022~	확산 트랜스포머(DiT)	잠재 이미지를 패치로 잘라 토큰으로 만들고 트랜스포머로 처리	DiT-XL/2 ImageNet 256×256 FID 2.27^[18]
2024~	멀티모달 확산 트랜스포머(MMDiT)	텍스트 토큰과 이미지 토큰에 별도 가중치를 두고 양방향으로 정보 교환	스테이블 디퓨전 3^[19]

DiT 논문은 트랜스포머의 깊이·폭을 늘리거나 토큰 수를 늘려 연산량(Gflops)이 커질수록 FID가 꾸준히 낮아진다는 것을 보였다.^[18] OpenAI는 2024년 2월 영상 생성 모델 소라를 발표하며, 영상의 잠재 표현을 시공간 패치로 잘라 처리하는 확산 트랜스포머라고 설명했다.^[20]

플로 매칭과 정류 흐름

플로 매칭(Flow Matching)은 잡음 분포에서 데이터 분포로 표본을 실어 나르는 속도장(vector field)을 직접 회귀로 학습하는 방법이다. 2022년 립먼(Yaron Lipman) 등이 연속 정규화 흐름(CNF)을 시뮬레이션 없이 학습하는 방법으로 제안했으며, 확산 경로는 그 특수한 경우로 포함된다. 최적 수송(OT) 보간처럼 확산이 아닌 경로도 쓸 수 있고, 이런 경로는 학습과 샘플링이 더 빠르다고 보고했다.^[21] 같은 해 류싱차오(Xingchao Liu) 등의 정류 흐름(Rectified Flow)은 잡음 점과 데이터 점을 직선으로 잇는 경로를 따르도록 ODE를 학습해, 거친 시간 간격으로도 정확히 따라갈 수 있게 했다.^[22]

가장 단순한 형태에서 $x_{t} = (1 - t) x_{0} + t ϵ$ 로 데이터와 잡음을 직선 보간하고, 신경망 $v_{θ} (x_{t}, t)$ 가 속도 $ϵ - x_{0}$ 를 맞히도록 학습한다. 생성은 이 속도장을 따라 ODE를 거꾸로 적분하는 것이다. 가우시안 경로를 쓰면 확산 모델과 수학적으로 매우 가깝기 때문에 둘을 같은 틀로 다루는 경우가 많다. 스테이블 디퓨전 3은 정류 흐름을 대규모 텍스트-이미지 생성에 적용해 기존 확산 정식화보다 좋은 성능을 보고했다.^[19]

텍스트 확산 언어 모델

이미지는 연속값이라 가우시안 잡음이 자연스럽지만 텍스트는 이산 토큰이다. 그래서 텍스트 확산은 잡음 대신 토큰을 무작위로 바꾸거나 가리는(마스킹) 이산 순방향 과정을 쓴다.

2021년 D3PM은 이산 상태 공간의 확산을 일반화하면서, 토큰을 [MASK] 같은 흡수 상태로 바꾸는 과정이 자기회귀 모델·마스크 언어 모델과 연결된다는 것을 보였다.^[23]
2023년 SEDD는 점수 매칭을 이산 공간으로 확장한 손실로, 비슷한 규모에서 GPT-2를 앞서는 언어 모델링 성능을 보고했다.^[24]
2025년 2월 LLaDA는 마스킹 확산으로 처음부터 학습한 80억 매개변수 모델로, 같은 연구진이 만든 자기회귀 기준 모델과 비슷한 성능을 내고 문맥 내 학습에서 LLaMA3 8B와 경쟁할 만하다고 보고했다.^[25]
2025년 구글 딥마인드는 실험 모델 제미나이 디퓨전(Gemini Diffusion)을 5월 공개했다. 평균 샘플링 속도가 초당 1,479토큰이라고 밝혔다.^[26]^[27]
2025년 6월 인셉션 랩스(Inception Labs)는 상용 확산 LLM 머큐리(Mercury)의 기술 보고서에서 코딩 모델 Mercury Coder Mini가 H100에서 초당 1,109토큰을 낸다고 밝혔다.^[28]

자기회귀 모델이 토큰을 하나씩 순서대로 만드는 데 비해, 확산 언어 모델(dLLM)은 여러 토큰을 병렬로 채우고 앞서 만든 부분을 고칠 수도 있다. 빠른 생성 속도와 중간 삽입(infilling)이 장점으로 꼽히지만, 주요 대형 언어 모델은 여전히 자기회귀 방식이다.

응용

분야	내용	예
텍스트-이미지 생성	문장 조건으로 이미지 생성	DALL-E 2^[29], 이매진^[30], 스테이블 디퓨전
이미지 편집·복원	인페인팅(가린 부분 채우기), 초해상도, 채색. 점수 기반 모델은 이런 역문제를 별도 학습 없이 풀 수 있음^[4]	GLIDE 인페인팅^[14]
영상 생성	시공간 패치를 다루는 확산 트랜스포머	소라^[20]
오디오	멜 스펙트로그램 조건 보코더, 무조건 파형 생성	DiffWave(웨이브넷 보코더와 MOS 4.44 대 4.43으로 대등)^[31]
로봇 제어	로봇의 행동 시퀀스를 확산으로 생성	Diffusion Policy(4개 벤치마크 12개 과제에서 기존 방법 대비 평균 46.9% 향상)^[32]
언어	텍스트 확산 언어 모델	LLaDA, 제미나이 디퓨전, 머큐리

DALL-E 2는 CLIP 이미지 임베딩을 만드는 사전(prior)과 그 임베딩에서 이미지를 만드는 디코더 모두에 확산을 썼고^[29], 이매진은 텍스트 인코더로 T5 같은 대형 언어 모델을 쓰고 키우는 것이 확산 모델 자체를 키우는 것보다 효과가 크다는 것을 보였다.^[30] 반면 최초의 DALL-E(2021)는 확산 모델이 아니라 이미지 토큰을 자기회귀로 생성하는 트랜스포머였다.^[33]

장단점

장점
- 손실이 단순한 회귀라 학습이 안정적이고 규모를 키우기 쉽다.
- 데이터 분포의 여러 모드를 고르게 덮어 다양성이 높고, GAN의 모드 붕괴가 잘 일어나지 않는다.^[12]
- 가능도의 하한을 계산할 수 있고, 확률 흐름 ODE로 정확한 가능도도 구할 수 있다.^[4]
- 가이던스로 품질과 다양성 사이를 추론 시점에 조절할 수 있고, 인페인팅 같은 편집을 추가 학습 없이 할 수 있다.
단점
- 반복 샘플링이라 GAN·VAE보다 생성이 느리다. 증류와 고차 해법으로 1~수십 단계까지 줄였지만 여전히 순전파 한 번보다는 비싸다.
- 학습과 추론 모두 연산 비용이 크다.
- 중간 상태 $x_{t}$ 는 잡음 섞인 이미지라 VAE·GAN의 잠재 벡터처럼 의미를 해석하거나 조작하기 어렵다. DDIM의 결정론적 역변환으로 이 문제를 일부 완화할 수 있다.^[5]

다른 생성 모델과의 항목별 비교는 GAN 문서의 비교표 참고.

역사

연도	사건
2015	솔딕스타인 등, 비평형 열역학에서 착안한 확산 확률 모델 제안^[1]
2019	송양·에르몬, 잡음 조건 점수 네트워크(NCSN)와 담금질 랑주뱅 샘플링^[3]
2020	6월 DDPM^[2], 9월 DiffWave, 10월 DDIM, 11월 SDE 통합 이론
2021	개선 DDPM, "확산 모델이 GAN을 이긴다"와 분류기 가이던스, D3PM, 12월 GLIDE와 잠재 확산 모델
2022	4월 DALL-E 2, 5월 이매진, 7월 분류기 없는 가이던스 논문, 8월 스테이블 디퓨전 공개, 플로 매칭·정류 흐름, DiT
2023	일관성 모델, Diffusion Policy, 적대적 확산 증류
2024	2월 소라 발표, 3월 스테이블 디퓨전 3 논문(정류 흐름 + MMDiT)
2025	2월 LLaDA, 5월 제미나이 디퓨전, 6월 머큐리 등 텍스트 확산 언어 모델 등장

같이 보기

각주

↑ ^1.0 ^1.1 Jascha Sohl-Dickstein 외, 〈Deep Unsupervised Learning using Nonequilibrium Thermodynamics〉, ICML 2015. arXiv:1503.03585
↑ ^2.0 ^2.1 ^2.2 ^2.3 ^2.4 ^2.5 Jonathan Ho, Ajay Jain, Pieter Abbeel, 〈Denoising Diffusion Probabilistic Models〉, NeurIPS 2020. arXiv:2006.11239
↑ ^3.0 ^3.1 Yang Song, Stefano Ermon, 〈Generative Modeling by Estimating Gradients of the Data Distribution〉, NeurIPS 2019. arXiv:1907.05600
↑ ^4.0 ^4.1 ^4.2 Yang Song 외, 〈Score-Based Generative Modeling through Stochastic Differential Equations〉, ICLR 2021. arXiv:2011.13456
↑ ^5.0 ^5.1 Jiaming Song, Chenlin Meng, Stefano Ermon, 〈Denoising Diffusion Implicit Models〉, ICLR 2021. arXiv:2010.02502
↑ Alex Nichol, Prafulla Dhariwal, 〈Improved Denoising Diffusion Probabilistic Models〉, ICML 2021. arXiv:2102.09672
↑ Cheng Lu 외, 〈DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps〉, NeurIPS 2022. arXiv:2206.00927
↑ Tero Karras 외, 〈Elucidating the Design Space of Diffusion-Based Generative Models〉, NeurIPS 2022. arXiv:2206.00364
↑ Tim Salimans, Jonathan Ho, 〈Progressive Distillation for Fast Sampling of Diffusion Models〉, ICLR 2022. arXiv:2202.00512
↑ Yang Song 외, 〈Consistency Models〉, ICML 2023. arXiv:2303.01469
↑ Axel Sauer 외, 〈Adversarial Diffusion Distillation〉, 2023. arXiv:2311.17042
↑ ^12.0 ^12.1 Prafulla Dhariwal, Alex Nichol, 〈Diffusion Models Beat GANs on Image Synthesis〉, NeurIPS 2021. arXiv:2105.05233
↑ Jonathan Ho, Tim Salimans, 〈Classifier-Free Diffusion Guidance〉, 2022. arXiv:2207.12598
↑ ^14.0 ^14.1 Alex Nichol 외, 〈GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models〉, ICML 2022. arXiv:2112.10741
↑ Robin Rombach 외, 〈High-Resolution Image Synthesis with Latent Diffusion Models〉, CVPR 2022. arXiv:2112.10752
↑ Stability AI, 〈Stable Diffusion Public Release〉, 2022. stability.ai
↑ CompVis, 〈stable-diffusion-v1-4 모델 카드〉, Hugging Face. huggingface.co
↑ ^18.0 ^18.1 William Peebles, Saining Xie, 〈Scalable Diffusion Models with Transformers〉, ICCV 2023. arXiv:2212.09748
↑ ^19.0 ^19.1 Patrick Esser 외, 〈Scaling Rectified Flow Transformers for High-Resolution Image Synthesis〉, ICML 2024. arXiv:2403.03206
↑ ^20.0 ^20.1 OpenAI, 〈Video generation models as world simulators〉, 2024년 2월 15일. openai.com
↑ Yaron Lipman 외, 〈Flow Matching for Generative Modeling〉, ICLR 2023. arXiv:2210.02747
↑ Xingchao Liu, Chengyue Gong, Qiang Liu, 〈Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow〉, ICLR 2023. arXiv:2209.03003
↑ Jacob Austin 외, 〈Structured Denoising Diffusion Models in Discrete State-Spaces〉, NeurIPS 2021. arXiv:2107.03006
↑ Aaron Lou, Chenlin Meng, Stefano Ermon, 〈Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution〉, ICML 2024. arXiv:2310.16834
↑ Shen Nie 외, 〈Large Language Diffusion Models〉, 2025. arXiv:2502.09992
↑ Google DeepMind, 〈Gemini Diffusion〉. deepmind.google
↑ Google, 〈Gemini Diffusion is our new experimental research model〉, 2025년 5월 20일. blog.google
↑ Inception Labs 외, 〈Mercury: Ultra-Fast Language Models Based on Diffusion〉, 2025. arXiv:2506.17298
↑ ^29.0 ^29.1 Aditya Ramesh 외, 〈Hierarchical Text-Conditional Image Generation with CLIP Latents〉, 2022. arXiv:2204.06125
↑ ^30.0 ^30.1 Chitwan Saharia 외, 〈Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding〉, NeurIPS 2022. arXiv:2205.11487
↑ Zhifeng Kong 외, 〈DiffWave: A Versatile Diffusion Model for Audio Synthesis〉, ICLR 2021. arXiv:2009.09761
↑ Cheng Chi 외, 〈Diffusion Policy: Visuomotor Policy Learning via Action Diffusion〉, RSS 2023. arXiv:2303.04137
↑ Aditya Ramesh 외, 〈Zero-Shot Text-to-Image Generation〉, ICML 2021. arXiv:2102.12092

참고 문헌

[sohl-1] 1.0 ^1.1 Jascha Sohl-Dickstein 외, 〈Deep Unsupervised Learning using Nonequilibrium Thermodynamics〉, ICML 2015. arXiv:1503.03585

[ddpm-2] 2.0 ^2.1 ^2.2 ^2.3 ^2.4 ^2.5 Jonathan Ho, Ajay Jain, Pieter Abbeel, 〈Denoising Diffusion Probabilistic Models〉, NeurIPS 2020. arXiv:2006.11239

[ncsn-3] 3.0 ^3.1 Yang Song, Stefano Ermon, 〈Generative Modeling by Estimating Gradients of the Data Distribution〉, NeurIPS 2019. arXiv:1907.05600

[sde-4] 4.0 ^4.1 ^4.2 Yang Song 외, 〈Score-Based Generative Modeling through Stochastic Differential Equations〉, ICLR 2021. arXiv:2011.13456

[ddim-5] 5.0 ^5.1 Jiaming Song, Chenlin Meng, Stefano Ermon, 〈Denoising Diffusion Implicit Models〉, ICLR 2021. arXiv:2010.02502

[iddpm-6] Alex Nichol, Prafulla Dhariwal, 〈Improved Denoising Diffusion Probabilistic Models〉, ICML 2021. arXiv:2102.09672

[dpmsolver-7] Cheng Lu 외, 〈DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps〉, NeurIPS 2022. arXiv:2206.00927

[edm-8] Tero Karras 외, 〈Elucidating the Design Space of Diffusion-Based Generative Models〉, NeurIPS 2022. arXiv:2206.00364

[progdist-9] Tim Salimans, Jonathan Ho, 〈Progressive Distillation for Fast Sampling of Diffusion Models〉, ICLR 2022. arXiv:2202.00512

[consistency-10] Yang Song 외, 〈Consistency Models〉, ICML 2023. arXiv:2303.01469

[add-11] Axel Sauer 외, 〈Adversarial Diffusion Distillation〉, 2023. arXiv:2311.17042

[beatgans-12] 12.0 ^12.1 Prafulla Dhariwal, Alex Nichol, 〈Diffusion Models Beat GANs on Image Synthesis〉, NeurIPS 2021. arXiv:2105.05233

[cfg-13] Jonathan Ho, Tim Salimans, 〈Classifier-Free Diffusion Guidance〉, 2022. arXiv:2207.12598

[glide-14] 14.0 ^14.1 Alex Nichol 외, 〈GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models〉, ICML 2022. arXiv:2112.10741

[ldm-15] Robin Rombach 외, 〈High-Resolution Image Synthesis with Latent Diffusion Models〉, CVPR 2022. arXiv:2112.10752

[sdrelease-16] Stability AI, 〈Stable Diffusion Public Release〉, 2022. stability.ai

[sdcard-17] CompVis, 〈stable-diffusion-v1-4 모델 카드〉, Hugging Face. huggingface.co

[dit-18] 18.0 ^18.1 William Peebles, Saining Xie, 〈Scalable Diffusion Models with Transformers〉, ICCV 2023. arXiv:2212.09748

[sd3-19] 19.0 ^19.1 Patrick Esser 외, 〈Scaling Rectified Flow Transformers for High-Resolution Image Synthesis〉, ICML 2024. arXiv:2403.03206

[sora-20] 20.0 ^20.1 OpenAI, 〈Video generation models as world simulators〉, 2024년 2월 15일. openai.com

[fm-21] Yaron Lipman 외, 〈Flow Matching for Generative Modeling〉, ICLR 2023. arXiv:2210.02747

[rf-22] Xingchao Liu, Chengyue Gong, Qiang Liu, 〈Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow〉, ICLR 2023. arXiv:2209.03003

[d3pm-23] Jacob Austin 외, 〈Structured Denoising Diffusion Models in Discrete State-Spaces〉, NeurIPS 2021. arXiv:2107.03006

[sedd-24] Aaron Lou, Chenlin Meng, Stefano Ermon, 〈Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution〉, ICML 2024. arXiv:2310.16834

[llada-25] Shen Nie 외, 〈Large Language Diffusion Models〉, 2025. arXiv:2502.09992

[gemdiff-26] Google DeepMind, 〈Gemini Diffusion〉. deepmind.google

[gemdiffblog-27] Google, 〈Gemini Diffusion is our new experimental research model〉, 2025년 5월 20일. blog.google

[mercury-28] Inception Labs 외, 〈Mercury: Ultra-Fast Language Models Based on Diffusion〉, 2025. arXiv:2506.17298

[dalle2-29] 29.0 ^29.1 Aditya Ramesh 외, 〈Hierarchical Text-Conditional Image Generation with CLIP Latents〉, 2022. arXiv:2204.06125

[imagen-30] 30.0 ^30.1 Chitwan Saharia 외, 〈Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding〉, NeurIPS 2022. arXiv:2205.11487

[diffwave-31] Zhifeng Kong 외, 〈DiffWave: A Versatile Diffusion Model for Audio Synthesis〉, ICLR 2021. arXiv:2009.09761

[dpolicy-32] Cheng Chi 외, 〈Diffusion Policy: Visuomotor Policy Learning via Action Diffusion〉, RSS 2023. arXiv:2303.04137

[dalle1-33] Aditya Ramesh 외, 〈Zero-Shot Text-to-Image Generation〉, ICML 2021. arXiv:2102.12092

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]