[The Principles of Diffusion Models] 이해하기 - ( Part B ) CH 2. DDPM (with VAE )

📑 [The Principles of Diffusion Models] 시리즈

• 1️⃣ ( Part A ) 이해하기
• 2️⃣ ( Part B ) CH 2. VAE
• 3️⃣ ( Part B ) CH 2. DDPM (with VAE)

드디어 길고긴 VAE 에 대한 내용을 마치고 DDPM 으로 넘어왔다. 

사실 DDPM 에 대한 매우 좋은 설명들이 시중에 매우 많기 때문에 수식같은 부분은 다른 글들을 참고하면 좋을 것 같다. 수식도 매우 중요한 포인트 이지만 본 논문에서는 DDPM 이 무엇인지에 대해서 더 깊게 이해해보려고 한다. 

 

나도 매우 예전에 정리를 좀 해둔게 있는데 최대한 시각적으로 이해를 해보려고 시도했던 때였던 것 같다. 

( 정리가 거의 안되어 있지만.. ) 그래도 혹시나 해서 참고해본다! 

https://www.notion.so/Background-of-Diffusion-28df1793501b801587b7ca032c7c094f?source=copy_link

자 그럼 다시 논문을 읽어보도록 하자. 

 

 

** 주의 **

이 문서에서는 DDPM을 VAE/HVAE와 같은 “variational 관점”으로 설명하면서,

• **Forward(고정, encoder 역할)**도 “전이 커널”이니까 p(xi∣xi−1)로 표기
• **Reverse(학습, decoder 역할)**는 파라미터가 있으니 pϕ(xi−1∣xi)로 표기

즉, 원 논문의 “q=forward, pθ = reverse ” 관례를 그대로 따르지 않고, “forward도 p”로 적어버린 겁니다(대신 pϕ가 붙은지로 학습/비학습을 구분).

PDF 본문에서도 forward를 Fixed Encoder로, reverse를 Learnable Decoder로 소개하면서

• forward: p(xi∣xi−1)
• reverse(학습): pϕ(xi−1∣xi)

( 저도 읽다가 중간에 당황했었는데 , 혹시나 읽으시는 분들은 혼동을 미리 방지했으면 좋겠습니다. ) 

 

 

cf . https://www.youtube.com/watch?v=_JQSMhqXw-4&t=1413s

 

 

2.2 Variational Perspective : DDPM 

DDPM 도 결국 VAE 라고 할 수 있다. ( variational framework  안에서 이해해보자. ) 

VAE : 인코더 , 디코더 존재

HVAE : 여러층의 latent 존재

 

DDPM : 

- 겉으로는 noise 를 조정하는 모델처럼 보이지만 

- 앞으로 노이즈를 넣는 과정 ( = 인코더 )

- 거꾸로 노이즈를 제거하는 과정 ( = 디코더 ) 

  ㄴ> 이렇게 생각하면다면 latent 가 연속된 시퀀스 (x1,,,, xT) 인 특수한 VAE 처럼 볼 수 있다. 

DDPM 에는 두가지 프로세스가 존재한다. 

 

Forward pass (Fixed Encoder)

데이터에 noise 를 추가시켜 순수한 가우시안 노이즈로 만드는, 고정된 확률 과정이다. 

 

원본 데이터 Xo ~ p_data(x) 

각 단계의 trasition p(xi|xi-1) 은 가우시안 노이즈를 더하는 커널이다. 

이걸 계속 반복해서 최종 x_T는 거의 N(0,I) 와 같은 가우시안 분포에 수렴하게 된다. 

 

이전 포스팅에서도 언급했지만 forward 과정은 학습하지 않는다. 

vae의 인코더 처럼 파라미터를 가지고 학습하는 것이 아니라 미리 고정한 가우시안 커널이다. 

 

Reverse Denoising Process ( Learnable Decoder )

반대로 노이즈에서 시작해서 원래 데이터로 복원하는 과정을 학습하는게 DDPM 의 생성 모델이다. 

 

여기서  P 는 신경망으로 파라미터화 된 분포이다. 

현재 noise 이미지 xi 를 입력으로 받아 -> 이전 단계 x_(i-1) 의 평균/분산을 예측하는 형태이다. 

( xi 보다 xi-1 이 원본 이미지에 가까운 것이다 ( 원본이미지는 x_0 으로 표기한다 )) 

 

이렇게 되면 각 스텝은 살짝 덜 noise 한 이미지를 예측하는 비교적 쉬운 문제에 해당한다. 

vae 처럼 z->x 완전 생성 하는게 아니라 noise 를 조금씩 제거한 버전을 추측하는 것이다.

그래서 각각 denoisining step 은 VAE 처럼 한 번에 전체 샘플을 생성하는 것 보다 훨씬 다루기 쉽다고 서술되어 있다. 

 

 

개념은 어느정도 이해 됐으리라 생각이 된다. 이제 한번 둘을 수식적으로 다뤄보자. 

 

 

2.2.1 Forward Process (Fixed Encoder)

 

기본 개념은 위에서 설명했으니 생략하고 수식을 먼저 보면 

 

Fixed Gaussian Transitions.

결국 (평균/분산) 이 분포에서 하나를 뽑는 sampling 과정

forward step 을 다음과 같은 함수로 정의할 수 있다. 

βi∈(0,1): step i에서 넣는 노이즈의 크기 

αi:=1−βi: 이전 상태를 얼마나 남길지(스케일)

이전 상태를 얼마나 남길지

 

 

식을 다른 form 으로 써보면 ( 샘플링식 )  다음과 같다 ( 위와 완전 동일한 이야기 ) 

위에서 설명한 식과 동일하다. ( 결국 샘플링을 하나 해야한다. )+

결국 x i-1 라는 이전 step 이미지에 α 만큼 남기고 베타만큼 새로 노이즈를 집어 넣는 것이다. 정리하면 

 

 

• αi xi−1: 이전 이미지의 정보를 조금 줄인 것
• βiϵi: 새로 집어넣는 가우시안 노이즈

라고 이해하면 되겠다. 즉  각 step 에서 이전상태 축소 + 노이즈 추가 하는 간단한 연산이다. 

 

 

 

Perturbation Kernel and Prior Distribution.

 

재귀적으로 위 커널을 반복하면 우리는 다음과 같은 수식을 얻을 수 있다. 

 

조금 더 설명해보자면 

i 번 step 을 갔을때 는 xi 에서 원래 데이터 x0( 원본 이미지) 를  ( αi ) 만큼 남기고 , 나머지를 가우시안 노이즈로 채운 상태 

라고 볼 수 있겠다. 샘플링 수식은 아래와 같다

여기서 중요한점 : 

- 중간 step 을 모두 거칠 필요 없이 , X0 ( 원본 이미지 ) 만 있으면 바로 임의의 i 시점의 noisy 버전을 샘플링 할 수 있다. 

이게 실제 DDPM 구현에서 매우 중요하다. 

학습시에 time step i 를 랜덤 샘플한뒤 -> 한번에 xo->xi 로 점프한뒤 -> xi 에 대해 역으로 다시 깨끗하게 만드는 방향을 학습한다. 

 

 

왜 마지막에는 N(0,I)가 되는가? 더 살펴보도록하자. 

 

노이즈 스케줄 { βi } 를 증가하는 수열로 잡고 , step 수 L 을 매우 크게 하면 (위에 수식에서 i 를 무한대라고 가정해보면 )

평균은 자연스럽게 0에 수렴할 것이고 ( 1보다 작은수를 계속 곱하니까 ! ) 

분산은 I 에 수렴할 것이다. ! 

여기서 하나 중요한 점은ㄴ

- 이 분포는 더이상 xo 에 의존하지 않는다는 점이다.

이때 상태가 완전한 노이즈라 "어디서 왔는지 (xo)" 의 정보가 끼어들 틈이 없다. 

 

그래서 DDPM  에서는 

이를 prior(생성 시작점) 으로 선택한다. 

그래서 생성할때는 먼저 Xl ( 완전한 noise ) N( 0 , I ) 에서 샘플링하고 , 

그다음 역방향 체인으로 만들어 낸다. 

 

한번 정리를 해보면 이 3가지가 forward 의 전부라고 할 수 있겠다. 

 

 

 

 

 

 

 

 

2.2.2 Reverse Denoising Process (Learnable Decoder)

 

직감 했겠지만 decoder 부분이 조금 더 어렵다 ㅎㅎ; 그래도 내 생각에 vae 를 완전히 이해했으면 이쪽 부분역시 무난히 넘길 수 있을 것이라 생각한다. 

 

 

Reverse Denoising Process 가 뭘 하는것일까 ? 

우리가 forward 과정에서 xo -> 노이즈 -> ... -> xl 과 같이 원본 xo 를 점점 노이즈로 바꿔서 마지막에는 순수한 노이즈 상태 (prior) 로 만들었다. reverse 과정은 이걸 반대로 하는 것이다. 

- 시작점 : Xl ( pure noise )

- 목표 : Xl -> Xl-1 -> ... -> Xo 를 거쳐 진짜 같은 샘플로 변환

 

 

 

 

 

그렇다면 어떻게 p(X_i-1 | X_i ) 를 알 수있을까 ? 에 대한 질문을 던진다. 

일단 직관적으로 생각했을때 뭔가 사실 답이 정확히 떠오르지는 않는다. 이미지에서 노이즈가 없어진걸 어떻게 예측하지 ? 너무 막막하다. 이렇게 막막할때는 보통 데이터 학습을 통해서 해결을 할 수 있을텐데 .. 라는 생각이 들었고 이부분을 학습시키면 되지 않나? 라는 생각이 들 것이다. 

 

일단 먼저 왜 직접적인 계산이 되지 않는지에 대해서 먼저 알아보자. 

 

Overview: Modeling and Training Objective

여기서

P(xi | xi-1 ) : forward transition -> 이건 우리가 정해준 Gaussian 이니까 일단 오케이

 

문제는 pi-1(xi) , pi(xi)  는 아래수식처럼 

전체 데이터 분포 ( p_data(xo) 에 대해 적분한 형태라 알 수 없다 ) 

사실 매우 익숙한 형태라고 감이 올 것이다. ( 맨 처음 블로그글에 자세히 서술되어 있다. ) - 사실 좀 뿌듯하다. 

잘 안된다는게 이해가 될 것이다. 

그래서 p(xi-1|xi) 자체가 intractable 한 형태라서 결국 직접 KL 을 계산하기 어렵다. 

 

그래서 DDPM은 “그럼 p(xt−1∣xt)를 직접 계산하지 말고, 그것을 근사하는 신경망 전이모델 pϕ(xt−1∣xt)를 학습하자”로 갑니다 

조금 더 자세히 살펴보자. 

 

 

Overcoming Intractability with Conditioning.

우리는 tractable 하게 만들기 위해서 " 만약 우리가 원본 이미지 x 를 알고 있으면 어떨까 ? " 를 가정한다. 

( 진짜 멋진 아이디어 인 것 같다. )

 

“intractable 한  p(xi−1∣xi) 대신, 깨끗한 데이터 x (=x0​)에 조건을 건
tractable 한 p(xi−1∣xi, x) 를 보자.” 

( 훈련할떄는 x ( clean sample 을 알고있으니까 ! )) 

 

 

그래서 이를 식으로 나타내면 

 

다음과 같은 수식으로 나타낼 수 있다

결국 그러면 이렇게 정리가 된다. (  아래서 더 자세하게 알아보자 ) 

 

 

기본 베이즈 정리에서 

조건 c 가 추가된 베이즈 정리의 식은 다음과 같다. ( b,c 가 모두 일어났을때 a 일 확률이라고 이해하면 됨 . ) 

 

그러면 위 수식은 왜 tractable 인가 ? 

 

 

1. Markov property 

-> forward chain 은 바로 전 단계 만 보면 되지 , 원래 원본 x 를 볼 필요가 없다. 

( 우리는 원래 forward 시에 이전 단계에 그림만 필요했지 , 원본은 필요했던적이 없다. ) 

 

2. 전부 Gaussian 

 

P(xi | xi-1 ) 은 Gaussian 이다.

p(xi−1∣x)와 p(xi∣x)도 우리가 앞에서 본 것처럼

꼴이기 때문에 Gaussian 이다. 

 

" 즉 , Gaussian 들의 조합에서 나오는 조건부분포도 Gaussian " 

이라는 사실 덕분에 P(xi-1 | xi ) 도 역시 Gaussian 이고, closed form으로 계산이 가능해지는 것이다. 

 

즉, 직접 못 구하던 p(xi−1∣xi) 대신, 

원본이미지 (x) 를 조건으로 건  p (xi-1 | xi, x ) 를 사용하면 수학적으로 훨씬 다루기 쉬워진다. 

 

 

우리는 이렇게 식을 구성하면 

훈련에서는 데이터x 가 주어질 것이고 , forward 로 xi가 샘플링이 가능합니다. 그래서 매 스텝마다 Teacher 분포인 

 

를 닫힌형 가우시안으로 계산할 수 있습니다. 이를 계산하면 결국 학습 모델 P_phi(xi-1|xi) 가 이를 따라가도록 맞춥니다. 

 

x (clean)
  |
  |  forward (known Gaussian)
  v
x_{i-1} ----> x_i
    p(x_i|x_{i-1})  (Gaussian)

정답 posterior(teacher):
p(x_{i-1} | x_i, x)  = closed-form Gaussian  ✅

모델이 맞출 대상:
p_φ(x_{i-1} | x_i)   (learnable)             ✅

 

짧게 정리해보면 다음과 같습니다 ( with gpt ) 

 

이렇게 하면 생성때는 x 가 없으니까 teacher posterior 는 못만들고 , 학습된 p_phi 로 denoising 을 하면서 생성합니다. 

 

 

 

< 2.2.1 정리 및 증명 > 

다음으로 넘어가기전에 짧게 정리하고 , 수식적으로 증명을 유도해보는 과정을 확인해보도록 하겠습니다. 

 

1) 정리 ( 2.2.1 ) 요약 ( 쉽게 이해를 한번.. )

 

원래 하고 싶었던 목표는 "marginal reverse kernel" 의 KL 최소화 : 

- 상황 : 모델 p_phi 에게 흐릿한 이미지 (xi) 만 주고 , 바로 직전 이미지(xi-1) 이 어떤 모습이였는지 맞추도록 시킴 

- 이상적인 정답 (teacher , p(xi-1|xi) ) : 여기서 정답지 역할을 하는 p(xi-1| xi) 는 계산이 불가능 ( p_data 라는게 필요한데 이건 우주에 있는 모든 이미지의 통계를 알아야지.. 결국 절대 불가능한 영역임 . ) 

-> tractable 한게 문제다. 

 

 

 

- 상황 : 훈련과정에서는 원본이미지 (x) 를 가지고 있다. 

- 현실적인 정답 ( p(xi-1 | xi ) ) : 이거 원래 강아지 이미지(x) 임. 강아지 이미지라고 가정했을때 , 바로 직전 단계는 수학적으로 이것이다. 라고 알려준다. 

-> 원본(x) 를 알고있으면 , 직전 단계로 가는 확률은 가우시안 수식으로 매우 쉽게 계산할 수 있다. 

 

개쩌는 포인트 : "결과가 같다"

실전에서 원본 x 를 모르는데 , 훈련할때만 x 를 보여주는(conditioning) 가르치면 나중에 원본(x) 가 없어도 잘 푸는가 ? 

 

답은 yes 

데이터가 매우 많고 , 매우 많은 훈련을 반복한다. ( 특히 수많은 x 에 대해서 반복해서 가르친다 )

 

예를들어보자. 같은 모양의 noise 가 낀 xi 를 만났는데 , 어떨때는 강아지 또 어떨때는 고양이라고 가라고 한다 해보자. 

모델은 그럼 이 에러를 최소화 하기 위해서 결국  전체 확률 분포의 평균

 

 

2. Proof of Theorem ( 아직 미완 ) 

 

증명은 조금 하드하기 때문에 좀 따로 빼서 쓸까 한다. 

 

Section D.1.1  ( Supplementary Materials and Proofs ) 의 부분이다. 

 

좋다 이제 해석을 해가면서 이해를 좀 해보려고 한다.  

 

 

결국 증명하고자하는것은 다음과 같다. 

이걸 다시 우변으로 옮기면  

 

(여기서 C 는 PHI 와 무관함 , 미분하면 어차피 사라진다. ) 

즉 . 둘중에 어떤걸 최소화 해도 최적의 p_phi 는 동일하다.  

 

수식을 보고 LLM 이랑 대화를 하다보니까 다시 새로운 수식 느낌을 받아서 다시 작성한다. 

 

우리가 찾고자 하는 최적의 모델 파라미터 phi를 **"계곡의 가장 낮은 지점(바닥)을 찾는 것"**이라고 상상해 보세요.

좌변(Marignal KL )  : 땅바닥에 있는 계곡

우변 : 좌변 계곡 지형을 그대로 본떠서 , 높이 C 만큼 들어올린 계곡

결국 두 해발 고도 ( Loss 값 ) 은 다르다. 하지만 , 가장 낮은 지점의 위도와 경도 ( 최적의 파라미터 ) 는 정확히 일치한다. 

-> 실제로 미분을 해보면 C 라는 값은 없어지게 된다. 따라서 두 식의 기울이(gradient 값이 완벽히 일치한다 

 

그럼 상수 C 의 정체는 무엇일까 

 

라고 이해하면 될 것 같다. ( 고마워요 gemini.. )

--------------------------------------------------------------------------------------------------------------------------------------------------------

 

1) Conditional KL 기대값을 적분으로 전개 

자 다시 돌아가서 먼저 우변을 보자 ( conditional ) 

 

KL 정의를 넣으면 

 

 

 

 

 

결국 원본이미지(x) 를 알면 계산이 가능하게 됩니다. 

 

현재상태 xi 뿐만 아니라 맨 처음 원본이미지 x 를 알고있다면 , 직전단계 xi-1 이 무엇이었을지 확률적으로 계산 가능하게 됩니다. (closed form ) 

 

또한 이 분포가 놀랍게도 가우시안 형태를 띄게 됩니다. 

가우시안 형태이므로 -> 평균 , 분산만 알면 이 분포를 완전히 정의할 수 있게 됩니다. 

 

 

 

 

2.2.3 Modeling of Reverse Transition Kernel pϕ(xi−1|xi)

 

DDPM 은 각 스텝의 모델 역전을 가우시안으로 둡니다. 

 

• μϕ(xi,i): 신경망이 예측하는 평균(학습 대상)
• σ2(i): 스텝별 분산(보통 스케줄로 고정, 혹은 변형에서 학습하기도 함)

 

포인트는 여기서 모델이 (노이즈를 얼마나 줬는지 ) 를 예측한다기 보다 (xi 를 보고 xi-1 의 평균 ( 덜 노이즈한 방향 )) 을 예측하도록 설계되어 있다. 

 

 

학습 목표는 스텝별로 teacher 인 p(xi-1 | xi, xo ) 과 student pϕ(xi−1|xi) 를 가깝게 만드는 것이다.  (둘이 유사하도록 )

• E_q(xi|xo) 에서 xi 로 노이즈를 실제로 넣어 만든 샘플들에 대해 평균을 낸다. 
• KL 내부 : 정답 posterior p(xi-1|xi,xo) 와 모델 pϕ(xi−1|xi) 를 비교.

여기서 Theorem 2.2.1 이 하는 일은 결국 

원래 목표였던 p(xi-1 | xi ) 에 대해서 KL 을 직접 못하니까 conditional ( 학습시에는 원본 이미지x 를 가지고 있는 것을 ) 이용하여 이에 맞추어 학습을 하도록 하는 것이다. 

 

 

    (중요) 

만약에 KL 에서 두 분포가 모두 가우시안이면 , kl 이 closed-form 이 된다. 

따라서 두 가우시안 분포 사이의 KL Divergence 는 L2 Norm 에 비례하게 된다. 

따라서 복잡한 확률 계산이 회귀 문제로 바뀌게 되고 수식은 아래와 같다. 

 

 

 

 

나머지 ( 분산 관련 로그 / trace 항 ) 은 파라미터에 의존하지 않거나  분산을 고정하면 상수로 묶을수 있어서 C 가 생긴다. 

 

 

조금더 설명이 필요할 것 같아서 이부분은 llm 과 같이 정리를 했던걸 적어볼까  한다. 

 

( 가우시안 KL  https://simpling.tistory.com/33  )

 

1. 전제 조건 

정답 분포  p ( xi-1 | xi , xo ) 

평균 ( 수식으로 계산된 정답 ) 

분산 : 고정값 . 

 

예측분포 p_phi(xi-1 |  xi )   ( 우리가 훈련하는 파라미터 ) 

평균 : 모델이 예측한 값 

분산 : 고정된 값 ( 정답과 동일하다고 가정함 .) 

q = p(xi-1 ❘ xi,xo ) 임.

 

 

 

핵심은 두 분포의 분산이 같다고 가정하는 것이다.

폭이 같다면 , 두 산봉우리를 겹치게 하려면 중심만 이동하면 되기 때문이다. 

 

2. 수학적 치트키 (KL Divergence 공식)

 

 

 

 이렇게 두면 . ( 있는 그대로 대입하면 된다 ) 

 

 위에있는 수식 그대로 넣으면 다음과 같이 된다. 그러면 결국 

 이렇게 되는데 

 

 파라미터에 의존 하는 항은 오직 다음과 같이 구성이 된다 ( C 제외 ) 

 

매우 멋지면서도.. 어떻게 생각했나 싶다. 

 

 

 

 

 

cf. 

 ( Improved DDPM 류에서는 분산도 학습하는 경우가 있다고 한다 - 매우 궁금하네.. ) 

 

 

처럼 “평균 오차 항” + “분산 페널티(비율 + 로그)”가 같이 생깁니다.

 

1. 장점: likelihood/샘플 품질이 좋아질 여지가 있습니다
   특히 스텝별로 “어느 구간은 더 확실하게, 어느 구간은 더 불확실하게”를 학습해서 디테일/노이즈 처리에서 이득을 보는 경우가 있습니다.
2. 단점: 학습이 까다로워질 수 있습니다
   분산을 잘못 예측하면(너무 작게/크게) 그 스텝의 loss가 튀거나, 전체 샘플링이 불안정해질 수 있어서 보통은
   • 분산을 완전 자유롭게 두기보다,
   • “고정 분산 스케줄과 posterior 분산 사이에서만” 예측하게 하는 등
     범위를 제한하는 트릭을 씁니다(Improved DDPM류에서 흔함).

 --> 

OpenAI가 공개한 improved-diffusion 레포 

 

Guided diffusion류(분류기/조건 guidance)로 확장되는 출발점
“한 단계 역전이 + 스케줄 + (선택적) learned sigma” 같은 구성은 이후 변형/가이던스 계열로 자연스럽게 이어지기 때문에, 개념적으로는 많은 파생 작업의 기반에 깔려 있습니다(다만 이름을 “Improved DDPM”이라고 부르진 않을 수 있음).

 

더 흔한 건 그 논문에서 제안한 구성요소(특히 cosine schedule, learned sigma/learned_range, hybrid loss)가 여러 diffusion 파이프라인에 흡수돼 쓰이는 형태입니다 

 

 

음.. 자주 쓰이지는 않는듯.  딱봐도 학습하기 매우 까다로울것 같긴하다. (더 좋은 방법들로 적당히 처리하는 방향으로 업그레이드 된거 같다 ) 

 

 

 

2.2.8

그래서 최종 학습 목표는 데이터에 대해 평균을 내고 상수를 제거하는 것이다. 

xo ~ pdata 에 대해서 평균을 취하고 , 상수 c 는 필요 없으니까 버리면 위의 식처럼 변한다. 

 

그러면 결국 DDPM 이 스텝별로 가중된 MSE regression 로 학습을 할 수 있는 것이다. 

 

2.2.8 을 그대로 보면 네트워크 입력이 (xi , i ) 이고 출력은 m(xi,i) 라서 xi 에서 한단계 전 "평균" 을 복원하는 방향을 학습하는데, 

하지만 보통 ε (noise) 예측으로 바꿔 풉니다.  ( 이이갸이는 2.2.4 ) 에서 더 자세히 하도록 하려고 합니다. 

 

 

 

 

2.2.4 Practical Choices of Predictions and Loss 

그래서  " 왜 평균을 직접 맞추지 않고 노이즈를 맞추는게 같은 일인지 " 에 대해서 설명해보고자 합니다.  

 

 

1) forward  

DDPM forward 는 원본에 가우시안 노이즈를 섞는 과정이고 , 한번에 xi 를 아래와 같이 쓸 수있습니다. 

forward 수식

( 여기서 αˉi 는 누적 스케줄 ( 점점 작아져서 노이즈가 커짐 ) 이라고 보면 된다. )

그래서 위 수식이 의미하는건 

i​는 x0​에 노이즈 ϵ를 정해진 비율로 섞어 만든 것입니다

 

 

2) 왜 m-loss를 ε-loss로 바꿀 수 있나?

아까 2.2.8 에서 보았던 학습 목표는  

2.2.8

다음과 같았습니다.

 

그런데 μ(xi,x0,i) 를 xi 와 ε 로 다시 쓸 수있습니다.

 

위 forward 수식을 정리하면 이런 형태가 되는데

이를 μ(xi,x0,i) 에 대입하면 μ가 아래와 같이 됩니다. ( 어떻게 수식이 정리 되었는지는 나중에 설명 . 일단은 평균이 아래와 같이 정리 된다고 알고 있으면 된다.  ) 

 

(둘은 동치) 

 

여기서 ci 는 i 에 만 의존하는 스칼라 이므로 , 평균은 xi 에서 ε 방향으로 일정량 빼고 스케일링 하는 의미의 수식으로 이해하면 될 것 같습니다. 

 

그래서 이제 모델 평균을 파라미터화 하면

 

그래서 이전 loss 수식을 다시 써보면 

 

다음과 같은 꼴로 변하는데 이게 결국 평균을 직접 regression 하는 것과 ε  를 regression 하나 사실상 같은 최적의 해를 가지게 된다고 합니다. 

 

 

 

 

Simplified Loss with ϵ-Prediction.

 

아래는 실제 DDPM loss 입니다.

원래는 timestep 별 가중치가 있어야 정밀하지만 , 실무에서는 이런식으로 생략해서 사용한다고 합니다. ( 엄밀히 수식적으로는 원래 c(i) 라는 i 에 의존하는 가중치가 있어야 하지만 쓰지 않는 경우가 있음 -> 만약에 가중치가 있다면 이 가중치는 어떤 timestep 을 더 중요하게 생각하는지 / 없다면 아마도 모든 timestep 을 같은 중요도로 맞춘다고 보면 될 듯. ) 

( 여기서 c(i) 는 1/alpha_i 를 의미한다고 보면 됩니다. ) 

 

 

+ 추가 : 실험을 통해서 가중치를 1로 통일하는게 더 생성된 이미지의 품질이 좋다는 결과가 있다고 하네요.

 

 

이렇게 두면 장점이 여러가지 생기는데

1. 타깃 스케일이 일정해진다. 

- ϵ∼N(0,I) 이므로 모든 timestep 에서 타깃 분산이 1이 됩니다. 

- 원래 xo 자체를 타깃으로 두면 xi 에서 신호가 없어질 수도 있어서 회귀가 불안해지기 쉽지만 

ϵ 를 타깃으로 두면 스케일이 일정하니까 , 골고루 학습이 잘 됩니다. 

( 특히 , vanishing or exploding 하는 문제도 사라진다고 하네요 )

 

cf. 조금 더 이해를 쉽게 하기 위해서.. 

이쯤 되면 슬슬 앞에 내용이 기억이 희미해지기도 하고. 개인적으로 좀 더 직관적으로 의미를 가지고 싶어서 정리해본다. 

( gpt 와 함께 정리했다. ) 

 

 

1. xt 안에 노이즈의 총량이 커지는 것은 맞다. 

 (수식을 보면 루트 안에 들어가있는 것이 점점 커진다. )

 

2. 근데 loss 가 맞추는 정답은 "루트안" 이 아니라 ϵ 자체 이다. 

 

 

정답 ϵ 는 항상 N(0,I) 에서 뽑은 값이라 항상 분산(스케일) 이 항상 1이다. 

따라서 타깃(정답)의 크기는 t 에 따라서 커지지 않는다. 

 

그래서 스케일이 일정하다는게 입력 xt 의 스케일이 일정이 아니라 , 

정답으로 회귀하는 타깃 ϵ 이 일정하다는 말이다. 

 

 

-----------------------------------------------------------------------------------

그래서 내가 계속 헷갈렸던 부분이 이거다 ( 이쯤 되니까 좀 수식에 대해서 많이 흐려진거 같다. )

 

 

1. 도대체  ϵ  은 무엇인가?

 - 이미지랑 같은 shape 의 랜덤 텐서이다 ( C , H , W ) 

- 픽셀 / 채널 마다 ( 평균 0 , 분산 1 ) 인 가우시안 난수를 뽑아서 만든 것이다. 

( 중요: 이 $\epsilon$ 자체는 t가 1이든 1000이든 항상 똑같은 '강도'를 가진 랜덤 노이즈 덩어리입니다. (평균 0, 분산 1)  

 

 

 

그래서 어디 등장하는데 ? 

 

forward 에서 xt 만들때 직접 샘플링해서 섞는다. 

 

 

 이런식으로 학습한다고 함. 

 

 

 

 

Q. 잠깐만 근데 입실론을 학습시키는거 아니였나 ? 

A. “ϵ을 학습시킨다”는 말은 ϵ 자체를 바꾸거나 학습한다는 뜻이 아닙니다.
ϵ은 매번 우리가 랜덤으로 뽑는 표준정규 노이즈(정답지) 고, 학습되는 것은 신경망 ϵϕ 입니다.

 

-> 노이즈를 넣어 만든 xtt​를 보고, 그때 실제로 섞어 넣었던 노이즈 ϵ을 신경망이 맞추도록(회귀하도록) 학습한다.

 

 

 

 

 

 

 

 

Well.... 씁 여기까지 오니까 뭔가 더 직관이랑 멀어진 느낌 ? 왜 스텝마다 랜덤인데 , 그걸 왜 어떻게 예측하지 ? 

역시 LLM 의 도움을 받아서 조금 더 딥다이브 해봤다. 

 

1) “스텝마다 랜덤 ϵ인데, 그걸 왜 예측해?”

이게 좀 가장 받아드리기 어려웠다  (직관적으로) . 

수식으로 봤을때는 아 그렇구나.. 였지만 ( 특히 평균을 예측한다고 했을때는 ) 크게 위화감이 없었는데 , 

랜덤 앱실론을 예측한다고하니까 뭔가 어색하다 매우. 

 

 

2) 왜 하필 ϵ을 맞추게 하냐? “지우려면 뭐가 얼룩인지 알아야 해서”

목표는 xt_t​에서 노이즈를 조금 덜어 x_t−1로 가는 것(더 깨끗해지는 것)입니다.

노이즈 성분이 σ이니까,

• “노이즈 패턴이 어디에 어떻게 들어갔는지(ϵ)”를 알면
• 그걸 빼서 깨끗하게 만들 수 있습니다.

즉 모델은 매 스텝마다 이렇게 행동하는 “지우개”가 됩니다:

입력: 더러운 이미지 xt​
출력: “여기가 더러움(노이즈)이다”라는 패턴 ϵ

 

 

2) “랜덤인데 왜 맞춰?”에 대한 답

랜덤이니까 맞출 수 없지 않냐가 아니라,

“내가 방금 섞어 넣은 잡음이 뭐였는지”를
결과물 x​를 보고 되짚어 보는 것(추정) 입니다.

비유:

• 내가 종이에 랜덤한 낙서(ϵ) 를 하고
• 그 위에 그림을 덮어써서 xt​를 만들었으면,
• xt​를 자세히 보면 낙서 흔적이 보입니다.
• 모델은 그 “낙서 흔적”을 보고 낙서가 대충 어떻게 생겼는지 맞추는 겁니다.

즉 미래 예측이 아니라 이미 섞인 것을 복원하는 겁니다.

 

3) 왜 굳이 낙서(ϵ)를 맞추면 도움이 되냐?

왜냐하면 낙서를 알아야 지울 수 있기 때문입니다.

• “여기가 낙서 성분이다”를 알면
• 그 방향으로 빼면 더 깨끗해집니다.

그래서 한 스텝 denoise가 이렇게 됩니다:

1. 모델이 “잡음 패턴” ϵ을 추정
2. xt에서 그 잡음 성분을 조금 빼서 xt​로 감

이걸 여러 번 반복하면 “노이즈 → 깨끗한 이미지”로 복원/생성이 됩니다.

 

 

 

 

 

 

2) 음.. 둘 다 노이즈 인건가 ? 

 

 둘을 합쳐야 진짜 xt 에 더해지는 노이즈이긴함. 

우리가 "노이즈를 예측해라"라고 할 때, 투명도 수치를 맞추라는 게 아니라 레이어 2에 있는 자글자글한 이미지($\epsilon$)의 픽셀 값을 그려내라는 뜻입니다.

 

 

3) 그러면 앱실론은 픽셀마다 나오나 ? ( C H W  형태 ? ) 

-> 보통 이미지 텐서와 완전히 같은 SHAPE 이다. 

 

 

 

 

 

 

 

오케이.. 봤는데 다시 1번 의문이 좀 머리에서 나가지 않는다. 뭔가 직관에 매우 반하는 일인거 같다..; (내 직관이 부족해서..)  뭐 키우면 되는거니까 일단 좀 다른 자료를 살펴보기로 했다. 

https://erdem.pl/2023/11/step-by-step-visual-introduction-to-diffusion-models#reverse-diffusion-diagram

 

 

 

 

-> https://ksh0416.tistory.com/147

why diffusion models don't memorize 논문을 읽으면서도 좀 의문이였던 점이 여기였다. 
결국 MSE 를 하는데도 SHARP 하게 학습데이터를 외울 수 있다니.? 

음.. 

이부분에 대해서는 저쪽 논문 쪽에다가 정리호보도록 하겠다. 

 

 

 

 

q. 그럼 학습은 xo 원본으로 바로 예측하는거고 ? 추론시에는 뭐 이걸 어떻게 활용한다는거지 그럼 앱실론 파라미터는 결국 xo 에서 바로 가도록 학습시키는거 아닌가 ? 그리고 여기서 앱실론 파라미터가 결국 뭔지도 잘 모르겠어 

 

 

a.

 보고 다시 의문 -> 근데 내가 좀 애매하다고 느끼는게 노이즈 크기 x 표준 정규분포(노이즈 패턴 -> 이게 우리가 예측하는거 ) ) 이렇게 되는데 이게 그러면.. 음.. 앱실론만 왜 학습을 하는거지 ? 노이즈 크기는 그러면 고정이니까 매 스텝마다 알고있는거야 ? ( 학습 / 추론시 둘다 ? )

cf.

cf.

 

2) 그럼 ϵ-prediction이 결국 x0​로 가게 학습하는 거 아닌가?

 

 3) 추론에서 ? 

 

( 아마도 넘어오면서 앱실론에 대해서 조금 이해가 부족해서 이쪽에서 시간이 많이 걸렸던 것 같아요. .. 위에는 거의 gpt 랑 대화하면서 좀  모르는 부분을 기록해둔건데 직접 gpt 돌려보시는게 좋을것 같기도 합니다. 

-> 아래 내용을 읽고나서 딥다이브를 좀 더 해봤으면 좋았을것 같네요 좀 헷갈리는 부분이 있었는데 명확해졌습니다. 

( 쭉 다시 한번 읽어보고 있는데 , 뒤죽박죽이긴해도 두번정도 읽으면 이해가 좀 되는것 같습니다 )) 

 

2. 

결국 이 수식이 말하고 싶은건 MSE 회귀의 정답이 항상 조건부 평균이 되는 것 입니다. 

즉 , 

- xi 를 보고

- 가능한 모든 앱실론들 후보중에서

-> "평균적" 으로 가장 맞는 값을 내는 함수가 최적

( 통계학 적으로도 MSE 최소화 하는 가장 정확한 정답이 평균이기도 하고. ) 

 

그래서 최적의 네트워크는 이 xi 가 만들어질때 ( given xi 라는 조건에서 )  ,

들어갔을 노이즈 앱실론의 평균적인 모습이 뭐였을까 ?를 출력하게 됩니다. 

 

( 그니까 진짜 앱실론을 정확히 맞춘다 x 

-> 통계적으로 가장 그럴듯한 노이즈를 내는 것  )

 

왜냐하면 같은 xi 는 

-> 여러개의 xo 

-> 서로 다른 앱실론 

의 조합으로 만들어 질 수 있기 때문에 

 

xi 만 보고 xo 이나 , 앱실론을 100 % 정확히 복구하는건 불가능하기 때문에 , 

네트워크는 유일한 정답이 아니라 조건부 기대값을 학습하도록 합니다. 

즉 제가 아까 위에서 가장 의문을 가졌던 ,  " 랜덤을 어떻게 , 그리고 왜 맞춰 ? " 에 댛나 대답으로써

 

모델이 과거의 실제 랜덤 노이즈를 정확히 찍을 수 없으니 , MSE 를 줄이기위해서 

가장 그럴듯한 가능성들의 평균을 제시하면 통계학적으로 가장 안전하게 처리할 수 있습니다.  

 

( 이부분에 대한 수식은 나중에 더 자세하게 설명한다고 합니다 . ) 

 

 

( 2.2.4 이후로 살짝 공부에 공백이 있어서 다시 리캡겸 gpt 통해서 핵심만 정리해달라고 했습니다. ) 

 

 

 

2.2.5 DDPM’s ELBO

 

 

Reverse Markov chian 은 다음 식과 같다. ( 디노이징할때 수식 ) 

 

그리고 우리가 원하는게 실제 데이터의 marginal liklihood 이므로, 

이렇게 되는데 , 이 적분의 계산이 어려우니까 vae 처럼 ELBO 를 쓴다. 

 

 

 

 

증명은 D.1.2 에 존재한다 

 

 

증명을 안하고 가기는 늘 아쉽기 때문에 한번  확인해보고 가보자. 

 

 

 

 

 

다시 좀 살펴보자. 

 

VAE 랑 방법은 일단 완전히 동일하다. 일단 먼저 계산을 용이하기 위해서 LOG 를 취해준다. 

 

 

STEP1 ) Jensen's inequality 

그리고 여기서 임의의 분포 q(x1:l | xo ) 를 넣는다. 그러면 

 

 

 

여기서 기대값 형태로 바꾸면 . ( 책이랑 수식이 살짝 다른데 0 / 1 시작 둘다 상관없습니다 ) 

 

기대값에 대한 수식이므로 

 

그래서 여기서 jensen 적용하면 

 

log 안으로 넣어서 전개하면 

 따라서 

 

 

 

( cf. 기대값 <-> 적분 ) 

 

cf .

 

 

 

ELBO 까지는 VAE 에서 했던 부분이라 간략하게 적어두고. 그뒤에 더 중요한 내용은 결국 어떻게 이항이 3가지로 나눠지는지에 대해서는 확인해보고 넘어가려고 한다. 

 

ELBO 수식은 

다음과 같은데 ( 여기서 P_phi : reverse / q : forward ) 

 

DDPM 의 chain rule 대입하면 

 

그래서 이 로그를 펼치면 

 

 

그래서 결국 

 

이렇게 3 항으로 나눌 수있다. 

 

 

다시 또 글이 글어질 것 같아서.. 접은 글로 증명을 따라가보고자 한다. 

 

 

결국 위의 3항을 다음과 같은 항으로 만들고 싶은것이다. 

 

( 이전에도 이런 수식 다루기는 많이 해보았다. ) 

 

 

 

 

 

 이부분이 살짝 애매하긴 한데..

 

 

 어쩄든 이렇게 정리할 수 있다.

 

 

DDPM 의 ELBO 를 이전에 우리가 표현했던 정보 처리 관점에서 해석하면 무엇을 다시 알 수 있을까 이야기하고 있다. 

 

왼쪽 :

p_data(x) vs p_phi (xo)

-> 우리가 진짜 원하는 분포  ( 진짜 데이터 vs 모델이 만드는 최종 이미지 분포 )

이건 모델이 진짜 데이터를 잘 모사하는지 최종 결과로만 측정하는 것이다. 

 

오른쪽 : 

p(xo , x1:L ) vs p_phi ( xo , x1:L )

- p(xo, x1:L ) : 진짜 데이터 xo 에서 시작해서 forward 로 노이즈를 단계별로 섞어간 전체 궤적임. 

-p_phi(xo , x1:L) : prior 에서 시작해서 reverse 로 단계별로 복원해가는 전체 궤적 

즉 여기는 최종 이미지 뿐만 아니라 중간 단계 x1 , x2 ,,,, xl 까지 포함한 전 과정이 얼마나 닮았는지 보는 것이다. 

( 정확히 기억 안나는데 HVAE 에서도 이런 비슷한 수식이 있었다. ) 

 

결국 중간 단계 ( x1 ,,,, xl ) 이 추가 정보가 되는데 

- 결과 xo 만 보면 이 모델 결과 이미지가 그럴듯하네 ? 라고 넘어갈 수 있는데

- 중간단계 까지 보면 어떤 노이즈 레벨에서 복원이 잘 안되는지 , 특정 단계에서 어긋나는지 더 많이 드러난다. 

그래서 결국 비교에 쓸 수있는 단서가 많아지고 이에 따라서 더 잘 감지할 수 있어서 

 

오른쪽 KL 이 더 큰 값을 가지게 된다. 

 

 

조금 더 정리를 해보자면 .. ( gpt 의 힘을 빌려.. ) 

이 문장이 DDPM에서 하고 싶은 말(메시지)

이 부등식은 사실 다음 말을 하고 싶어서 나오는 겁니다:

“우리가 진짜 원하는 건 최종 분포 pϕ(x0)p_\phi(x_0)pϕ​(x0​)를 데이터에 맞추는 건데, 그걸 직접 하기 어렵다. 대신 전체 과정(joint) 를 맞추는 더 구조적인 목표를 최적화하면, 그건 최종 결과를 맞추는 목표보다 ‘더 강한 조건’이라서 결과적으로 최종 분포도 좋아진다.”

즉,

• DDPM 학습은 “전체 디노이징 단계들을 잘 맞추는 것”(오른쪽을 줄이는 방향)
• 그러면 “최종 생성 결과도 좋아진다”(왼쪽도 함께 줄어든다)

라는 정당화입니다.

 

라고 합니다. 꽤나 직관적이고 이해하기 편해진것 같습니다. 

 

 

 

2.2.6 Sampling

길고긴 단원에 마지막 부분인 sampling 입니다. 

 

저도 사실 처음에 디퓨전을 배울때 뭐 학습이야 그렇다 치는데 sampling 이 생각보다 이해가 잘 안갔거든요 

랜덤 노이즈에서 원하는 이미지를 만든다고 ? ( 이때는 conditional 이라는걸 아예 생각을 안하고 , 원하는 모양이 나오는 줄 알았습니다.  ) 어쨌든 샘플링에 대해서 좀 더 알아보도록 하겠습니다. 

 

 

일단 DDPM에서 샘플링이란 

완전 노이즈 XL  에서 xo 최종 이미지를 생성합니다. 

 

각 단계에서 

1. 현재 상태 xi 를 보고 네트워크가 그 안에 섞인 노이즈(입실론) 이 무엇인지 추정하고

2. 추정치 이용해서 더 깨끗한 xi-1 를 샘플링 합니다. 

원문의 설명 그대로 입니다.  (사실 여기서 어려울건 없습니다. )

 

그래서 결국 노이즈를 통해 ( = 평균을 만들어 ) 다음 xi 를 생성합니다. 

 

 

Another Interpretation of DDPM’s Sampling.

 

여기서 이야기 하고싶은건 clean sample 을 noise 를 예측함으로써 추정할 수 있다는 것 입니다. 

 

forward 가 아래와 같은 수식인데 

이때 네트워크가 입실론을 맞췄다고 치면 xo 를 역으로 추정가능하게 합니다. 

이걸 그러면 clean sample 이라고 할 수 있습니다.

결국 어떤의미냐면. 

xi-1 은 ( xi 와 clean 예측 사이 어딘가 ) + 노이즈 ( 불확실성 반영 )

 

그래서 DDPM 샘플링은 사실상 이를 반복합니다.

 

1. 복원 : xi -> x^o ( 현재를 보고 원본을 추정한다 ) 

2. 재샘플 : x^o 를 중심으로 덜 노이즈인 xi-1 를 뽑는다. 

 

(나는 사실 이부분이 꽤나 재밌었다 ) 

왜 x^o 는 특히 큰 노이즈에서 흐릿해지나 ? ( 정확하지 않나 ? ) 화두를 던진다. 

이부분이 이전에 https://ksh0416.tistory.com/147

여기서 들었던 의문 : 어떻게 이런걸 생각했을까 . 또 디퓨전은 어떻게 계산을 했길래 이런 생각을 했을까 . 궁금했는데 이부분을 읽다보니까 , 충분히 이런 논의로 이어질 수 있다는게 이해가 가기도 했다. (아주 조금이나마)

 

 

이게 제가 정리하기에는 알고있는 지식을 글로 표현하기 어려워서 

이부분은 gpt 통해서 정리했습니다.  ( 다른 논문들이랑 지식이 섞여있어서 좀 설명이 이상해서 지웠습니다 ) 

우리는 결국 

1. MSE 로 학습한 최적의 densoier 는 결국 조건부 평균밖에 못낸다. 

2. 조건부 평균은 multi - modal 불확실성을 "평균" 내서 섞어서 블러를 만든다. 

그래서 디퓨전은 한번에 크게 많은 복원이 아니라 

노이즈가 큰 곳 -> 작은곳을 조금씩 내려와서 구조를 정교화 시킨다. 

 

 

우리가 지금까지 다뤘던 수식들이다. 결국 위에서도 이야기 했듯이 mse 를 통해서 계산하게 된다. 

 

 ( 마치 diffusion policy 논문 읽을때 explict policy 를 보는 듯 하다. ) 

 

 

 

 

 

 

 

 

 

 

 

Slow Sampling Speed of DDPM

 

그래서 DDPM 에서는 많은 샘플링을 통해서 생성해야해서 시간이 느리다고 합니다ㅣ. (O(L) 번의 네트워크 실행) 

 

cf.  DDPM 에서 step 이 1000번인데

실제로 생성 모델에서 샘플링 할때는 990~ 980 번대 샘플을 씁니다. 

이건 저도 경험적인 거고 다른 분들이 말씀하시길 보통 1000번 다하면 샘플이 별로 오히려 안좋다고 합니다. ( 오버샘플링같은 느낌 ) 

 

 

 

2.3 Closing Remarks

진짜진짜길고 험난한 여정이였던거 같습니다. 

 

결국 저희는 VAE -> HVAE 를 이해하고 

이들이 DDPM 으로 어느 부분이 변화했는지 알려주었습니다. 

 

이 장을 정리하면서 개인적으로도 디퓨전에 대해서 많이 식견이 넓어졌던것 같습니다. 

그동안 파편화 되어있었던 지식을 다시 재조립하면서 수식 뿐만 아니라 다른 디퓨전 논문을 읽을때도 엄청 도움이 많이되고

직관도 생겨서 스스로 엄청 발전했다고 느꼈습니다. 

 

다음장에서는 Score-Based 로 찾아뵙도록 하겠습니다. !