latent variable Models 에 대한 개념 정리 및 생각
Latent Variable Models
● Allow us to define complex models p(x) in terms of simple building blocks p(x|z)
● Natural for unsupervised learning tasks (clustering, unsupervised representation learning, etc.)
● No free lunch: much more difficult to learn compared to fully observed
라고 간단하게 나와있다. 근데 사실 이것만 가지고는 느낌이 잘 오지 않는다.
z 가 뭘 뽑느냐 ? z 뭘 의미하냐 ? 이걸 직관적으로 담고 있어야한다.
보통 노션으로 정리하는데 노션에 정리하면 생각보다 잘 안보게 된다 ( 왜지 )
최대한 직관적으로 이해해보자.
1. z 란 뭘까
예를들어서 어떤 한 이미지를 만드는 모델을 만들고 싶다고 가정해보면
이미지 x 는 매우 high -dimension 일 것이다.
그리고 이미지에는
- 전체 색감
- 이미지의 패턴
- 이미지의 구조 등등...
매우 다양한 요소들이 있을것이다 ( 사실 이렇게 칼같이 나눠지지는 않겠지만 )
우리는 그래서 "가정" 을 하는 것이다 ( 여러가지 요소로 나눠져 있다고 )
우리는 그러면 여기에 맞춰서 z 를 설정한다
z1 = 전체 색감
z2 = 이미지의 패턴
z3 = 이미지의 구도 등등...
z= 이미지를 만들기위해 내부에서 결정되는 설정값들의 묶음 정도로 이해하면 된다.
x 의 차원이 매우매우 높을것이고 픽셀 공간에서 직접 모델링하는건 불가능에 가까우니
z 라는 숨겨진 요인들을 먼저 가정을해서 생성을하자 ( 다른 말로는 z 공간에 압축된다? 라고 이해해도 좋을듯 )
이런 smooth 한 mainfold 공간을 형성하면 데이터를 압축(요약) 해서 담을 수 있게 된다.
( 보통 그래서 x 차원보다 z 가 더 low dimension 이다. )
2. z 를 뽑는다는게 뭘까 ?
보통우리는 p(x|z) 처럼 z 를 가정해두고 거기서 x 를 뽑는다.
1. 먼저 z라는 내부 설정값을 무작위로 하나 뽑고 ( 보통 정규분포에서 )
2. 그 설정에따라 이미지를 만들어내는 과정 (x) 를 수행한다.
(1) z ~ N ( 0 , I ) -> 랜덤으로 내부 설정값 뽑아서
(2) x = Decoder(z) -> 거기에 맞춰서 이미지 생성
그래서 왜 그런 구조를 쓰냐면
실제 이미지가 생성되기 위해서 우리가 가정했던것들 ( z1 , z2 ,z3 ) 등의 보이지않는 요인들이 먼저 선택되고,
그 것들이 합쳐져서 실제 이미지(X) 가 나온다고 볼 수 있다.
이걸 딥러닝으로 잘 풀어낸 것이다.
( 보통 z 는 정규분포인데 -> 이는 계산이 매우 편해지고 / 연속적이며 / 대칭적이다. )
-> 결국 z 는 랜덤 백터인데 model 이 이걸 의미있게 만드는 법을 배우게 된다.
Decoder 가 z 에 의미를 부여하도록 학습되는 것이다.
그래서 의미가 없는 z 공간에 ( 처음에는 아무런 의미가 없는 정규 분포이지만 )
-> decoder f(z) 를 최적화 하다보면
-> z 공간이 이미지 생성에 쓰기 좋은 형태로 정렬되고
-> decoder 가 그 공간의 패턴을 그럴듯한 이미지로 mapping 하는 방법을 배운다고 할 수 있다.
( z -> z1 , z2 , z3 가 우리가 직접 어떤 의미를 가지라고 명시하는 것이 아니여도 학습을 통해서 알아서 배우게 되는 것이다. )
그래서 학습이 진행될수록 정규분포의 각 방향이 데이터의 유의미한 의미를 가지게 되고.
manifold 로 변하게 되는 것이다