제가 하고 싶은 연구의 이상적인 방향인것 같아서 오랜만에 깊게 읽었습니다. Appendix 도 읽었고,,, 깊게 고민도 했습니다. 저자분에게 직접 메일을 보내서 자문을 구해보기도 하고 , 친절하게 답해주셔서 너무 좋았습니다. 아카이빙용이라 appendix 나 이런게 긁어온것 중에서 이해되는 부분 넣어둔거긴 한데 , 보실때는 이게 이해가 더 잘될 것 같아서 올려봅니다. 마침 코드도 최근에 공개 되어서 아직 사용은 못해도 (파라미터가 다 안올라온걸로 알아서 ) 조만간 올라오면 fork 떠서 실제로 좀 여러가지 살펴봐야겠다고 생각이 들었습니다. 1. find_layer_for_stitching.py 더보기
4DGS 프로젝트를 하기에 앞서서 먼저 Hex plane 에 대해서 더 이해를 해야될 것 같아서 정리한다. 먼저 간단하게 정리하면 4D공간 ( xyz + time t ) 에서 featrue field D(x,y,z,t) 를 6개의 2D feature plane(XY, XZ, YZ, XT, YT, ZT) 으로 나눠서 저장하고 , 4D 에서 점을 물어보면 ( 그니까 time + space ) 를 물어보면 해당 점을 각 plane 에 투영해서 샘플링 --> 결합 해서 그점의 feature 를 빠르게 복원하는 형식이다. Plane 은 총 6개인데 (x,y,z,t) 에서 두 축을 고르면 2D plane 이다. 공간-공간: XY, XZ, YZ공간-시간: XT, YT, ZT으로 구성된다. HexPlane ..
이번 챕터에서는 이제 Energy-Based Model 부터 NCSN 을 배우게 됩니다. 이전에 다루었던 VAE 관점에서 벗어나서 , 데이터를 Energy landscape 와 Gradient 를 통해 해석하는 방식을 배웁니다. 1. 에너지 기반 모델 (EBM)데이터의 분포를 에너지 지형으로 표현 낮은 에너지 : 실제 데이터가 존재하는 곳 ( 확률 밀도가 높음 ) 높은 에너지 : 데이터가 아닌 노이즈가 있는곳 ( 확률 밀도가 낮음 ) 즉 , 생성 모델의 목표는 이 에너지 지형을 학습하여 , 에너지가 낮은 골짜기가 어디인지 알내는 것입니다. 2. Langevin Dynamics 과 score 데이터 생성(샘플링) 하는 과정이 Langevin Dynamics 을 따른다. 에너지가 낮은 방향 ( 데이터가..
