CUDA Programming Mode CUDA 는 기본적으로 Host + Device 로 나뉘어진다. CPU 를 Host , gpu 쪽을 device 라고 부른다. 프로그램은 항상 host 에서 시작하며 , host 코드가 device 메모리 할당 , 데이터 복사 , kernel launch 같은 일을 담당한다. 실제로 대량 병렬 계산은device 에서 kernel 이 수행한다. 또 , Host와 Device는 각각 별도의 메모리 공간을 DRAM에 유지한다. 이것이 CUDA 프로그래밍에서 명시적인 데이터 전송(`cudaMemcpy`)이 필요한 근본적인 이유이다.다만, CUDA는 Unified Memory 기능도 제공한다. Unified Memory를 사용하면 모든 프로세서가 단일 일관된 메모리 이미..
What is CUDA ? CUDA 란 무엇인가 ? NVIDIA GPU의 병렬 연산 엔진을 활용하기 위한 범용 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델이다.사실 와닿지 않으니가 직관적으로 정리해보면 - GPU 하드웨어 : 진짜 계산하는 기계 - CUDA : 그 기계를 프로그래머가 쓰게 해주는 규칙 ( api , 컴파일 방식, 모델 등등 )간단하게 cuda 를 계산 장치로 다루는 방식 정도로 이해하면 될 것 같다. CUDA 가 왜필요한가 ? GPU 는 많은 수의 연산 유닛으로 같은 종류의 계싼을 엄청 동시에 많이 처리하는데 강하다. CUDA 는 이런 상황에서 " 이 많은 데이터 각각에 대해 같은 연산을 해라 " 를 gpu 에게 효율적으로 시키는 방식(모델) 이다. 기본적으로 CUDA 는 큰 문제 를 ..
결국 도메인 gap 을 줄이는데 ( 정확히는 align 할때 ) 문제점을 조금 더 파고드는게 중요하다는 생각이 들기는한다 1) 도메인 gap 을 줄이는 연구가 과연 아직 유효한가 ? -> 그렇긴하나 예전보다 더 세분화해서 봐야할 것 같다. global alignment는 좋아 보여도 local pairwise alignment는 깨질 수 있음modality-shared semantics와 modality-specific residue가 뒤엉켜 있을 수 있음retrieval에는 좋은데 generation/grounding/transfer에는 안 좋을 수 있음two-modal에서는 괜찮은데 multi-modal로 가면 conflict가 커질 수 있음같은 contrastive model이어도 unifo..
여러가지 하면서 느낀건데 GPU 에 대해서는 언젠가 아주 자세하게 알아야 할 필요가 있다고 뼈저리게 느꼈다. 따라서 이번 기회를 통해 GPGPU 에 대해서 깊게 이해할 뿐만 아니라 , 직접 GPGPU 코드도 작성해보면서 이를 더 깊게 이해해보려고 한다. ( 문법이 꽤나 C++ / C 와 다른 점이 많다. ) AD102 를 기준으로 GPU 구조를 설명한다 AD102 한 장 요약 (칩 구조)12 GPC (Graphics Processing Clusters)GPC당 6 TPC → 총 72 TPCTPC당 2 SM → 총 144 SM메모리 인터페이스: 384-bit (12×32-bit 컨트롤러)보기 쉽게 정리하면 다음과 같이 정리된다. GPU (AD102 전체) └── GPC × 12 개 (Graphic..
중간에 내용이 부족해서 Modality gap 쪽으로 정리한 부분을 추가 공유
( 3.3.4 Why DSM is Denoising: Tweedie’s Formula 부분 수정 필요 ) 이번 챕터에서는 이제 Energy-Based Model 부터 NCSN 을 배우게 됩니다. 이전에 다루었던 VAE 관점에서 벗어나서 , 데이터를 Energy landscape 와 Gradient 를 통해 해석하는 방식을 배웁니다. 1. 에너지 기반 모델 (EBM)데이터의 분포를 에너지 지형으로 표현 낮은 에너지 : 실제 데이터가 존재하는 곳 ( 확률 밀도가 높음 ) 높은 에너지 : 데이터가 아닌 노이즈가 있는곳 ( 확률 밀도가 낮음 ) 즉 , 생성 모델의 목표는 이 에너지 지형을 학습하여 , 에너지가 낮은 골짜기가 어디인지 알내는 것입니다. 2. Langevin Dynamics 과 score ..
