
전체 글
The Principle of Diffusion
[ The Principle of Diffusion ] 필기본 모음
[ 설명 + 필기본 + 원본 pdf + 모르는 부분은 ai 도움 ] 를 같이 보는 것을 추천합니다 (필기본 링크)https://drive.google.com/drive/folders/11QsG3G0Ppld37m9xYC_NEnT9FvHdNP-e?usp=drive_link
GPGPU
GPGPU 총정리 ( NVIDIA Tensor Core Programming ) - (5)
CUDA core 같은 경우에는 범용적인 SIMD 연산기 이다. ( 지금까지 해당 파트를 배운 것이고. ) 반면에 , Tensor Core 는 딱 하나의 연산만 한다. 이 연산이 어떻게 보면 AI 에서 아주 유용하게 nvidia gpu 를 사용할 수 있게 한 꽃이라고 할 수 있다. MMA ( mixed-precision matrix multipy ) ** D = A*B + C ** 해당 연산이 Tensor core 에서 수행되는 연산이다. 이 연산이 딥러닝에서 90%이상 차지한다고 보면된다. (Attention QK , Linear layer , conv , 등... ) volta ( v100 ) 에서 처음 도입되고 , 지금은 blackwell 까지 와서 SM 당 4개씩 존재한다고 한다. ..