quantization2 [졸업 연구] Simple Diffusion Model에 Quantization 적용하기 안녕하세요, donyy입니다!올해 3월부터 시작한 졸업 연구도 어느덧 끝을 향해 달려가고 있습니다. 지난 스타트 학기 동안 Diffusion Model과 Quantization에 대한 기본적인 개념을 이해하기 위해 다양한 논문들을 리뷰했는데요! 이번 그로쓰 학기에는 그동안 학습한 내용을 바탕으로 구체적인 연구 주제를 설정하고, 실험을 통해 의미 있는 결론을 도출하는 과정에 집중하고 있습니다.따라서 이번 포스팅에서는 이론적인 부분보다는 실제 구현에 초점을 맞추어, Simple Diffusion Model에 양자화를 적용하는 과정을 코드 중심으로 설명하려고 합니다. 우선 양자화 적용 방법에 대해 설명하기 전에 저희 팀의 연구 주제와 내용을 간략히 소개하겠습니다.📃 연구 주제 및 개요연구 주제Layer-Ad.. 2024. 11. 19. [논문 리뷰] Temporal Dynamic Quantization for Diffusion Models IntroductionDiffusion models는 GAN과 같은 기존의 모델들에 비해 훨씬 더 우수한 성능을 보였지만, 높은 비용을 수반함 ⇒ 리소스가 제한적인 모바일 환경에서는 적용 어렵고, 고성능의 서버에만 적용 가능⇒ 따라서 성능을 보전하면서도 계산 비용과 메모리를 줄일 수 있는 방안에 대한 연구 ↑⇒ 전에 비해서는 적은 sampling steps를 이용하는 등 개선되긴 했지만, 여전히 높은 계산 비용과 방대한 메모리가 수반⇒ performance enhancements & model compression의 필요성기존의 연구들: reducing the # of sampling steps 에 초점 but 개별적인 denoising steps를 가볍게 하는 것도 중요함.Single denoising.. 2024. 5. 22. 이전 1 다음
