diffusion model2 [논문 리뷰] Structural Pruning for Diffusion Models Abstract확산 확률 모델(Diffusion Probabilistic Models, DPMs)은 효과적이지만 훈련과 추론 동안 상당한 계산 비용을 수반함.이를 해결하기 위해, 기존의 확산 모델로부터 경량 확산 모델을 학습하는 효율적인 압축 방법인 Diff-Pruning을 제안: 비기여 확산 단계를 무시하고 중요한 가중치를 식별하기 위해 정보가 풍부한 그라디언트를 조합하는 가지치기된 시간 단계에 대한 테일러 전개(Taylor expansion)Diff-Pruning의 이점효율성: 기존 학습 비용의 10~20%로 FLOP 약 50% 감소일관성: 가지치기된 확산 모델의 사전 학습된 모델과 일치하는 생성 행동 유지코드: https://github.com/VainF/Diff-Pruning1. Introduct.. 2024. 5. 22. [논문 리뷰] Temporal Dynamic Quantization for Diffusion Models IntroductionDiffusion models는 GAN과 같은 기존의 모델들에 비해 훨씬 더 우수한 성능을 보였지만, 높은 비용을 수반함 ⇒ 리소스가 제한적인 모바일 환경에서는 적용 어렵고, 고성능의 서버에만 적용 가능⇒ 따라서 성능을 보전하면서도 계산 비용과 메모리를 줄일 수 있는 방안에 대한 연구 ↑⇒ 전에 비해서는 적은 sampling steps를 이용하는 등 개선되긴 했지만, 여전히 높은 계산 비용과 방대한 메모리가 수반⇒ performance enhancements & model compression의 필요성기존의 연구들: reducing the # of sampling steps 에 초점 but 개별적인 denoising steps를 가볍게 하는 것도 중요함.Single denoising.. 2024. 5. 22. 이전 1 다음
