생성형 AI1 [논문 리뷰] Structural Pruning for Diffusion Models Abstract확산 확률 모델(Diffusion Probabilistic Models, DPMs)은 효과적이지만 훈련과 추론 동안 상당한 계산 비용을 수반함.이를 해결하기 위해, 기존의 확산 모델로부터 경량 확산 모델을 학습하는 효율적인 압축 방법인 Diff-Pruning을 제안: 비기여 확산 단계를 무시하고 중요한 가중치를 식별하기 위해 정보가 풍부한 그라디언트를 조합하는 가지치기된 시간 단계에 대한 테일러 전개(Taylor expansion)Diff-Pruning의 이점효율성: 기존 학습 비용의 10~20%로 FLOP 약 50% 감소일관성: 가지치기된 확산 모델의 사전 학습된 모델과 일치하는 생성 행동 유지코드: https://github.com/VainF/Diff-Pruning1. Introduct.. 2024. 5. 22. 이전 1 다음