전체 글15 [DL] 딥 러닝 기본 이론 2: 활성화 함수 활성화 함수(Activation Function)활성화 함수는 신경망의 각 뉴런에서 입력 신호의 총합을 받아 이를 출력 신호로 변환하는 역할을 한다.주로 비선형 형태신경망이 복잡한 문제를 해결할 수 있도록 다양한 패턴과 관계를 효과적으로 모델링적절한 활성화 함수의 사용 ⇒ 모델의 학습 능력과 성능에 큰 영향 1. 시그모이드 함수 (Sigmoid)초기 신경망에서 널리 사용깊은 신경망에서는 그래디언트 소실 문제와 비선형성 약화 문제 2. Tanh(하이퍼볼릭 탄젠트) 함수시그모이드 함수를 변형한 함수: 출력 범위를 -1에서 1로 확장중심값이 0 ⇒ 학습 초기에 더 빠르게 수렴깊은 신경망에서 여전히 그래디언트 소실 문제를 가짐 3. Relu(Rectified Linear Unit) 함수현대 신경망에서 가장 .. 2024. 9. 22. [논문 리뷰] Structural Pruning for Diffusion Models Abstract확산 확률 모델(Diffusion Probabilistic Models, DPMs)은 효과적이지만 훈련과 추론 동안 상당한 계산 비용을 수반함.이를 해결하기 위해, 기존의 확산 모델로부터 경량 확산 모델을 학습하는 효율적인 압축 방법인 Diff-Pruning을 제안: 비기여 확산 단계를 무시하고 중요한 가중치를 식별하기 위해 정보가 풍부한 그라디언트를 조합하는 가지치기된 시간 단계에 대한 테일러 전개(Taylor expansion)Diff-Pruning의 이점효율성: 기존 학습 비용의 10~20%로 FLOP 약 50% 감소일관성: 가지치기된 확산 모델의 사전 학습된 모델과 일치하는 생성 행동 유지코드: https://github.com/VainF/Diff-Pruning1. Introduct.. 2024. 5. 22. [논문 리뷰] Temporal Dynamic Quantization for Diffusion Models IntroductionDiffusion models는 GAN과 같은 기존의 모델들에 비해 훨씬 더 우수한 성능을 보였지만, 높은 비용을 수반함 ⇒ 리소스가 제한적인 모바일 환경에서는 적용 어렵고, 고성능의 서버에만 적용 가능⇒ 따라서 성능을 보전하면서도 계산 비용과 메모리를 줄일 수 있는 방안에 대한 연구 ↑⇒ 전에 비해서는 적은 sampling steps를 이용하는 등 개선되긴 했지만, 여전히 높은 계산 비용과 방대한 메모리가 수반⇒ performance enhancements & model compression의 필요성기존의 연구들: reducing the # of sampling steps 에 초점 but 개별적인 denoising steps를 가볍게 하는 것도 중요함.Single denoising.. 2024. 5. 22. 이전 1 2 3 다음
