본문 바로가기

Research Reviews12

[논문 리뷰] Playing Atari with Deep Reinforcement Learning Paper Details Title: Playing Atari with Deep Reinforcement LearningAuthors: Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin RiedmillerConference: NIPS 2013Year of Publication: 2013Link: https://arxiv.org/abs/1312.5602Key Focus: This paper introduces a deep reinforcement learning method using a convolutional neural network (CNN) that learns .. 2024. 11. 4.
[논문 리뷰] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE Paper Details Title: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Authors: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby Conference: International Conference on Learning Representations (ICLR 2021) Year of Publ.. 2024. 10. 14.
[논문 리뷰] Denoising Diffusion Probabilistic Models Paper DetailsTitle: Denoising Diffusion Probabilistic ModelsAuthors: Jonathan Ho, Ajay Jain, Pieter AbbeelConference: 34th Conference on Neural Information Processing Systems (NeurIPS 2020)Year of Publication: 2020Link: https://arxiv.org/abs/2006.11239Key Focus:This paper presents a method for high-quality image synthesis using diffusion probabilistic models, a class of latent variable models i.. 2024. 10. 7.
[논문 리뷰] Deep Sparse Rectifier Neural Networks Paper DetailsTitle: Deep Sparse Rectifier Neural NetworksAuthors: Xavier Glorot, Antoine Bordes, Yoshua BengioConference: Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS)Year of Publication: 2011Journal Information: PMLR 15:315-323Key Focus: This paper explores the use of Rectified Linear Units (ReLU) in deep neural networks, studying how.. 2024. 9. 23.
[논문 리뷰] Structural Pruning for Diffusion Models Abstract확산 확률 모델(Diffusion Probabilistic Models, DPMs)은 효과적이지만 훈련과 추론 동안 상당한 계산 비용을 수반함.이를 해결하기 위해, 기존의 확산 모델로부터 경량 확산 모델을 학습하는 효율적인 압축 방법인 Diff-Pruning을 제안: 비기여 확산 단계를 무시하고 중요한 가중치를 식별하기 위해 정보가 풍부한 그라디언트를 조합하는 가지치기된 시간 단계에 대한 테일러 전개(Taylor expansion)Diff-Pruning의 이점효율성: 기존 학습 비용의 10~20%로 FLOP 약 50% 감소일관성: 가지치기된 확산 모델의 사전 학습된 모델과 일치하는 생성 행동 유지코드: https://github.com/VainF/Diff-Pruning1. Introduct.. 2024. 5. 22.
[논문 리뷰] Temporal Dynamic Quantization for Diffusion Models IntroductionDiffusion models는 GAN과 같은 기존의 모델들에 비해 훨씬 더 우수한 성능을 보였지만, 높은 비용을 수반함 ⇒ 리소스가 제한적인 모바일 환경에서는 적용 어렵고, 고성능의 서버에만 적용 가능⇒ 따라서 성능을 보전하면서도 계산 비용과 메모리를 줄일 수 있는 방안에 대한 연구 ↑⇒ 전에 비해서는 적은 sampling steps를 이용하는 등 개선되긴 했지만, 여전히 높은 계산 비용과 방대한 메모리가 수반⇒ performance enhancements & model compression의 필요성기존의 연구들: reducing the # of sampling steps 에 초점 but 개별적인 denoising steps를 가볍게 하는 것도 중요함.Single denoising.. 2024. 5. 22.

티스토리툴바