분류 전체보기21 [논문 리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Paper DetailsTitle: Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksAuthors: Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe KielaConference: Facebook AI Research, University College London, New York UniversityYear of Publication: 2021Link: https://ar.. 2024. 12. 16. [졸업 연구] Simple Diffusion Model에 Quantization 적용하기 안녕하세요, donyy입니다!올해 3월부터 시작한 졸업 연구도 어느덧 끝을 향해 달려가고 있습니다. 지난 스타트 학기 동안 Diffusion Model과 Quantization에 대한 기본적인 개념을 이해하기 위해 다양한 논문들을 리뷰했는데요! 이번 그로쓰 학기에는 그동안 학습한 내용을 바탕으로 구체적인 연구 주제를 설정하고, 실험을 통해 의미 있는 결론을 도출하는 과정에 집중하고 있습니다.따라서 이번 포스팅에서는 이론적인 부분보다는 실제 구현에 초점을 맞추어, Simple Diffusion Model에 양자화를 적용하는 과정을 코드 중심으로 설명하려고 합니다. 우선 양자화 적용 방법에 대해 설명하기 전에 저희 팀의 연구 주제와 내용을 간략히 소개하겠습니다.📃 연구 주제 및 개요연구 주제Layer-Ad.. 2024. 11. 19. [논문 리뷰] U-Net: Convolution Networks for Biomedical Image Segmentation Paper DetailsTitle: U-Net: Convolutional Networks for Biomedical Image Segmentation Authors: Olaf Ronneberger, Philipp Fischer, Thomas Brox Conference: Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2015 Year of Publication: 2015 Link: https://arxiv.org/abs/1505.04597Key Focus: This paper presents U-Net, a convolutional neural network designed for biomedical image segmentati.. 2024. 11. 18. [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Paper Details Title: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Authors: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina ToutanovaConference: NAACL 2019Year of Publication: 2019Link: https://arxiv.org/abs/1810.04805Key Focus: This paper introduces BERT (Bidirectional Encoder Representations from Transformers), a novel language representation model that pr.. 2024. 11. 11. [논문 리뷰] Playing Atari with Deep Reinforcement Learning Paper Details Title: Playing Atari with Deep Reinforcement LearningAuthors: Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin RiedmillerConference: NIPS 2013Year of Publication: 2013Link: https://arxiv.org/abs/1312.5602Key Focus: This paper introduces a deep reinforcement learning method using a convolutional neural network (CNN) that learns .. 2024. 11. 4. [논문 리뷰] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE Paper Details Title: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Authors: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby Conference: International Conference on Learning Representations (ICLR 2021) Year of Publ.. 2024. 10. 14. [논문 리뷰] Denoising Diffusion Probabilistic Models Paper DetailsTitle: Denoising Diffusion Probabilistic ModelsAuthors: Jonathan Ho, Ajay Jain, Pieter AbbeelConference: 34th Conference on Neural Information Processing Systems (NeurIPS 2020)Year of Publication: 2020Link: https://arxiv.org/abs/2006.11239Key Focus:This paper presents a method for high-quality image synthesis using diffusion probabilistic models, a class of latent variable models i.. 2024. 10. 7. [논문 리뷰] Deep Sparse Rectifier Neural Networks Paper DetailsTitle: Deep Sparse Rectifier Neural NetworksAuthors: Xavier Glorot, Antoine Bordes, Yoshua BengioConference: Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS)Year of Publication: 2011Journal Information: PMLR 15:315-323Key Focus: This paper explores the use of Rectified Linear Units (ReLU) in deep neural networks, studying how.. 2024. 9. 23. [DL] 딥 러닝 기본 이론 3: 경사 하강법 경사 하강법 (Gradient Descent)경사 하강법이란 기계 학습 모델 및 신경망 훈련하는 데 일반적으로 사용되는 최적화 알고리즘으로, 예측 결과와 실제 결과 간의 오류를 최소화하여 기계 학습 모델을 학습한다. 배치(Batch)배치(Batch)란 한 번의 학습 단계(iteration)에 사용되는 학습 데이터의 묶음을 의미한다. 전체 학습 데이터는 다수의 배치로 이루어져 있으며, 모든 배치를 학습하면(= 전체 데이터를 학습하면)⇒ 1 에폭(epoch)을 학습하게 되는 것이다. 배치 경사 하강법(Batch Gradient Descent)기울기 계산에 전체 학습 데이터셋 사용하고 기울기를 한 번만 계산하여 모델의 파라미터를 업데이트하는 방식이다.장점: 모든 데이터에 대한 정보를 고려한 가중치 업데이트.. 2024. 9. 22. 이전 1 2 3 다음
