본문 바로가기

전체 글14

[논문 리뷰] Playing Atari with Deep Reinforcement Learning Paper Details Title: Playing Atari with Deep Reinforcement LearningAuthors: Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin RiedmillerConference: NIPS 2013Year of Publication: 2013Link: https://arxiv.org/abs/1312.5602Key Focus: This paper introduces a deep reinforcement learning method using a convolutional neural network (CNN) that learns .. 2024. 11. 4.
[논문 리뷰] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE Paper Details Title: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Authors: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby Conference: International Conference on Learning Representations (ICLR 2021) Year of Publ.. 2024. 10. 14.
[논문 리뷰] Denoising Diffusion Probabilistic Models Paper DetailsTitle: Denoising Diffusion Probabilistic ModelsAuthors: Jonathan Ho, Ajay Jain, Pieter AbbeelConference: 34th Conference on Neural Information Processing Systems (NeurIPS 2020)Year of Publication: 2020Link: https://arxiv.org/abs/2006.11239Key Focus:This paper presents a method for high-quality image synthesis using diffusion probabilistic models, a class of latent variable models i.. 2024. 10. 7.
[논문 리뷰] Deep Sparse Rectifier Neural Networks Paper DetailsTitle: Deep Sparse Rectifier Neural NetworksAuthors: Xavier Glorot, Antoine Bordes, Yoshua BengioConference: Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics (AISTATS)Year of Publication: 2011Journal Information: PMLR 15:315-323Key Focus: This paper explores the use of Rectified Linear Units (ReLU) in deep neural networks, studying how.. 2024. 9. 23.
[DL] 딥 러닝 기본 이론 3: 경사 하강법 경사 하강법 (Gradient Descent)경사 하강법이란 기계 학습 모델 및 신경망 훈련하는 데 일반적으로 사용되는 최적화 알고리즘으로, 예측 결과와 실제 결과 간의 오류를 최소화하여 기계 학습 모델을 학습한다.  배치(Batch)배치(Batch)란 한 번의 학습 단계(iteration)에 사용되는 학습 데이터의 묶음을 의미한다. 전체 학습 데이터는 다수의 배치로 이루어져 있으며, 모든 배치를 학습하면(= 전체 데이터를 학습하면)⇒ 1 에폭(epoch)을 학습하게 되는 것이다.  배치 경사 하강법(Batch Gradient Descent)기울기 계산에 전체 학습 데이터셋 사용하고 기울기를 한 번만 계산하여 모델의 파라미터를 업데이트하는 방식이다.장점: 모든 데이터에 대한 정보를 고려한 가중치 업데이트.. 2024. 9. 22.
[DL] 딥 러닝 기본 이론 2: 활성화 함수 활성화 함수(Activation Function)활성화 함수는 신경망의 각 뉴런에서 입력 신호의 총합을 받아 이를 출력 신호로 변환하는 역할을 한다.주로 비선형 형태신경망이 복잡한 문제를 해결할 수 있도록 다양한 패턴과 관계를 효과적으로 모델링적절한 활성화 함수의 사용 ⇒ 모델의 학습 능력과 성능에 큰 영향   1. 시그모이드 함수 (Sigmoid)초기 신경망에서 널리 사용깊은 신경망에서는 그래디언트 소실 문제와 비선형성 약화 문제 2. Tanh(하이퍼볼릭 탄젠트) 함수시그모이드 함수를 변형한 함수: 출력 범위를 -1에서 1로 확장중심값이 0 ⇒ 학습 초기에 더 빠르게 수렴깊은 신경망에서 여전히 그래디언트 소실 문제를 가짐 3. Relu(Rectified Linear Unit) 함수현대 신경망에서 가장 .. 2024. 9. 22.

티스토리툴바