AI3 [졸업 연구] Simple Diffusion Model에 Quantization 적용하기 안녕하세요, donyy입니다!올해 3월부터 시작한 졸업 연구도 어느덧 끝을 향해 달려가고 있습니다. 지난 스타트 학기 동안 Diffusion Model과 Quantization에 대한 기본적인 개념을 이해하기 위해 다양한 논문들을 리뷰했는데요! 이번 그로쓰 학기에는 그동안 학습한 내용을 바탕으로 구체적인 연구 주제를 설정하고, 실험을 통해 의미 있는 결론을 도출하는 과정에 집중하고 있습니다.따라서 이번 포스팅에서는 이론적인 부분보다는 실제 구현에 초점을 맞추어, Simple Diffusion Model에 양자화를 적용하는 과정을 코드 중심으로 설명하려고 합니다. 우선 양자화 적용 방법에 대해 설명하기 전에 저희 팀의 연구 주제와 내용을 간략히 소개하겠습니다.📃 연구 주제 및 개요연구 주제Layer-Ad.. 2024. 11. 19. [DL] 딥 러닝 기본 이론 3: 경사 하강법 경사 하강법 (Gradient Descent)경사 하강법이란 기계 학습 모델 및 신경망 훈련하는 데 일반적으로 사용되는 최적화 알고리즘으로, 예측 결과와 실제 결과 간의 오류를 최소화하여 기계 학습 모델을 학습한다. 배치(Batch)배치(Batch)란 한 번의 학습 단계(iteration)에 사용되는 학습 데이터의 묶음을 의미한다. 전체 학습 데이터는 다수의 배치로 이루어져 있으며, 모든 배치를 학습하면(= 전체 데이터를 학습하면)⇒ 1 에폭(epoch)을 학습하게 되는 것이다. 배치 경사 하강법(Batch Gradient Descent)기울기 계산에 전체 학습 데이터셋 사용하고 기울기를 한 번만 계산하여 모델의 파라미터를 업데이트하는 방식이다.장점: 모든 데이터에 대한 정보를 고려한 가중치 업데이트.. 2024. 9. 22. [DL] 딥 러닝 기본 이론 2: 활성화 함수 활성화 함수(Activation Function)활성화 함수는 신경망의 각 뉴런에서 입력 신호의 총합을 받아 이를 출력 신호로 변환하는 역할을 한다.주로 비선형 형태신경망이 복잡한 문제를 해결할 수 있도록 다양한 패턴과 관계를 효과적으로 모델링적절한 활성화 함수의 사용 ⇒ 모델의 학습 능력과 성능에 큰 영향 1. 시그모이드 함수 (Sigmoid)초기 신경망에서 널리 사용깊은 신경망에서는 그래디언트 소실 문제와 비선형성 약화 문제 2. Tanh(하이퍼볼릭 탄젠트) 함수시그모이드 함수를 변형한 함수: 출력 범위를 -1에서 1로 확장중심값이 0 ⇒ 학습 초기에 더 빠르게 수렴깊은 신경망에서 여전히 그래디언트 소실 문제를 가짐 3. Relu(Rectified Linear Unit) 함수현대 신경망에서 가장 .. 2024. 9. 22. 이전 1 다음
