Leaky ReLU1 [DL] 딥 러닝 기본 이론 2: 활성화 함수 활성화 함수(Activation Function)활성화 함수는 신경망의 각 뉴런에서 입력 신호의 총합을 받아 이를 출력 신호로 변환하는 역할을 한다.주로 비선형 형태신경망이 복잡한 문제를 해결할 수 있도록 다양한 패턴과 관계를 효과적으로 모델링적절한 활성화 함수의 사용 ⇒ 모델의 학습 능력과 성능에 큰 영향 1. 시그모이드 함수 (Sigmoid)초기 신경망에서 널리 사용깊은 신경망에서는 그래디언트 소실 문제와 비선형성 약화 문제 2. Tanh(하이퍼볼릭 탄젠트) 함수시그모이드 함수를 변형한 함수: 출력 범위를 -1에서 1로 확장중심값이 0 ⇒ 학습 초기에 더 빠르게 수렴깊은 신경망에서 여전히 그래디언트 소실 문제를 가짐 3. Relu(Rectified Linear Unit) 함수현대 신경망에서 가장 .. 2024. 9. 22. 이전 1 다음
