[DL] 딥 러닝 기본 이론 2: 활성화 함수

활성화 함수(Activation Function)

활성화 함수는 신경망의 각 뉴런에서 입력 신호의 총합을 받아 이를 출력 신호로 변환하는 역할을 한다.

• 주로 비선형 형태
• 신경망이 복잡한 문제를 해결할 수 있도록 다양한 패턴과 관계를 효과적으로 모델링
• 적절한 활성화 함수의 사용 ⇒ 모델의 학습 능력과 성능에 큰 영향

출력값, 비선형 활성화 함수, 가중합 연산

 

 

 

1. 시그모이드 함수 (Sigmoid)

시그모이드 함수 그래프

• 초기 신경망에서 널리 사용
• 깊은 신경망에서는 그래디언트 소실 문제와 비선형성 약화 문제

 

2. Tanh(하이퍼볼릭 탄젠트) 함수

tanh 함수 그래프

• 시그모이드 함수를 변형한 함수: 출력 범위를 -1에서 1로 확장
• 중심값이 0 ⇒ 학습 초기에 더 빠르게 수렴
• 깊은 신경망에서 여전히 그래디언트 소실 문제를 가짐

 

3. Relu(Rectified Linear Unit) 함수

ReLU 함수 그래프

• 현대 신경망에서 가장 인기 있는 활성화 함수
• 양수를 입력 받으면 그대로 출력하고, 음수를 입력 받으면 0 출력
  ⇒ 음수값을 입력 받는 경우 뉴런이 완전히 비활성화 = '죽은 뉴런' 문제

 

4. Leaky ReLU

Leaky ReLU 함수 그래프

• ReLU 의 장점을 유지하면서도 음수값 입력 시의 '죽은 뉴런' 문제를 해결하기 위해 등장
• 음수 입력에서도 아주 작은 기울기를 유지