리키 렐루
IT 위키
리키 렐루(Leaky ReLU)는 입력값이 음수일 때에도 완전히 0이 되지 않고, 작은 기울기를 유지하는 활성화 함수이다. 이 함수는 딥러닝에서 흔히 사용되는 ReLU(Rectified Linear Unit)의 변형으로, '죽은 뉴런(dying neuron)' 문제를 완화하기 위해 제안되었다.
정의[편집 | 원본 편집]
리키 렐루는 입력값 x가 0보다 크면 x 그대로 출력하고, 0 이하일 경우 작은 기울기를 곱한 값(예: 0.01 × x)을 출력하는 함수이다. 일반적으로 음수 영역의 기울기는 0.01 정도의 작은 양수로 설정된다.
목적 및 특징[편집 | 원본 편집]
리키 렐루는 ReLU와 달리 음수 입력에도 경사(gradient)를 갖기 때문에, 입력이 계속 음수인 뉴런이 학습 중에 완전히 비활성화되는 '죽은 뉴런(dying ReLU)' 문제를 방지하는 데 효과적이다.
장점과 한계[편집 | 원본 편집]
- 장점
- ReLU에 비해 학습 안정성이 뛰어나며, 깊은 네트워크에서 유용하게 사용된다.
- GAN(생성적 적대 신경망)이나 객체 검출 모델 등에서 활성화 유지가 중요할 때 효과적이다.
- 한계
- 기울기 값(예: 0.01)은 하이퍼파라미터로, 너무 작거나 크면 학습 성능에 악영향을 줄 수 있다.
- 기울기 값이 너무 크면 거의 선형 함수처럼 작동하여 비선형성이 줄어든다.
수식 형태[편집 | 원본 편집]
리키 렐루는 일반적으로 다음과 같은 형태로 표현된다:
- x가 0보다 크면 x,
- 작거나 같으면 0.01 × x
- 즉, max(0.01 × x, x) 형태로도 이해할 수 있다.
각주[편집 | 원본 편집]
- “죽은 뉴런 문제”는 ReLU 함수에서 입력이 음수인 뉴런이 경사를 잃고 더 이상 업데이트되지 않는 현상을 말한다.
같이 보기[편집 | 원본 편집]
참고 문헌[편집 | 원본 편집]
- Deep sparse rectifier neural networks 논문 (Leaky ReLU variant 언급)
- Kaiming He 외, “Delving Deep into Rectifiers” (PReLU 개념 관련)
