리키 렐루 편집하기

리키 렐루(Leaky ReLU)는 입력값이 음수일 때에도 완전히 0이 되지 않고, 작은 기울기를 유지하는 활성화 함수이다. 이 함수는 딥러닝에서 흔히 사용되는 ReLU(Rectified Linear Unit)의 변형으로, '죽은 뉴런(dying neuron)' 문제를 완화하기 위해 제안되었다.
==정의==
리키 렐루는 입력값 x가 0보다 크면 x 그대로 출력하고, 0 이하일 경우 작은 기울기를 곱한 값(예: 0.01 × x)을 출력하는 함수이다. 일반적으로 음수 영역의 기울기는 0.01 정도의 작은 양수로 설정된다.
==목적 및 특징==
리키 렐루는 ReLU와 달리 음수 입력에도 경사(gradient)를 갖기 때문에, 입력이 계속 음수인 뉴런이 학습 중에 완전히 비활성화되는 '죽은 뉴런(dying ReLU)' 문제를 방지하는 데 효과적이다.
==장점과 한계==
*장점
**ReLU에 비해 학습 안정성이 뛰어나며, 깊은 네트워크에서 유용하게 사용된다.
**GAN(생성적 적대 신경망)이나 객체 검출 모델 등에서 활성화 유지가 중요할 때 효과적이다.
*한계
**기울기 값(예: 0.01)은 하이퍼파라미터로, 너무 작거나 크면 학습 성능에 악영향을 줄 수 있다.
**기울기 값이 너무 크면 거의 선형 함수처럼 작동하여 비선형성이 줄어든다.
==수식 형태==
리키 렐루는 일반적으로 다음과 같은 형태로 표현된다:  

* x가 0보다 크면 x, 
* 작거나 같으면 0.01 × x  
* 즉, max(0.01 × x, x) 형태로도 이해할 수 있다.

==각주==
*“[[죽은 뉴런 문제]]”는 ReLU 함수에서 입력이 음수인 뉴런이 경사를 잃고 더 이상 업데이트되지 않는 현상을 말한다.
==같이 보기==
*[[활성화 함수]]
*[[ReLU]]
*[[딥러닝]]
==참고 문헌==
*Deep sparse rectifier neural networks 논문 (Leaky ReLU variant 언급)
*Kaiming He 외, “Delving Deep into Rectifiers” (PReLU 개념 관련)
[[분류:인공지능]]
[[분류:딥 러닝]]