활성화 함수
From IT Wiki
- Activation Function
- 인공 신경망 모델에서 입력값으로 받은 데이터를 다음 층으로 어떻게 출력할지를 결정하는 함수
종류
| 구분 | 명칭 | 그래프 | 설명 |
|---|---|---|---|
| 단극성 | Sigmoid | 
|
로지스틱 함수. x값을 변화에 따라 0~출력 |
| ReLU | 
|
x값이 음수일 땐 0 고정 | |
| Softmax | 2차원 그래프로 표현 불가 | 여러 입력값을 0~1로 나누어 표현 | |
| 양극성 | tanh | 
|
Sigmod보다 기울기가 크며 1~1 범위를 가짐 |
| LReLU | 
|
음수일 때 입력값의 1/10 출력 | |
| Maxout | 2차원 그래프로 표현 불가 | 두 개의 W와 b중에서 큰 값 사용 |
