기울기 소실

Gradient Vanishing

기울기 소실과 폭주(Exploding)

역전파 과정에서 입력층으로 갈 수록 기울기(Gradient)가 점차적으로 작져 입력층에 가까운 층들에서 가중치들이 업데이트가 제대로 되지 않는 현상 반대로 RNN에서 기울기가 점차 커지더니 가중치들이 비정상적으로 큰 값이 되면서 결국 발산하는기울기 폭주(Gradient Exploding)도 존재

기울기 소실 해결방안

1. ReLU와 ReLU의 변형(Leaky ReLU 등)을 은닉층의 Activation 함수로 사용
2. 그래디언트 클리핑(Gradient Clipping) : 기울기 폭주를 막기 위해 임계값을 넘지 않도록 기울기 값을 자름
3. 가중치 초기화(Weight initialization) : 가중치 초기값을 적절히 조정
4. 배치 정규화(Batch Normalization) : 인공 신경망의 각 층에 들어가는 입력을 평균과 분산으로 정규화
5. 층 정규화(Layer Normalization) : 배치정규화는 Feature별로 층정규화는 Layer별로
6. 잔차 연결(Residual Connection) : 층의 입력을 출력에 더하는 지름길을 두어 기울기가 여러 층을 곱해지지 않고 바로 전달되게 한다

• 은닉층을 늘리는 것은 해결책이 아니다. 층이 깊어질수록 역전파에서 곱해지는 미분값이 많아져 기울기 소실이 더 심해진다. 잔차 학습을 제안한 연구도 신경망은 깊어질수록 학습시키기 어렵다는 문제에서 출발했다

참고 문헌

• 위키독스