Dying ReLU: 편집 역사

2025년 9월 12일 (금)

• 최신이전 12:492025년 9월 12일 (금) 12:49‎ 인공무능 토론 기여‎ 4,983 바이트 +4,983‎ 새 문서: '''Dying ReLU'''은 인공신경망에서 ReLU(Rectified Linear Unit) 활성 함수가 일부 혹은 많은 뉴런(neuron)에 대해 학습 과정 중 거의 항상 0만 출력하게 되어, 해당 뉴런이 사실상 “죽은(dead)” 상태가 되는 현상이다. ==정의== ReLU 활성 함수는 입력이 양수일 때는 입력값을 그대로 반환하고, 음수일 때는 0을 반환한다. 즉, :f(x) = max(0, x) 이다. Dying ReLU 문제는 뉴런의 선형 조합 w·x... 태그: 시각 편집