드롭아웃

IT위키


동작 Drop-out; Dropout
딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법

드롭아웃의 목적[편집 | 원본 편집]

목적 구분 설명
과적합 문제 해결
  • 신경망 비대 시 high variance 문제 해결
  • Voting 효과로 정규화 유사 효과 가능
Co-adaptation 회피
  • 특정 뉴런의 가중치나 영향 감소
  • 강건한 신경망 구성 가능

동작 과정[편집 | 원본 편집]

개념도 드롭아웃 전후 예시.png
동작
  1. 입력층과 은닉층의 임의 노드 선택 및 제거
    • 확률 p를 기준으로 제거
  2. 임의 노드 제거 상태에서 학습 수행
  3. 실제 테스트 시 제거 노드 복원 및 가중치 연산
    • 가중치에 확률 p를 곱하여 결과 보상

문제점 및 해결방안[편집 | 원본 편집]

  • (문제점) : 신경망 학습속도 저하
  • (해결방안) : 배치 정규화와 함께 수행하여 속도 향상

참고 문헌[편집 | 원본 편집]