드롭아웃

동작 Drop-out; Dropout

딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법

드롭아웃의 목적

목적 구분	설명
과적합 문제 해결	신경망 비대 시 high variance 문제 해결 Voting 효과로 정규화 유사 효과 가능
Co-adaptation 회피	특정 뉴런의 가중치나 영향 감소 강건한 신경망 구성 가능

동작 과정

개념도
동작	입력층과 은닉층의 임의 노드 선택 및 제거 확률 p를 기준으로 제거 임의 노드 제거 상태에서 학습 수행 실제 테스트 시 제거 노드 복원 및 가중치 연산 가중치에 확률 p를 곱하여 결과 보상

문제점 및 해결방안

• (문제점) : 신경망 학습속도 저하
• (해결방안) : 배치 정규화와 함께 수행하여 속도 향상

참고 문헌

• 도리의 디지털라이프