복권 가설 (인공지능) 편집하기

복권 가설(Lottery Ticket Hypothesis)은 딥 뉴럴 네트워크 내에 상대적으로 적은 수의 파라미터만을 가진 부분 신경망이 전체 네트워크와 동등한 성능을 달성할 수 있다는 가설이다.
==개요==
*본 가설은 조나단 프랭클(Jonathan Frankle)과 동료들이 제안하였다.
*무작위 초기화된 밀집(Dense) 신경망 안에는, 일정 부분의 “당첨 복권(winning ticket)”이라 불리는 부분 신경망이 존재하며, 해당 부분만을 학습시켜도 원래 네트워크에 준하는 성능을 얻을 수 있다는 주장이다.
*여기서 “당첨 복권”은 초기화 상태에서 이미 좋은 성능을 보이는 부분 구조를 의미하며, 전체 매개변수 중 일부가 유독 중요하다는 직관을 반영한 비유이다.
==원리 및 동작 방식==
*우선 전체 네트워크를 무작위로 초기화한다.
*학습을 진행한 뒤, 크기가 작은(절댓값이 작은) 연결 가중치들을 제거(Pruning)한다.
*그 후 남은 가중치들만을 이용해 다시 학습(혹은 재초기화 후 학습)해 본다.
*일부 경우에는 이 작은 하위 신경망이 원본 네트워크와 비슷한 성능을 동일한 학습 반복 수 내에서 달성할 수 있음이 보고되었다.
==주요 연구 및 확장==
*다양한 옵티마이저와 데이터셋에서도 복권 가설이 어느 정도 유효함이 확인되었다.
*학습 전 또는 최소 학습만으로 부분 구조를 찾는 방법을 탐구하는 연구도 있다.
*강화학습(RL), 자연어 처리(NLP), 프리트레이닝(pretraining) 모델 등 다양한 영역으로의 확장이 시도되고 있다.
==의미와 의의==
*딥러닝 모델의 과도한 파라미터 수를 줄이면서도 성능을 유지할 수 있는 가능성을 제시한다.
*모델 압축, 경량화, 효율적 학습 기법 개발에 영감을 준다.
*특정 파라미터들이 본질적으로 더 중요하다는 관점을 제공하며, 네트워크 구조 해석 가능성에도 기여한다.
==한계와 과제==
*당첨 복권 부분을 찾는 과정이 계산 비용이 매우 높을 수 있다.
*초기 제안 방식에서는 완전한 학습이 선행되어야 하며, 그 후 가지치기 및 재학습이 필요하다.
*모든 구조나 데이터셋에서 복권 가설이 성립하는 것은 아니다.
*가지치기 과정에서 정보 흐름이 끊기면 학습이 불가능해지는 레이어 붕괴(Layer Collapse) 문제가 발생할 수 있다.
==같이 보기==
*[[신경망 가지치기]]
*[[모델 압축]]
*[[딥러닝 해석 가능성]]
*[[경량화 신경망]]
==참고 문헌==
*Frankle, J. & Carbin, M., “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”
*Morcos, A., Yu, H., Paganini, M., & Tian, Y., "One Ticket to Win Them All: Generalizing Lottery Ticket Initializations Across Datasets and Optimizers"
==각주==
[[분류:인공지능]]
[[분류:딥 러닝]]