복권 가설 (인공지능)

복권 가설(Lottery Ticket Hypothesis)은 딥 뉴럴 네트워크 내에 상대적으로 적은 수의 파라미터만을 가진 부분 신경망이 전체 네트워크와 동등한 성능을 달성할 수 있다는 가설이다.

개요

• 본 가설은 조나단 프랭클(Jonathan Frankle)과 동료들이 제안하였다.
• 무작위 초기화된 밀집(Dense) 신경망 안에는, 일정 부분의 “당첨 복권(winning ticket)”이라 불리는 부분 신경망이 존재하며, 해당 부분만을 학습시켜도 원래 네트워크에 준하는 성능을 얻을 수 있다는 주장이다.
• 여기서 “당첨 복권”은 초기화 상태에서 이미 좋은 성능을 보이는 부분 구조를 의미하며, 전체 매개변수 중 일부가 유독 중요하다는 직관을 반영한 비유이다.

원리 및 동작 방식

• 우선 전체 네트워크를 무작위로 초기화한다.
• 학습을 진행한 뒤, 크기가 작은(절댓값이 작은) 연결 가중치들을 제거(Pruning)한다.
• 그 후 남은 가중치들만을 이용해 다시 학습(혹은 재초기화 후 학습)해 본다.
• 일부 경우에는 이 작은 하위 신경망이 원본 네트워크와 비슷한 성능을 동일한 학습 반복 수 내에서 달성할 수 있음이 보고되었다.

주요 연구 및 확장

• 다양한 옵티마이저와 데이터셋에서도 복권 가설이 어느 정도 유효함이 확인되었다.
• 학습 전 또는 최소 학습만으로 부분 구조를 찾는 방법을 탐구하는 연구도 있다.
• 강화학습(RL), 자연어 처리(NLP), 프리트레이닝(pretraining) 모델 등 다양한 영역으로의 확장이 시도되고 있다.

의미와 의의

• 딥러닝 모델의 과도한 파라미터 수를 줄이면서도 성능을 유지할 수 있는 가능성을 제시한다.
• 모델 압축, 경량화, 효율적 학습 기법 개발에 영감을 준다.
• 특정 파라미터들이 본질적으로 더 중요하다는 관점을 제공하며, 네트워크 구조 해석 가능성에도 기여한다.

한계와 과제

• 당첨 복권 부분을 찾는 과정이 계산 비용이 매우 높을 수 있다.
• 초기 제안 방식에서는 완전한 학습이 선행되어야 하며, 그 후 가지치기 및 재학습이 필요하다.
• 모든 구조나 데이터셋에서 복권 가설이 성립하는 것은 아니다.
• 가지치기 과정에서 정보 흐름이 끊기면 학습이 불가능해지는 레이어 붕괴(Layer Collapse) 문제가 발생할 수 있다.

같이 보기

• 신경망 가지치기
• 모델 압축
• 딥러닝 해석 가능성
• 경량화 신경망

참고 문헌

• Frankle, J. & Carbin, M., “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”
• Morcos, A., Yu, H., Paganini, M., & Tian, Y., "One Ticket to Win Them All: Generalizing Lottery Ticket Initializations Across Datasets and Optimizers"