퓨샷 러닝

Few-shot Learning

대량의 학습 데이터가 없는 상태에서 소량의 데이터만으로 효과적으로 학습하는데 주안점을 둔 학습 방식

기존 학습 방법의 문제점

• 방대한 데이터 필요
• 방대한 데이터의 라벨링 작업 필요
• 학습을 위한 대량의 컴퓨팅 리소스 필요

학습 방법

데이터셋 구성

• 서포트 데이터(support data): 훈련에 사용
• 쿼리 데이터(query data): 테스트에 사용

러닝 태스크

N-way K-shot 문제

• N은 범주의 수
• K는 범주별 서포트 데이터의 수
  • K가 많을수록 이 범주에 해당하는 데이터를 예측하는 모델의 성능(추론 정확도) 항샹
  • 퓨샷 러닝은 이 K가 매우 작은 상황에서의 모델 학습

퓨샷 러닝 모델의 성능은 N과 반비례하며 K와는 비례하는 관계

학습 방안

방안	설명
전이 학습 (파인 튜닝)	기존에 비슷한 부류의 학습모델이 있는 경우 그 학습모델을 이용 기존 모델에 소량의 학습 데이터를 이용해 망을 미세하게 튜닝
메타 러닝	학습에 필요한 변수, 하이퍼파라미터를 자동으로 학습 및 최적화 전이 학습의 파인 튜닝 과정의 효율을 극대화
거리 학습	고차원 학습 데이터의 특징을 잘 표현할 수 있는 저차원 공간으로 학습 데이터를 변환 부류들 간의 유사도 차이를 측정할 수 있는 수단을 이용해 분류
액티브 러닝	라벨링된 데이터가 적은 경우 반 자동화된 라벨링 소수의 학습 데이터로 학습 후 자동 라벨링을 수행, 잘못 라벨링된 데이터만 사람이 정정하며 학습데이터 확보
생성 모델 활용	소수의 학습 데이터에 GAN과 같은 생성모델을 사용해 유사 데이터 확보

관련 논문

• 거리 학습 기반 방식
  • Siamese Neural network for one-shot image recognition
  • Matching networks for one-shot learning
  • Prototypical networks for few-shot learning
  • Learning to compare : relation network for few-shot learning
• 그래프 신경망 방식
  • Few-shot learning with graph neural networks
  • Transductive propagation network for few-shot learning (TPN)

같이 보기

• 메타 러닝
• 원샷 러닝
• AutoML

참고 문헌

• 퓨샷 러닝(few-shot learning)과 메타 러닝(meta-learning)
• 퓨샷 러닝(few-shot learning) 연구 동향을 소개합니다.
• 소량의 데이터로 학습하는 퓨샷러닝