퓨샷 러닝 편집하기

IT위키

경고: 로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다. 로그인하거나 계정을 생성하면 편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.

편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.

최신판 당신의 편집
11번째 줄: 11번째 줄:
*학습을 위한 대량의 컴퓨팅 리소스 필요
*학습을 위한 대량의 컴퓨팅 리소스 필요


==개요==
==학습 방법==
===데이터셋 구성===
===데이터셋 구성===


24번째 줄: 24번째 줄:
*K는 범주별 서포트 데이터의 수
*K는 범주별 서포트 데이터의 수
**K가 많을수록 이 범주에 해당하는 데이터를 예측하는 모델의 성능(추론 정확도) 항샹
**K가 많을수록 이 범주에 해당하는 데이터를 예측하는 모델의 성능(추론 정확도) 항샹
*'''퓨샷 러닝은 이 K가 매우 작은 상황에서의 모델 학습'''
**퓨샷 러닝은 이 K가 매우 작은 상황에서의 모델 학습
**K가 1인 경우 [[원샷 러닝]]
**K가 0인 경우 [[제로샷 러닝]]
* '''예제'''
** 고양이 사진 하나를 보여주고, 동물들 중에서 고양이를 분류해 내도록 함 = 1-Way 1-Shot
** 고양이, 호랑이 사진을 하나씩 보여주고, 동물들 중에서 고양이, 호랑이를 분류해 내도록 함 = 2-Way 1-Shot
** 고양이, 호랑이, 사자 사진을 두개씩 보여주고, 동물들 중에서 고양이, 호랑이, 사자를 분류해 내도록 함  = 3-Way, 2-Shot


==학습 방안==
;퓨샷 러닝 모델의 성능은 N과 반비례하며 K와는 비례하는 관계
 
===학습 방안===
{| class="wikitable"
{| class="wikitable"
!방안
!방안
40번째 줄: 36번째 줄:
(파인 튜닝)
(파인 튜닝)
|
|
*기존에 비슷한 부류의 학습모델이 있는 경우 그 학습모델을 이용
* 기존에 비슷한 부류의 학습모델이 있는 경우 그 학습모델을 이용
*기존 모델에 소량의 학습 데이터를 이용해 망을 미세하게 튜닝
* 기존 모델에 소량의 학습 데이터를 이용해 망을 미세하게 튜닝
|-
|-
|[[메타 러닝]]
|[[메타 러닝]]
|
|
*학습에 필요한 변수, [[하이퍼파라미터]]를 자동으로 학습 및 최적화
* 학습에 필요한 변수, [[하이퍼파라미터]]를 자동으로 학습 및 최적화
*전이 학습의 파인 튜닝 과정의 효율을 극대화
* 전이 학습의 파인 튜닝 과정의 효율을 극대화
|-
|-
|거리 학습
|거리 학습
|
|
*고차원 학습 데이터의 특징을 잘 표현할 수 있는 저차원 공간으로 학습 데이터를 변환
* 고차원 학습 데이터의 특징을 잘 표현할 수 있는 저차원 공간으로 학습 데이터를 변환
*부류들 간의 유사도 차이를 측정할 수 있는 수단을 이용해 분류
* 부류들 간의 유사도 차이를 측정할 수 있는 수단을 이용해 분류
|-
|-
|[[액티브 러닝]]
|[[액티브 러닝]]
|
|
*라벨링된 데이터가 적은 경우 반 자동화된 라벨링
* 라벨링된 데이터가 적은 경우 반 자동화된 라벨링  
*소수의 학습 데이터로 학습 후 자동 라벨링을 수행, 잘못 라벨링된 데이터만 사람이 정정하며 학습데이터 확보
* 소수의 학습 데이터로 학습 후 자동 라벨링을 수행, 잘못 라벨링된 데이터만 사람이 정정하며 학습데이터 확보
|-
|-
|생성 모델 활용
|생성 모델 활용
|
|
*소수의 학습 데이터에 [[GAN]]과 같은 생성모델을 사용해 유사 데이터 확보
* 소수의 학습 데이터에 [[GAN]]과 같은 생성모델을 사용해 유사 데이터 확보  
|}
|}


=== [[전이 학습]] ===
== 관련 논문 ==
'''Few-shot task를 해결하고자 제안됨'''
 
* 사전 학습된 신경망을 이용하며, Test phase에서 Few-shot example들을 이용해 파인 튜닝
* '''한계점'''
** 파인 튜닝 과정에서 여전히 많은 데이터 및 시간이 소모됨
** 너무 작은 수의 Few-shot example에서의 [[과적합 문제]] 발생
 
=== 메타 러닝 ===
 
* Learn to learn
* 학습 방법을 학습함으로써 인간과 유사한 [[메타 인지]]를 표방
* 학습과정에서 접하지 않았던 데이터에 대해 Few-shot example로도 일반화하여 결과 도출
 
==관련 논문==


*거리 학습 기반 방식
*거리 학습 기반 방식
100번째 줄: 82번째 줄:
*[https://www.sedaily.com/NewsView/1VHPK6NWWG 소량의 데이터로 학습하는 퓨샷러닝]
*[https://www.sedaily.com/NewsView/1VHPK6NWWG 소량의 데이터로 학습하는 퓨샷러닝]


==각주==
== 각주 ==
<references />
<references />
IT위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는 IT위키:저작권 문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다. 저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소 편집 도움말 (새 창에서 열림)