전이 학습 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 | 당신의 편집 | ||
5번째 줄: | 5번째 줄: | ||
;[[파일:전이학습 개념.png|300x300픽셀]] | ;[[파일:전이학습 개념.png|300x300픽셀]] | ||
==구성 및 절차== | == 구성 및 절차 == | ||
[[파일:전이학습 과정.png|없음|섬네일|500x500픽셀]] | |||
* '''업스트림(upstream) 태스크:''' 먼저 이루어진 학습 | |||
* '''다운스트림(downstream) 태스크:''' 모델이 전이되어 이루어지는 학습 | |||
* '''프리트레인(pretrain):''' 업스트림 태스크를 학습하는 과정 | |||
* '''파인튜닝(finetuning):''' 다운스트림 태스크를 학습하는 과정 | |||
** 제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning) 등으로도 불림 | |||
=== 업스트림 태스크 === | |||
=== | === 다운스트림 태스크 === | ||
==== | === 파인튜닝 === | ||
* '''파인튜닝(finetuning)''' : 다운스트림 태스크에 해당하는 데이터 전체를 사용합니다. 모델 전체를 다운스트림 데이터에 맞게 업데이트합니다. | |||
* '''제로샷러닝(zero-shot learning)''' : 다운스트림 태스크 데이터를 전혀 사용하지 않습니다. 모델이 바로 다운스트림 태스크를 수행합니다. | |||
* '''원샷러닝(one-shot learning)''' : 다운스트림 태스크 데이터를 한 건만 사용합니다. 모델 전체를 1건의 데이터에 맞게 업데이트합니다. 업테이트 없이 수행하는 원샷러닝도 있습니다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다. | |||
* '''퓨샷러닝(few-shot learning)''' : 다운스트림 태스크 데이터를 몇 건만 사용합니다. 모델 전체를 몇 건의 데이터에 맞게 업데이트합니다. 업데이트 없이 수행하는 퓨삿러닝도 있습니다. 모델이 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다. | |||
== | == 활용 사례 == | ||
* | * BERT(Bidirectional Encoder Representations from Transformers) | ||
* | * GPT(Generative Pre-trained Transformer) | ||
== | == 참고 문헌 == | ||
* [https://ratsgo.github.io/nlpbook/docs/introduction/transfer/ 트랜스퍼 러닝 (Transfer Learning)] | |||
*[https://ratsgo.github.io/nlpbook/docs/introduction/transfer/ 트랜스퍼 러닝 (Transfer Learning)] |