경고: 로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다. 로그인하거나 계정을 생성하면 편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
편집을 취소할 수 있습니다.
이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 |
당신의 편집 |
5번째 줄: |
5번째 줄: |
| ;[[파일:전이학습 개념.png|300x300픽셀]] | | ;[[파일:전이학습 개념.png|300x300픽셀]] |
|
| |
|
| ==구성 및 절차==
| | <br /> |
| | |
| === 구성 ===
| |
| [[파일:전이학습_과정.png|대체글=|600x600픽셀]]
| |
| | |
| *'''업스트림(upstream) 태스크:''' 먼저 이루어진 학습
| |
| *'''다운스트림(downstream) 태스크:''' 모델이 전이되어 이루어지는 학습
| |
| *'''프리트레인(pretrain):''' 업스트림 태스크를 학습하는 과정
| |
| *'''파인튜닝(finetuning):''' 다운스트림 태스크를 학습하는 과정
| |
| **제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning) 등으로도 불림
| |
| | |
| === 절차 ===
| |
| | |
| ====업스트림 태스크====
| |
| 프리트레인(pretrain)된 모델이 해결하도록 학습된 태스크
| |
| | |
| ====다운스트림 태스크====
| |
| 프리트레인(pretrain)된 모델로부터 전이학습(transfer learning)을 통해 새롭게 해결하고자 하는 태스크
| |
| | |
| ====파인튜닝====
| |
| | |
| *'''파인튜닝(finetuning)''' : 다운스트림 태스크에 해당하는 데이터 전체를 사용합니다. 모델 전체를 다운스트림 데이터에 맞게 업데이트합니다.
| |
| *'''제로샷러닝(zero-shot learning)''' : 다운스트림 태스크 데이터를 전혀 사용하지 않습니다. 모델이 바로 다운스트림 태스크를 수행합니다.
| |
| *'''원샷러닝(one-shot learning)''' : 다운스트림 태스크 데이터를 한 건만 사용합니다. 모델 전체를 1건의 데이터에 맞게 업데이트합니다. 업테이트 없이 수행하는 원샷러닝도 있습니다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
| |
| *'''퓨샷러닝(few-shot learning)''' : 다운스트림 태스크 데이터를 몇 건만 사용합니다. 모델 전체를 몇 건의 데이터에 맞게 업데이트합니다. 업데이트 없이 수행하는 퓨삿러닝도 있습니다. 모델이 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
| |
| | |
| ==활용 사례==
| |
| | |
| *BERT(Bidirectional Encoder Representations from Transformers)
| |
| *GPT(Generative Pre-trained Transformer)
| |
| | |
| == [[메타 러닝]]과의 차이 ==
| |
| {{틀:메타 러닝과 전이 학습}}
| |
| | |
| ==참고 문헌==
| |
| | |
| *[https://ratsgo.github.io/nlpbook/docs/introduction/transfer/ 트랜스퍼 러닝 (Transfer Learning)]
| |