전이 학습 편집하기

[[분류:인공지능]]

;Transfer Leaning
;특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법
;[[파일:전이학습 개념.png|300x300픽셀]]

== 구성 및 절차 ==
[[파일:전이학습 과정.png|없음|섬네일|500x500픽셀]]

* '''업스트림(upstream) 태스크:''' 먼저 이루어진 학습
* '''다운스트림(downstream) 태스크:''' 모델이 전이되어 이루어지는 학습
* '''프리트레인(pretrain):''' 업스트림 태스크를 학습하는 과정
* '''파인튜닝(finetuning):''' 다운스트림 태스크를 학습하는 과정
** 제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning) 등으로도 불림

=== 업스트림 태스크 ===

=== 다운스트림 태스크 ===

=== 파인튜닝 ===

* '''파인튜닝(finetuning)''' : 다운스트림 태스크에 해당하는 데이터 전체를 사용합니다. 모델 전체를 다운스트림 데이터에 맞게 업데이트합니다.
* '''제로샷러닝(zero-shot learning)''' : 다운스트림 태스크 데이터를 전혀 사용하지 않습니다. 모델이 바로 다운스트림 태스크를 수행합니다.
* '''원샷러닝(one-shot learning)''' : 다운스트림 태스크 데이터를 한 건만 사용합니다. 모델 전체를 1건의 데이터에 맞게 업데이트합니다. 업테이트 없이 수행하는 원샷러닝도 있습니다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
* '''퓨샷러닝(few-shot learning)''' : 다운스트림 태스크 데이터를 몇 건만 사용합니다. 모델 전체를 몇 건의 데이터에 맞게 업데이트합니다. 업데이트 없이 수행하는 퓨삿러닝도 있습니다. 모델이 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.

== 활용 사례 ==

* BERT(Bidirectional Encoder Representations from Transformers)
* GPT(Generative Pre-trained Transformer)

== 참고 문헌 ==

* [https://ratsgo.github.io/nlpbook/docs/introduction/transfer/ 트랜스퍼 러닝 (Transfer Learning)]
@@ 5번째 줄: / 5번째 줄: @@
 ;[[파일:전이학습 개념.png|300x300픽셀]]
-==구성 및 절차==
+== 구성 및 절차 ==
+[[파일:전이학습 과정.png|없음|섬네일|500x500픽셀]]
-=== 구성 ===
+* '''업스트림(upstream) 태스크:''' 먼저 이루어진 학습
-[[파일:전이학습_과정.png|대체글=|600x600픽셀]]
+* '''다운스트림(downstream) 태스크:''' 모델이 전이되어 이루어지는 학습
+* '''프리트레인(pretrain):''' 업스트림 태스크를 학습하는 과정
+* '''파인튜닝(finetuning):''' 다운스트림 태스크를 학습하는 과정
+** 제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning) 등으로도 불림
-*'''업스트림(upstream) 태스크:''' 먼저 이루어진 학습
+=== 업스트림 태스크 ===
-*'''다운스트림(downstream) 태스크:''' 모델이 전이되어 이루어지는 학습
-*'''프리트레인(pretrain):''' 업스트림 태스크를 학습하는 과정
-*'''파인튜닝(finetuning):''' 다운스트림 태스크를 학습하는 과정
-**제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning) 등으로도 불림
-=== 절차 ===
+=== 다운스트림 태스크 ===
-====업스트림 태스크====
+=== 파인튜닝 ===
-프리트레인(pretrain)된 모델이 해결하도록 학습된 태스크
-====다운스트림 태스크====
+* '''파인튜닝(finetuning)''' : 다운스트림 태스크에 해당하는 데이터 전체를 사용합니다. 모델 전체를 다운스트림 데이터에 맞게 업데이트합니다.
-프리트레인(pretrain)된 모델로부터 전이학습(transfer learning)을 통해 새롭게 해결하고자 하는 태스크
+* '''제로샷러닝(zero-shot learning)''' : 다운스트림 태스크 데이터를 전혀 사용하지 않습니다. 모델이 바로 다운스트림 태스크를 수행합니다.
+* '''원샷러닝(one-shot learning)''' : 다운스트림 태스크 데이터를 한 건만 사용합니다. 모델 전체를 1건의 데이터에 맞게 업데이트합니다. 업테이트 없이 수행하는 원샷러닝도 있습니다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
+* '''퓨샷러닝(few-shot learning)''' : 다운스트림 태스크 데이터를 몇 건만 사용합니다. 모델 전체를 몇 건의 데이터에 맞게 업데이트합니다. 업데이트 없이 수행하는 퓨삿러닝도 있습니다. 모델이 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
-====파인튜닝====
+== 활용 사례 ==
-*'''파인튜닝(finetuning)''' : 다운스트림 태스크에 해당하는 데이터 전체를 사용합니다. 모델 전체를 다운스트림 데이터에 맞게 업데이트합니다.
+* BERT(Bidirectional Encoder Representations from Transformers)
-*'''제로샷러닝(zero-shot learning)''' : 다운스트림 태스크 데이터를 전혀 사용하지 않습니다. 모델이 바로 다운스트림 태스크를 수행합니다.
+* GPT(Generative Pre-trained Transformer)
-*'''원샷러닝(one-shot learning)''' : 다운스트림 태스크 데이터를 한 건만 사용합니다. 모델 전체를 1건의 데이터에 맞게 업데이트합니다. 업테이트 없이 수행하는 원샷러닝도 있습니다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
-*'''퓨샷러닝(few-shot learning)''' : 다운스트림 태스크 데이터를 몇 건만 사용합니다. 모델 전체를 몇 건의 데이터에 맞게 업데이트합니다. 업데이트 없이 수행하는 퓨삿러닝도 있습니다. 모델이 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 바로 다운스트림 태스크를 수행합니다.
-==활용 사례==
+== 참고 문헌 ==
-*BERT(Bidirectional Encoder Representations from Transformers)
+* [https://ratsgo.github.io/nlpbook/docs/introduction/transfer/ 트랜스퍼 러닝 (Transfer Learning)]
-*GPT(Generative Pre-trained Transformer)
-== [[메타 러닝]]과의 차이 ==
-{{틀:메타 러닝과 전이 학습}}
-==참고 문헌==
-*[https://ratsgo.github.io/nlpbook/docs/introduction/transfer/ 트랜스퍼 러닝 (Transfer Learning)]