사전 학습

사전 학습(Pre-training)은 신경망을 특정 과제에 맞추기 전에, 레이블이 없거나 범용인 대량의 데이터로 처음부터 학습시켜 일반적인 표현을 익힌 모델(사전 학습 모델)을 만드는 단계이다.

개요

대규모 신경망은 무작위 가중치에서 출발해 학습하려면 데이터와 계산이 매우 많이 든다. 그래서 먼저 큰 말뭉치나 이미지 모음으로 한 번 오래 학습해 두고, 그 가중치를 공개하거나 재사용한다. Hugging Face 강의는 사전 학습을 가중치를 무작위로 초기화하고 사전 지식 없이 처음부터 모델을 학습시키는 일로 설명하며, 보통 아주 많은 데이터로 몇 주씩 걸린다고 적는다. 그 뒤 특정 과제의 데이터로 추가 학습하는 것이 미세 조정(fine-tuning)이다.

자연어 처리에서 이 방식은 2018년에 자리 잡았다. OpenAI 의 GPT 는 BooksCorpus 로 트랜스포머 디코더를 언어 모델로 사전 학습한 뒤 과제별로 미세 조정했고, 구글의 BERT 는 레이블 없는 텍스트로 양방향 표현을 사전 학습해 두면 출력층 하나만 덧붙여 미세 조정해도 여러 과제에서 최고 성능을 낸다고 보고했다.

사전 학습 목표

레이블 없이 데이터 자체에서 정답을 만들어 내는 자기 지도 학습이 주로 쓰인다.

• 다음 토큰 예측(인과 언어 모델) - 앞 문맥만 보고 다음 단어를 맞힌다. GPT 계열이 쓴다
• 마스크 언어 모델 - 문장 가운데 가린 단어를 양쪽 문맥으로 맞힌다. BERT 가 쓴다
• 이미지 분류 사전 학습 - ImageNet 같은 큰 데이터로 분류 모델을 학습해 두고 다른 시각 과제에 옮겨 쓴다. 앞쪽 층이 배우는 특징은 데이터셋에 덜 묶인 일반적인 것이라 다른 과제로 옮기기 쉽고, 뒤쪽 층으로 갈수록 원래 과제에 특화된다

전이 학습과 구별하기

사전 학습은 재사용할 모델을 만드는 단계이고, 전이 학습은 이미 학습된 모델을 가져와 새 과제의 모델을 학습시키는 방법이다. "공개된 학습 모델을 이용해 새로운 모델을 학습시키는 것"은 전이 학습의 정의에 해당한다. 사전 학습은 전이 학습의 앞 단계(업스트림)로 들어가며, 미세 조정은 전이 학습의 대표적인 방법이다. Hugging Face 강의도 사전 학습된 범용 모델이 사람이 단 레이블로 특정 과제에 맞춰 미세 조정되는 과정을 전이 학습이라 부른다.

구분	무엇을 하나	데이터
사전 학습	무작위 가중치에서 범용 표현을 처음 학습	대량, 주로 레이블 없음
전이 학습	학습된 모델의 지식을 새 과제 모델에 옮겨 학습	새 과제 데이터(적어도 됨)
미세 조정	사전 학습 모델의 가중치를 새 과제 데이터로 추가 학습	과제별 레이블 데이터
지도 학습	입력과 정답 레이블 쌍으로 학습하는 학습 방식 일반	레이블 데이터
강화 학습	환경과 상호작용하며 보상을 최대화하는 행동 정책 학습	보상 신호

• 지도 학습·강화 학습은 무엇으로 배우느냐에 따른 학습 방식 분류이고, 사전 학습·전이 학습은 모델을 어떻게 재사용하느냐에 관한 개념이라 기준이 다르다

같이 보기

• 전이 학습
• BERT
• GPT-1
• 언어 모델
• 트랜스포머 (인공지능)