GPT-1

Generative Pre Training of a language model

GPT-1은 OpenAI가 개발한 첫 번째 인공지능 모델이다.

• GPT-1은 2017년에 나온 Transformer 아키텍쳐를 기반으로 만들어졌다.

구조

GPT-1 은 원래 트랜스포머에서 디코더 부분만 떼어 쌓은 모델이다. OpenAI 논문은 마스크드 셀프 어텐션 헤드를 가진 12층 디코더 전용 트랜스포머(768차원, 어텐션 헤드 12개)를 BooksCorpus(미출간 도서 7,000여 권)로 언어 모델로 사전 학습한 뒤, 과제별 데이터로 미세 조정했다고 밝힌다.

• 마스크드(인과) 셀프 어텐션은 각 위치가 자기보다 앞의 토큰만 보게 한다. 그래서 왼쪽에서 오른쪽으로 다음 단어를 예측하는 단방향(순방향) 모델이 되고, 문장 생성에 알맞다 → 인과 마스킹
• 같은 해 나온 BERT 는 반대로 트랜스포머의 인코더 부분만 쓰고, 가린 단어를 양쪽 문맥으로 맞히는 방식으로 양방향 셀프 어텐션을 학습한다. BERT 논문은 왼쪽과 오른쪽 문맥을 모든 층에서 함께 보는 깊은 양방향 표현을 기존 모델과의 차이로 내세운다

구분	GPT 계열	BERT	Word2Vec CBOW
바탕 구조	트랜스포머 디코더	트랜스포머 인코더	얕은 신경망(트랜스포머 아님)
셀프 어텐션	단방향(앞 토큰만)	양방향	없음
학습 목표	다음 토큰 예측	가린 토큰 예측	주변 단어로 가운데 단어 예측
주 용도	문장 생성	문장 이해(분류, 질의응답)	단어 벡터(임베딩)

명칭의 의미

언어 모델

Language Model

사람의 언어를 이해하는 모델

• 자연어 데이터만(백과사전 등)으로 학습 가능
  • 즉 별도로 라벨링된 데이터가 필요하지 않음

생산적 모델

Generative Model

사전 학습

Pre Training Model

주요 분야

• 자연어 유추
• 질의 응답
• 문장 의미 유사도 판단
• 분류

같이 보기

• 트랜스포머 (인공지능)
• BERT
• GPT-2
• 사전 학습