GPT-3 편집하기

'''Generative Pre Training of a language model 3'''

GPT-3는 생성형 언어 모델로, [[OpenAI]]가 개발한 [[GPT-2]]의 후속작이다.

* [[2020년]] [[6월]]에 출시되었으며, [[2022년]] [[11월]]에 GPT-3.5가 출시되었다.

== 상세 ==

* GPT-3는 자기회귀 언어 모델이다. 또한, [[OpenAI]]가 만든 GPT의 3세대 모델이다.
* GPT-3는 1,750억 개의 매개변수로 구성되어, [[2020년]] [[5월]] 도입된 전작인 GPT-2보다 100배 이상 크다.
* GPT-3가 수행가능한 작업으로는 간단한 각종 언어 관련 문제풀이, 간단한 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹 코딩, 간단한 대화 등이 가능하다. 또한, GPT-3에서 생성하는 글은 인간이 작성한 글과 구별하기 어렵다.

== 출현 과정 ==

* 2020년 5월 28일 OpenAI 연구진과 엔지니어들은 GPT-3를 소개하는 논문 원본을 발표하면서 GPT-3의 잠재적 위험을 경고하고, 위험 완화를 위한 연구를 요구했다. 호주 철학자 [[데이비드 차머스]]는 GPT-3를 "지금까지 생산한 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나"라고 설명했다.
* 2020년 6월 클로즈 베타 테스트를 거쳤다.
* 2020년 10월부터 [[OpenAI]]는 GPT-3의 코드와 모델을 공개하지 않을 것이라 밝혔다. 지금까지 OpenAI가 추구해왔던 비영리, 오픈 소스와 반대되는 행동이라 비판이 나왔다.[[2019년]] OpenAI에 투자한 [[마이크로소프트]]의 요구로 인해 비공개로 돌린 것이 아니냐는 추측이 있다. 모델이 공개된다 한들, 매개변수의 개수가 상당한 만큼 개인용 컴퓨터에서 실행시키는 것은 불가능할 것으로 보인다.
* 2021년 7월에는 [[GitHub]]가 GPT-3을 이용한 [[GitHub Copilot]]을 공개하였다.
* 2022년 11월 오픈 베타가 시작되어 세계적으로 큰 반향을 일으켰다. GPT-3의 오픈베타 공개는 OpenAI가 더이상 늘어나는 GPT 개발비를 감당하지 못하고, [[마이크로소프트]]와 협약을 맺어 대중적으로 이를 공개하기로 방향을 바꿨기 때문이다. 이에 따라 GPT-3는 원격 API 호출 등의 유료 기능을 갖추고 있으며, [[마이크로소프트]] [[검색엔진]] 등에도 유료 라이센스로 적용이 되었다. 2020년 2월에 선보인 [[마이크로소프트]]의 튜링 NLG로 GPT-3보다 매개변수가 10배 적었다.

== 같이 보기 ==

* [[OpenAI]]
* GPT
* [[GPT-1]]
* GPT-2
* [[GPT-3.5]]
* GPT-4
* ChatGPT