GPT-3
From IT Wiki
Generative Pre Training of a language model 3
GPT-3는 생성형 언어 모델로, OpenAI가 개발한 GPT-2의 후속작이다.
상세
- GPT-3는 자기회귀 언어 모델이다. 또한, OpenAI가 만든 GPT의 3세대 모델이다.
- GPT-3는 1,750억 개의 매개변수로 구성되어, 2020년 5월 도입된 전작인 GPT-2보다 100배 이상 크다.
- GPT-3가 수행가능한 작업으로는 간단한 각종 언어 관련 문제풀이, 간단한 랜덤 글짓기, 간단한 사칙연산, 번역, 주어진 문장에 따른 간단한 웹 코딩, 간단한 대화 등이 가능하다. 또한, GPT-3에서 생성하는 글은 인간이 작성한 글과 구별하기 어렵다.
출현 과정
- 2020년 5월 28일 OpenAI 연구진과 엔지니어들은 GPT-3를 소개하는 논문 원본을 발표하면서 GPT-3의 잠재적 위험을 경고하고, 위험 완화를 위한 연구를 요구했다. 호주 철학자 데이비드 차머스는 GPT-3를 "지금까지 생산한 AI 시스템 중 가장 흥미롭고 중요한 시스템 중 하나"라고 설명했다.
- 2020년 6월 클로즈 베타 테스트를 거쳤다.
- 2020년 10월부터 OpenAI는 GPT-3의 코드와 모델을 공개하지 않을 것이라 밝혔다. 지금까지 OpenAI가 추구해왔던 비영리, 오픈 소스와 반대되는 행동이라 비판이 나왔다.2019년 OpenAI에 투자한 마이크로소프트의 요구로 인해 비공개로 돌린 것이 아니냐는 추측이 있다. 모델이 공개된다 한들, 매개변수의 개수가 상당한 만큼 개인용 컴퓨터에서 실행시키는 것은 불가능할 것으로 보인다.
- 2021년 7월에는 GitHub가 GPT-3을 이용한 GitHub Copilot을 공개하였다.
- 2022년 11월 오픈 베타가 시작되어 세계적으로 큰 반향을 일으켰다. GPT-3의 오픈베타 공개는 OpenAI가 더이상 늘어나는 GPT 개발비를 감당하지 못하고, 마이크로소프트와 협약을 맺어 대중적으로 이를 공개하기로 방향을 바꿨기 때문이다. 이에 따라 GPT-3는 원격 API 호출 등의 유료 기능을 갖추고 있으며, 마이크로소프트 검색엔진 등에도 유료 라이센스로 적용이 되었다. 2020년 2월에 선보인 마이크로소프트의 튜링 NLG로 GPT-3보다 매개변수가 10배 적었다.
