DALL-E
더 많은 작업
- DALL·E; 달리
- OpenAI가 2021~2023년에 내놓은 텍스트-이미지 생성 모델 계열
DALL-E(DALL·E, 달리)는 OpenAI가 개발한 텍스트-이미지 생성 모델 계열이다. 2021년 1월 첫 모델, 2022년 4월 DALL-E 2, 2023년 9월 DALL-E 3가 나왔다. 이름은 픽사 영화 〈월-E〉(WALL-E)와 초현실주의 화가 살바도르 달리(Salvador Dalí)를 합친 것으로 알려져 있다.
세 모델은 이름만 같을 뿐 구조가 서로 다르다. 첫 모델은 GPT-3식 자기회귀 트랜스포머로 이미지 토큰을 차례로 생성했고, DALL-E 2는 CLIP 임베딩을 조건으로 하는 확산 모델로 바뀌었으며, DALL-E 3는 학습 데이터 캡션을 고쳐 프롬프트 충실도를 높이고 ChatGPT에 통합되었다. 2025년 3월 ChatGPT의 기본 이미지 생성기가 GPT-4o 이미지 생성으로 바뀌었고, API의 DALL-E 모델은 2026년 5월 12일 종료되었다.
| 모델 | 발표 | 구조 | 특징 |
|---|---|---|---|
| DALL-E | 2021년 1월 5일 | 120억 매개변수 자기회귀 트랜스포머 + 이산 VAE | 캡션 토큰 뒤에 이미지 토큰을 이어 생성. 생성 후보를 CLIP으로 순위 매김[1][2] |
| DALL-E 2 | 2022년 4월 | unCLIP: 사전(prior) 모델 + 확산 디코더 | 해상도 4배. 인페인팅, 변형(variations), 아웃페인팅[3][4] |
| DALL-E 3 | 2023년 9월 | 비공개(기술 보고서는 캡션 개선에 집중) | 자세한 합성 캡션으로 재학습해 프롬프트 충실도와 글자 렌더링 개선. ChatGPT가 프롬프트를 다듬어 전달[5] |
첫 DALL-E는 256×256 이미지를 이산 VAE로 32×32개의 토큰(어휘 8,192개)으로 바꾸고, 최대 256토큰의 텍스트 캡션 뒤에 이 이미지 토큰을 붙여 하나의 열로 학습했다. 생성할 때는 캡션을 주고 이미지 토큰을 하나씩 예측한다. "아보카도 모양의 안락의자" 같은 서로 무관한 개념을 결합한 예시가 널리 알려졌다.[1] 같은 날 공개된 CLIP은 생성된 여러 후보 중 캡션과 가장 잘 맞는 것을 고르는 데 쓰였다.
DALL-E 2는 두 단계로 이미지를 만든다.[4]
- 사전 모델(prior)이 텍스트의 CLIP 임베딩으로부터 그에 맞는 CLIP 이미지 임베딩을 생성한다.
- 확산 디코더가 그 이미지 임베딩을 조건으로 64×64 이미지를 만들고, 확산 업샘플러 두 개가 이를 1024×1024로 키운다.
이미지 임베딩을 거치기 때문에 같은 임베딩에서 세부가 다른 "변형"을 쉽게 만들 수 있다. OpenAI 평가에서 사람들은 사진 같은 사실감 면에서 88.8%, 캡션 일치 면에서 71.7%로 DALL-E 2를 첫 모델보다 선호했다.[3]
배포는 단계적이었다. 연구 미리보기 뒤 2022년 7월 베타, 9월 28일 대기자 명단 폐지, 11월 3일 API 공개 베타 순이었다.[3] 초기 사용자에게는 매달 무료 크레딧을 주고 추가분을 팔았다.
DALL-E 3 연구진은 기존 모델이 프롬프트 속 단어를 무시하는 원인을 학습 데이터의 부실한 캡션에서 찾았다. 그래서 이미지 설명을 아주 자세히 쓰는 캡션 생성기를 따로 학습시키고, 그 합성 캡션으로 이미지 모델을 다시 학습했다.[5] 2023년 10월 19일 ChatGPT Plus와 Enterprise 사용자에게 제공되었고, 사용자가 대충 말해도 ChatGPT가 자세한 프롬프트를 써서 DALL-E 3에 넘기는 방식이었다.[6] 이후 API에도 제공되었다. 마이크로소프트는 빙 이미지 크리에이터(Bing Image Creator)와 코파일럿, 디자이너에 DALL-E를 넣었다.
이 방식은 같은 캡션 재작성(recaptioning) 기법이 영상 모델 소라에도 그대로 쓰이는 등 이후 OpenAI 생성 모델의 기반이 되었다.
- DALL-E 2는 학습 데이터에서 폭력·성인 이미지를 걸러냈고, 실존 인물, 특히 공인의 얼굴을 사실적으로 만드는 것을 막았다.[3] 다만 필터링 때문에 여성이 덜 생성되는 식의 편향이 생긴 사례도 보고되었다.
- DALL-E 3는 생존 작가의 화풍을 요청하면 거절하도록 설계되었고, 창작자가 자기 이미지를 향후 학습에서 빼 달라고 요청하는 절차를 마련했다. 공인 이름을 지목한 요청도 거절한다. 생성한 이미지는 사용자가 허락 없이 재판매·상품화할 수 있다고 OpenAI는 밝혔다.[7]
- 2024년 2월부터 생성 이미지에 C2PA 출처 메타데이터를 붙였다.[8] 자세한 내용은 AI 워터마크 참고.
- ChatGPT와 빙에서 쓰는 DALL-E 3의 검열이 지나치다는 비판도 컸다. 무해한 문구까지 막히는 사례가 출시 초기부터 보고되었다.
2025년 3월 25일 OpenAI는 GPT-4o에 이미지 생성 기능을 넣고 이를 ChatGPT의 기본 이미지 생성기로 삼았다. 이 모델은 별도 이미지 모델에 프롬프트를 넘기는 대신 언어 모델 자체가 이미지를 만드는 방식으로, 글자 렌더링과 여러 물체 배치에서 DALL-E 3보다 낫다고 소개되었다. DALL-E 3는 전용 GPT를 통해서만 계속 쓸 수 있게 되었다.[9] 이 기능은 이후 GPT Image 계열 모델로 API에도 제공되었다.
API의 dall-e-2와 dall-e-3 모델은 2025년 11월 14일 지원 중단이 예고되어 2026년 5월 12일 종료되었다. OpenAI는 대체 모델로 gpt-image 계열을 안내했다.[10]
2022년 여름 유행한 DALL-E mini는 OpenAI와 무관한 독립 개발자 보리스 다이마(Boris Dayma) 등이 만든 오픈 소스 모델이다. 허깅 페이스 Spaces에서 누구나 쓸 수 있어 밈 이미지 생성에 크게 유행했으나, OpenAI의 요청으로 2022년 6월 크레용(Craiyon)으로 이름을 바꿨다.
- ↑ 1.0 1.1 OpenAI, DALL·E: Creating images from text, 2021-01-05
- ↑ Aditya Ramesh 외, 〈Zero-Shot Text-to-Image Generation〉, ICML, 2021. arXiv:2102.12092
- ↑ 3.0 3.1 3.2 3.3 OpenAI, DALL·E 2
- ↑ 4.0 4.1 Aditya Ramesh 외, 〈Hierarchical Text-Conditional Image Generation with CLIP Latents〉, 2022. arXiv:2204.06125
- ↑ 5.0 5.1 James Betker 외, 〈Improving Image Generation with Better Captions〉, OpenAI, 2023. PDF
- ↑ OpenAI, DALL·E 3 is now available in ChatGPT Plus and Enterprise, 2023-10-19
- ↑ OpenAI, DALL·E 3
- ↑ OpenAI 도움말, C2PA in ChatGPT Images
- ↑ OpenAI, Introducing 4o Image Generation, 2025-03-25
- ↑ OpenAI API, Deprecations