스테이블 디퓨전
더 많은 작업
- Stable Diffusion; 스테이블 디퓨전
- 텍스트 설명으로 이미지를 만드는, 가중치가 공개된 잠재 확산 모델 계열
스테이블 디퓨전(Stable Diffusion)은 2022년 8월 공개된 텍스트-이미지(text-to-image) 생성 모델 계열이다. 뮌헨 대학교(LMU) CompVis 연구실의 잠재 확산 모델(latent diffusion model, LDM) 연구를 바탕으로 런웨이(Runway)와 Stability AI가 함께 개발했고, Stability AI가 학습 연산 자원을 댔다.[1][2]
이전의 DALL-E 2, 구글 Imagen, 미드저니 같은 모델은 회사 서버에서만 쓸 수 있었던 반면, 스테이블 디퓨전은 코드와 학습된 가중치를 함께 공개해 개인 PC의 소비자용 GPU에서도 돌릴 수 있었다. 이 때문에 수많은 파생 모델, 미세 조정 기법, 사용자 인터페이스가 생겨났고, 이미지 생성 인공지능이 대중에게 퍼지는 계기가 되었다. 동시에 학습 데이터의 저작권과 개인정보, 유해 이미지 생성 문제를 둘러싼 소송과 논쟁의 중심에도 섰다.
- 원천 기술은 CompVis 연구진(로빈 롬바흐, 안드레아스 블라트만, 도미니크 로렌츠, 파트릭 에서, 비에른 오머)이 2021년 12월 발표한 잠재 확산 모델 논문이다.[2] 이 논문은 확산 과정을 픽셀 공간이 아니라 오토인코더가 압축한 잠재 공간에서 수행해 계산량을 크게 줄였다.
- 첫 공개 버전(1.x)은 CompVis가 공개했고, 1.5는 런웨이가 2022년 10월 공개했다. 이후 2.x부터는 Stability AI가 개발과 배포를 맡았다. 원 논문 저자 중 여러 명이 Stability AI로 옮겨 후속 버전을 만들었다.
- Stability AI는 영국 기업으로, 창업자 에마드 모스타크(Emad Mostaque)가 대표를 맡다가 2024년 3월 23일 대표이사와 이사회에서 물러났다.[3]
- 2022년 8월 22일 공개 당시 Stability AI는 약 6.9GB의 VRAM이면 돌릴 수 있다고 안내했고, 기본으로 켜진 안전 분류기(Safety Classifier)를 함께 배포했다.[1]
스테이블 디퓨전 1.x~XL은 잠재 확산 모델의 전형적인 구성을 따른다. 세 신경망이 역할을 나눈다.
| 구성 요소 | 역할 | 1.x 기준 |
|---|---|---|
| 변분 오토인코더(VAE) | 인코더가 이미지를 작은 잠재 표현으로 압축하고, 디코더가 생성된 잠재 표현을 다시 픽셀 이미지로 복원한다. 512×512 이미지는 64×64×4 잠재 텐서가 된다. | 학습 시 인코더, 생성 시 디코더 사용 |
| U-Net | 잠재 공간에서 노이즈를 단계적으로 걷어내는 노이즈 예측기. ResNet 블록과 어텐션 블록으로 이루어진다. | 약 8.6억 매개변수 |
| 텍스트 인코더 | 프롬프트를 임베딩 벡터열로 바꾼다. 이 벡터는 U-Net 안의 교차 어텐션(cross-attention)으로 들어가 생성을 조건화한다. | OpenAI CLIP ViT-L/14, 약 1.2억 매개변수 |
- 프롬프트를 텍스트 인코더에 넣어 조건 벡터를 얻는다.
- 시드(seed)로 정한 무작위 가우스 노이즈 잠재 텐서를 만든다.
- U-Net이 매 단계 "현재 잠재 표현에 섞인 노이즈"를 예측하고, 샘플러(DDIM, Euler, DPM-Solver 등)가 그만큼을 빼서 다음 단계로 넘긴다. 단계 수는 보통 20~50이다.
- 마지막 잠재 표현을 VAE 디코더로 픽셀 이미지로 바꾼다.
이때 분류기 없는 안내(classifier-free guidance, CFG)를 쓴다. 조건 있는 예측과 조건 없는 예측을 둘 다 계산해 그 차이를 키우는 방식이며, 안내 척도(guidance scale)가 클수록 프롬프트를 더 따르지만 이미지가 과포화되기 쉽다. 같은 원리로 조건 없는 쪽 대신 "피하고 싶은 내용"을 넣은 것이 네거티브 프롬프트(negative prompt)다.
| 기능 | 동작 |
|---|---|
| txt2img | 노이즈에서 시작해 프롬프트대로 이미지 생성 |
| img2img (SDEdit) | 기존 이미지를 잠재 공간으로 옮긴 뒤 일정 강도(strength)만큼 노이즈를 섞고 다시 걷어내 변형 |
| 인페인팅·아웃페인팅 | 마스크로 지정한 영역만 다시 그리거나 이미지 바깥을 확장 |
| depth2img | 입력 이미지의 깊이 정보를 추정해 구도를 유지한 채 다시 그림(2.0에서 추가)[4] |
픽셀 공간 확산 모델은 해상도가 커질수록 U-Net이 다뤄야 할 텐서가 제곱으로 커진다. 잠재 확산은 오토인코더가 지각적으로 중요하지 않은 고주파 세부를 압축해 버리고, 확산 모델은 의미 있는 구조만 다루게 한다. 그 결과 학습과 생성 비용이 크게 줄었고, 이것이 소비자용 GPU에서의 구동을 가능하게 한 핵심이다.[2]
스테이블 디퓨전 3은 U-Net을 버리고 트랜스포머를 노이즈 제거기로 쓰는 확산 트랜스포머 계열로 바꿨다. 학습 목표도 기존 확산 대신 정류 흐름(rectified flow)을 썼다. 논문은 텍스트 토큰과 이미지 토큰에 서로 다른 가중치를 두되 한 어텐션 안에서 양방향으로 정보를 주고받게 하는 구조(MMDiT, multimodal diffusion transformer)를 제안했고, 이것이 글자 렌더링과 프롬프트 이해를 개선했다고 보고했다.[5] 텍스트 인코더도 여러 개(CLIP 두 종과 T5)를 함께 쓴다.
| 버전 | 공개 | 규모 | 주요 변화 |
|---|---|---|---|
| 1.1~1.4 | 2022년 8월 | U-Net 약 8.6억 | CompVis 공개. LAION-5B 부분집합으로 학습, 기본 해상도 512×512 |
| 1.5 | 2022년 10월 | 1.x와 같음 | 런웨이 공개. 1.2 가중치에서 이어 학습. 이후 커뮤니티 파생 모델의 기반으로 오래 쓰였다 |
| 2.0 | 2022년 11월 24일 | 텍스트 인코더를 LAION의 OpenCLIP으로 교체, 768×768 모델 추가, 4배 업스케일러와 depth2img 추가, 학습 데이터에서 LAION NSFW 필터로 성인물 제거[4] | |
| 2.1 | 2022년 12월 | 2.0 가중치에서 필터 기준을 완화해 이어 학습 | |
| XL 1.0 | 2023년 7월 26일 | 기본 모델 35억, 정제(refiner) 포함 66억 | 기본 해상도 1024×1024, 텍스트 인코더 2개, 큰 U-Net. 라이선스는 CreativeML OpenRAIL++-M[6] |
| XL Turbo | 2023년 11월 | 적대적 확산 증류(ADD)로 1~4단계 생성 | |
| 3 (미리보기) | 2024년 2월 22일 발표 | 8억~80억 | MMDiT와 정류 흐름. 대기자 명단 방식 미리보기[7] |
| 3 Medium | 2024년 6월 12일 | 20억 | SD3 계열 첫 가중치 공개. 공개 당시 비상업 연구 라이선스[8] |
| 3.5 Large / Large Turbo | 2024년 10월 22일 | 81억 | Large Turbo는 4단계 생성용 증류 모델[9] |
| 3.5 Medium | 2024년 10월 29일 | 25억 | 소비자용 하드웨어 겨냥[9] |
2026년 10월 현재 Stability AI의 최신 이미지 모델 계열은 3.5다. 그 뒤로 Stability AI는 3.5를 엔비디아·AMD 하드웨어용으로 최적화한 판을 내는 데 머물렀다.
- 1.x는 독일 비영리 단체 LAION이 웹 크롤 데이터(Common Crawl)에서 이미지와 대체 텍스트 쌍을 뽑아 만든 LAION-5B의 부분집합(laion2B-en, 고해상도 부분집합, 미적 점수 5 이상인 LAION-Aesthetics v2 5+)으로 학습했다.
- Stability AI 대표는 1.x 학습에 A100 GPU 256장으로 약 15만 GPU 시간이 들었고 비용은 약 60만 달러였다고 밝힌 바 있다.[10]
- 사람이 검수하지 않은 웹 수집 데이터라는 점이 반복해서 문제가 되었다. 2023년 12월 19일 스탠퍼드 인터넷 관측소(Stanford Internet Observatory)가 LAION-5B에서 아동 성착취물로 의심되는 링크 1,008개를 보고하자 LAION은 데이터셋을 내렸다. 2024년 8월 30일 LAION은 의심 링크 2,236개 등을 걸러낸 Re-LAION-5B를 연구용으로 다시 공개했다.[11]
- 2.0에서 텍스트 인코더를 OpenCLIP으로 바꾸면서 "특정 작가 이름을 넣으면 그 화풍이 나오던" 현상이 크게 약해졌다. 사용자 반발이 있었으나, 원인은 의도적 삭제라기보다 OpenAI CLIP과 OpenCLIP의 학습 데이터 차이로 설명되었다.
가중치가 공개되어 있어 본체보다 주변 도구가 더 많아졌다.
| 기법 | 내용 |
|---|---|
| 텍스추얼 인버전(Textual Inversion) | 텍스트 인코더의 단어 임베딩 하나만 새로 학습해 특정 대상이나 화풍을 "새 단어"로 부른다. 결과물이 수 KB로 작다. |
| 드림부스(DreamBooth) | 구글 연구진이 2022년 발표. 대상 사진 몇 장으로 모델 전체를 미세 조정해 그 대상을 다른 장면에 그린다. |
| LoRA | 어텐션 가중치에 저랭크 행렬을 덧붙여 그것만 학습한다. 파일이 수십~수백 MB로 작고 여러 개를 섞어 쓸 수 있어 커뮤니티의 표준 배포 형식이 되었다. |
| 하이퍼네트워크 | 노벨AI(NovelAI)가 이미지 생성에 도입한 방식. 작은 보조 신경망이 어텐션 층의 출력을 조정한다. |
| ControlNet | 2023년 2월 발표. 원 모델 블록을 잠근 사본과 학습 가능한 사본으로 나누고, 둘을 0으로 초기화한 1×1 합성곱(zero convolution)으로 잇는다. 윤곽선, 깊이 지도, 분할 지도, 사람 자세(OpenPose) 같은 조건으로 구도를 정밀하게 지정할 수 있다.[12] |
| 도구 | 특징 |
|---|---|
| CompVis 원본 저장소 | 논문 공식 구현. 기능이 적어 참고용 |
| AUTOMATIC1111 Stable Diffusion web UI | 웹 기반 UI에 txt2img, img2img, 인페인팅, 업스케일러, 텍스추얼 인버전, 확장 기능(ControlNet 등)을 모았다. 개발자 아이디 때문에 한국 커뮤니티에서는 "자동좌"라고도 불렸다. |
| Forge, reForge 등 | web UI에서 갈라져 나와 메모리 사용량과 속도를 개선한 포크 |
| ComfyUI | 노드를 선으로 이어 생성 파이프라인(워크플로)을 짜는 그래프형 UI. 단계별로 모델과 조건을 자유롭게 조합할 수 있다. |
| Fooocus | 프롬프트를 덜 손대도 되도록 단순화한 UI |
| Diffusers | 허깅 페이스의 확산 모델 파이썬 라이브러리. 추론과 미세 조정 코드를 표준화했다. |
| DreamStudio | Stability AI의 웹 서비스. 오픈 소스판 StableStudio도 공개했다. |
초기 체크포인트는 파이썬 pickle 기반의 .ckpt 형식이었는데, pickle은 불러오는 순간 임의 코드를 실행할 수 있어 악성 모델 배포 위험이 있었다. 이후 텐서 데이터만 담아 코드 실행 경로가 없는 safetensors 형식이 표준이 되었다. 자세한 내용은 허깅 페이스 문서의 보안 절 참고.
| 대상 | 라이선스 | 요지 |
|---|---|---|
| 1.x, 2.x | CreativeML OpenRAIL-M | 상업적 이용 허용. 범죄, 명예훼손, 괴롭힘, 미성년자 착취, 의료 조언, 차별 등 금지 용도를 명시하고 파생 모델에도 같은 제한을 걸게 했다.[1] |
| XL | CreativeML OpenRAIL++-M | 같은 계열[6] |
| 3 Medium 공개 당시 | 비상업 연구 커뮤니티 라이선스 | 상업 이용에 별도 라이선스 필요[8] |
| 3.x (2024년 7월 개정 후), 3.5 | Stability AI Community License | 비상업 무료, 연 매출 100만 달러 미만 개인·기업은 상업 이용 무료, 그 이상은 엔터프라이즈 라이선스[13][9] |
SD3 Medium을 비상업 라이선스로 공개하자 커뮤니티의 반발이 컸고, 대형 모델 공유 사이트 Civitai는 SD3 관련 자료 업로드를 일시 금지했다. Stability AI는 2024년 7월 "혼란과 우려를 일으켰다"며 라이선스를 커뮤니티 라이선스로 완화했다.[13] 생성된 이미지의 권리는 어느 라이선스에서나 사용자에게 있다.
게티 이미지(Getty Images)는 2023년 1월 영국 고등법원에 Stability AI를 상대로 소송을 냈다. 수백만 장의 이미지를 허락 없이 가져가 학습에 썼다는 주장이었다. 재판 과정에서 게티는 학습 자체에 대한 청구(학습이 영국 밖에서 이루어져 입증이 어려웠다)와 생성물에 대한 청구를 철회했고, 쟁점은 2차 저작권 침해와 상표권으로 좁혀졌다.
2025년 11월 4일 판결([2025] EWHC 2863 (Ch))에서 법원은 다음과 같이 판단했다.[14]
- 2차 저작권 침해 청구 기각: 저작물을 저장하거나 복제하지 않는 AI 모델은 영국 저작권법(CDPA)상 "침해 복제물(infringing copy)"이 아니다.
- 상표 침해 일부 인정: 1.x와 2.x 모델이 iStock·게티 이미지 워터마크를 흉내 낸 이미지를 만든 특정 사례에 한해 인정했다. 판사는 이 판단이 "과거의 일이고 범위가 매우 좁다"고 적었다. XL과 1.6에 대해서는 기각했다.
- CompVis가 깃허브와 허깅 페이스에 1.x를 공개한 행위에 대해서는 Stability AI에 직접 책임이 없다고 보았다.
2023년 1월 사라 앤더슨(Sarah Andersen), 켈리 매커넌(Kelly McKernan), 카를라 오르티스(Karla Ortiz) 등 예술가들이 Stability AI, 미드저니, 디비언트아트(DeviantArt)를 상대로 미국 캘리포니아 북부 연방지방법원에 집단 소송을 냈다(Andersen v. Stability AI). 나중에 런웨이도 피고에 추가되었다. 2024년 8월 법원은 DMCA 저작권 관리 정보 청구 등은 기각하고 직접 저작권 침해와 유도 침해 청구는 계속 다투도록 했다.[15] 2026년 10월 현재 본안 판단은 나오지 않았다.
- 공개 직후부터 상용 서비스보다 폭력적·성적 이미지 생성 제한이 느슨하다는 지적을 받았다. 가중치가 공개되어 있어 안전 분류기를 끄는 것도 쉬웠다.
- 학습 데이터가 영어 설명 위주라 서구·백인 중심 이미지가 기본값처럼 나오는 편향이 모델 카드에 명시되어 있다.
- 예술가들은 데이터셋에서 자기 작품을 빼 달라고 요청할 수 있는 수단을 요구했고, 학습 데이터 검색·제외 요청 사이트(Have I Been Trained)가 등장했다.
- ↑ 1.0 1.1 1.2 Stability AI, Stable Diffusion Public Release, 2022-08-22
- ↑ 2.0 2.1 2.2 Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer, 〈High-Resolution Image Synthesis with Latent Diffusion Models〉, CVPR, 2022. arXiv:2112.10752
- ↑ Stability AI, Stability AI Announcement, 2024-03-23
- ↑ 4.0 4.1 Stability AI, Stable Diffusion 2.0 Release, 2022-11-24
- ↑ Patrick Esser 외, 〈Scaling Rectified Flow Transformers for High-Resolution Image Synthesis〉, 2024. arXiv:2403.03206
- ↑ 6.0 6.1 Stability AI, Announcing SDXL 1.0, 2023-07-26
- ↑ Stability AI, Stable Diffusion 3, 2024-02-22
- ↑ 8.0 8.1 Stability AI, Stable Diffusion 3 Medium, 2024-06-12
- ↑ 9.0 9.1 9.2 Stability AI, Introducing Stable Diffusion 3.5, 2024-10-22
- ↑ 에마드 모스타크 X 게시물, 2022-08-28
- ↑ LAION, Releasing Re-LAION 5B, 2024-08-30
- ↑ Lvmin Zhang, Anyi Rao, Maneesh Agrawala, 〈Adding Conditional Control to Text-to-Image Diffusion Models〉, 2023. arXiv:2302.05543
- ↑ 13.0 13.1 Stability AI, Community License Update, 2024-07-05
- ↑ Courts and Tribunals Judiciary, Getty Images v Stability AI, 2025-11-04
- ↑ Copyright Alliance, Top Takeaways from Order in the Andersen v. Stability AI Copyright Case, 2024-08