생성형 인공지능
더 많은 작업
생성형 인공지능(Generative AI, 생성형 AI)은 대량의 데이터에서 패턴과 분포를 학습한 뒤, 사용자의 지시(프롬프트)에 따라 텍스트·이미지·음성·영상·코드 같은 새로운 콘텐츠를 만들어 내는 인공지능이다.
기존의 판별형(분류·예측) 인공지능이 입력이 무엇인지 맞히는 데 초점을 둔다면, 생성형 인공지능은 학습한 데이터의 분포를 따르는 새로운 결과물을 만든다. 2017년 트랜스포머 구조가 나온 뒤 막대한 데이터와 연산으로 학습한 대형 언어 모델과 파운데이션 모델이 등장했고, 2022년 11월 OpenAI의 ChatGPT 공개를 계기로 대화형 서비스가 대중화되었다. 지금은 문서 작성, 검색, 고객 상담, 프로그래밍, 디자인, 교육 등 거의 모든 업무에 쓰이며, 하나의 모델이 텍스트·이미지·음성을 함께 다루는 멀티모달 모델로 발전하고 있다.
| 기술 | 원리 | 주 용도 |
|---|---|---|
| 트랜스포머 기반 자기회귀 모델 | 셀프 어텐션으로 문맥을 파악하고 다음 토큰을 확률적으로 예측해 이어 붙임 | 텍스트, 코드, 대화(LLM) |
| 확산 모델(Diffusion Model) | 데이터에 잡음을 점점 더한 과정을 거꾸로 학습해, 순수한 잡음에서 잡음을 단계적으로 걷어 내며 이미지를 생성 | 이미지, 영상 |
| 생성적 적대 신경망(GAN) | 생성자와 판별자가 서로 경쟁하며 학습 | 이미지 합성, 초해상도, 딥페이크 |
| 변분 오토인코더(VAE) | 데이터를 잠재 공간의 확률 분포로 압축했다가 표본을 뽑아 복원 | 이미지 생성, 잠재 표현 학습 |
모델을 실제 서비스에 맞추는 기술로는 사람 피드백 기반 강화 학습(RLHF) 같은 정렬(alignment), 특정 분야 데이터로 추가 학습하는 미세 조정(fine-tuning), 외부 문서를 검색해 답변 근거로 넣는 검색 증강 생성(RAG)이 있다.
| 분야 | 활용 사례 |
|---|---|
| 대화·업무 지원 | 챗봇형 비서, 문서 요약·번역·초안 작성, 회의록 정리, 사내 지식 검색 |
| 소프트웨어 개발 | 코드 생성·자동 완성, 테스트 코드 작성, 코드 설명과 리뷰 |
| 디자인·미디어 | 이미지·일러스트 생성, 광고 시안, 영상 생성·편집, 배경음악·음성 합성 |
| 고객 서비스 | 상담 챗봇, 콜센터 상담 요약과 응대 추천 |
| 교육 | 개인 맞춤 튜터, 문제 생성과 풀이 설명 |
| 의료·연구 | 의무기록 요약, 신약 후보 물질 설계, 논문 검색·요약 |
| 공공 | 민원 응대, 법령·지침 검색, 보고서 초안 |
국가정보원 국가사이버안보센터는 2023년 6월 「챗GPT 등 생성형 AI 활용 보안 가이드라인」을 내고, 생성형 AI의 대표적인 보안 위협으로 잘못된 정보, AI 모델 악용, 유사 AI 서비스 빙자, 데이터 유출, 플러그인·확장 프로그램·API 취약점을 들었다. 이를 원인별로 정리하면 다음과 같다.
| 위협 종류 | 주요 원인 | 발생 가능한 보안 위협 |
|---|---|---|
| 잘못된 정보 | 학습 데이터의 편향·오류, 학습 시점 이후 정보 부재, 확률적으로 그럴듯한 문장을 생성하는 모델 특성 | 환각으로 인한 잘못된 의사결정, 편향된 결과, 허위 정보 확산 |
| AI 모델 악용 | 누구나 쉽게 쓸 수 있는 생성 능력, 안전장치 우회(탈옥) | 정교한 피싱 메일·사기 문구, 악성코드 작성 보조, 딥페이크 음성·영상을 이용한 사회공학 공격 |
| 유사 AI 서비스 빙자 | 인기 서비스의 이름과 화면을 흉내 내기 쉬움 | 가짜 앱·사이트·확장 프로그램을 통한 악성코드 유포, 계정 정보 탈취 |
| 데이터 유출 | 사용자가 입력한 내용이 서비스 측에 저장되거나 학습에 재사용됨, 대화 기록 관리 미흡 | 업무 기밀·소스코드·개인정보 유출, 학습 데이터 속 민감정보 노출 |
| 플러그인·확장 프로그램 취약점 | 외부 개발자가 만든 기능이 AI와 외부 서비스를 연결 | 악성 플러그인을 통한 정보 탈취, 권한 남용 |
| API 취약점 | API 키 노출, 입력 검증·인증 미흡 | 키 도용과 과금 폭탄, 비인가 접근, 서비스 거부 |
모델 자체를 노리는 공격도 있다.
| 공격 | 내용 |
|---|---|
| 프롬프트 인젝션 | 사용자 입력이나 모델이 읽는 웹 문서·메일에 숨긴 지시로 원래 지시를 무시하게 만들어 정보 유출·오동작 유도. 가장 대표적인 LLM 위협 |
| 데이터·모델 오염(poisoning) | 학습·미세 조정 데이터나 RAG 문서에 악의적 데이터를 넣어 결과를 왜곡하거나 백도어 삽입 |
| 민감정보 추출 | 반복 질의로 학습 데이터 속 개인정보나 시스템 프롬프트를 끌어냄 |
| 모델 탈취 | 대량 질의 응답으로 모델 기능을 복제 |
| 부적절한 출력 처리 | 모델이 만든 코드·SQL·HTML을 검증 없이 실행·표시해 시스템이 공격받음 |
| 과도한 권한 위임 | 도구를 호출하는 AI 에이전트에 지나친 권한을 줘 잘못된 판단이 실제 피해로 이어짐 |
| 적대적 공격 | 사람 눈에 띄지 않는 변형으로 모델 판단을 바꿈 |
OWASP는 LLM 애플리케이션 10대 위험(2025)으로 프롬프트 인젝션, 민감정보 노출, 공급망, 데이터·모델 오염, 부적절한 출력 처리, 과도한 권한, 시스템 프롬프트 유출, 벡터·임베딩 취약점, 허위 정보, 무제한 자원 소비를 제시했다.
| 단계 | 보안 고려사항 | 대응 방안 |
|---|---|---|
| 데이터 수집·학습 | 학습 데이터의 출처·품질·개인정보·저작권 | 출처 검증과 정제, 개인정보 가명처리·제거, 오염 데이터 탐지, 데이터 이력 관리 |
| 모델 개발 | 편향, 유해 출력, 공급망(공개 모델·라이브러리) | 편향 평가, 안전성 정렬, 공개 모델과 라이브러리의 무결성·라이선스 검증 |
| 입력 처리 | 프롬프트 인젝션, 민감정보 입력 | 입력 필터링, 시스템 지시와 사용자 입력 분리, 외부 문서를 신뢰하지 않는 구조, 민감정보 탐지·마스킹 |
| 출력 처리 | 환각, 유해 콘텐츠, 출력물을 통한 2차 공격 | 출력 필터(가드레일), 근거 제시(RAG), 생성 코드·명령은 검증 후 실행, AI 생성물 표시(워터마크) |
| 서비스 연계 | 플러그인·API·에이전트 권한 | 최소 권한, 중요한 행동은 사람 승인, API 키 안전 보관과 주기적 교체, 호출량 제한 |
| 검증 | 알려지지 않은 취약점 | 배포 전 레드팀 시험, 취약점 점검, 버그 바운티 |
| 운영 | 악용과 이상 사용 | 입출력 로깅과 모니터링, 이상 사용 탐지, 사고 대응 절차, 모델 업데이트 관리 |
가이드라인은 사용자에게도 민감한 업무 정보·개인정보를 입력하지 말 것, 생성 결과를 사실 확인 후 쓸 것, 공식 서비스와 검증된 확장 기능만 쓸 것을 권고한다. 기관·기업은 내부 사용 정책과 승인된 서비스 목록을 정하고, 필요하면 외부로 데이터가 나가지 않는 내부 구축형 모델을 쓴다.
국가 인공지능 윤리기준(2020)은 인간 존엄성, 사회의 공공선, 기술의 합목적성이라는 3대 기본 원칙과 10대 핵심 요건을 제시한다. 생성형 AI의 역기능을 핵심 요건에 비춰 보면 다음과 같다.
| 역기능 | 내용 | 관련 핵심 요건 |
|---|---|---|
| 편향·차별 | 학습 데이터의 편견이 성별·인종·지역에 대한 차별적 표현으로 재생산 | 다양성 존중 |
| 허위 정보·환각 | 사실이 아닌 내용을 사실처럼 생성, 여론 조작에 이용 | 안전성, 공공성 |
| 딥페이크·사칭 | 실존 인물의 얼굴·목소리를 합성해 명예훼손, 성범죄, 금융 사기 | 인권 보장, 침해 금지 |
| 프라이버시 침해 | 학습 데이터 속 개인정보 노출, 입력 정보의 무단 활용 | 프라이버시 보호, 데이터 관리 |
| 저작권 침해 | 저작물의 무단 학습, 원작과 유사한 결과물 생성 | 침해 금지, 데이터 관리 |
| 책임 소재 불명확 | 잘못된 생성 결과로 피해가 났을 때 개발자·서비스 제공자·사용자 중 누구 책임인지 모호 | 책임성 |
| 불투명성 | 왜 그런 답을 냈는지 설명하기 어려움 | 투명성 |
| 악용 | 사이버 공격, 사기, 유해물 제작 지원 | 침해 금지, 안전성 |
| 과의존과 사회적 격차 | 비판적 사고 약화, 일자리 대체, 활용 능력에 따른 격차 | 연대성, 공공성 |
국내에서는 인공지능기본법이 생성형 인공지능 결과물임을 알리는 표시 의무 등 투명성 의무를 두고 있다. 자세한 원칙은 인공지능 윤리 문서를 본다.
| 구분 | 생성형 AI | 피지컬 AI |
|---|---|---|
| 목적 | 디지털 콘텐츠 생성 | 물리 세계를 인식하고 실제로 행동 |
| 입력 | 텍스트·이미지 등 프롬프트 | 카메라·라이다·관성 센서 등 실시간 센서 데이터 |
| 출력 | 텍스트, 이미지, 영상, 코드 | 로봇 팔·바퀴·모터 같은 구동기 제어 명령 |
| 학습 데이터 | 인터넷 규모의 텍스트·이미지 | 실제 주행·조작 데이터, 물리 시뮬레이션, 합성 데이터 |
| 핵심 기술 | 트랜스포머, 확산 모델 | 컴퓨터 비전, 강화 학습, 시뮬레이션·디지털 트윈, 비전-언어-행동 모델 |
| 실시간성 | 수 초의 응답 지연 허용 | 밀리초 단위 반응 필요 |
| 오류의 영향 | 잘못된 정보 | 충돌, 부상 등 물리적 피해 |
| 예 | 챗봇, 이미지 생성기 | 자율주행차, 휴머노이드 로봇, 물류 로봇 |
두 기술은 결합되고 있다. 생성형 모델이 언어 지시를 이해해 계획을 세우고, 피지컬 AI가 그 계획을 실제 동작으로 옮기며, 생성형 모델이 만든 합성 데이터와 시뮬레이션이 피지컬 AI 학습에 쓰인다.
- NovelAI
- AI Dungeon
- Midjourney
- DALL-E
- Artbreeder
- NovelAI Image Generation
- Stable Diffusion
- Gaugan2
- Stable Video
- AI 스튜디오 페르소
- Sora
- A.I.VOICE
- DeepVocal
- 「챗GPT 등 생성형 AI 활용 보안 가이드라인」, 국가정보원 국가사이버안보센터, 2023.
- 「국가 인공지능(AI) 윤리기준」, 과학기술정보통신부, 2020.
- 「OWASP Top 10 for LLM Applications 2025」, OWASP, 2024.