공공부문 초거대 AI 도입·활용 가이드라인

공공부문 초거대 AI 도입·활용 가이드라인은 행정·공공기관이 초거대 AI(대형 언어 모델)를 업무에 도입할 때 보안 등급, 클라우드 구성, 데이터 학습 방식, 서비스 도입 방식, 서비스 수준 목표, 운영 방식을 차례로 정하도록 안내하는 정부 가이드라인이다.

개요

디지털플랫폼정부위원회가 2024년 4월 발행했고 한국지능정보사회진흥원(NIA)이 지원기관이다. 개요, 초거대 AI 기술과 사례, 도입 절차, 부록으로 구성되며, 도입 절차 끝에 기관이 사업계획서에 반영 여부를 확인하는 도입 체크리스트를 둔다.

도입 절차

단계	정하는 것
0. 도입 업무 결정	대상 업무의 현황·문제점, 신기술 적합성, 기대효과, 정부 정책 방향
1. 데이터 보안 등급	도입 업무의 보안 등급
2. 클라우드 구성	민간 클라우드 직접 활용(퍼블릭·프라이빗·멀티) 또는 정부 전용 초거대 AI 인프라 활용
3. 데이터 학습 방식	파운데이션 모델, 파인튜닝, 사후학습 가운데 LLM 사용 방식
4. 서비스 도입 방식	서비스 구매 방식(디지털서비스 전문계약제도) 또는 조달 발주 방식(경쟁입찰 용역)
5. 서비스 레벨 목표(SLO)	요구사항·목표 품질, 유사 서비스 벤치마크, 운영 비용·계약
6. 유지보수 및 운영	데이터 관리 운영 조직, 모델 규모·비용·성능 모니터링

데이터 학습 방식

가이드라인은 LLM을 학습 방식에 따라 세 유형으로 나눈다.

• 파운데이션 모델 - 추가학습 없이 범용 LLM을 그대로 쓴다. API로 바로 쓸 수 있고 추가 비용이 없지만 특정 업무의 전문성에는 한계가 있다.
• 파인튜닝된 모델 - 요약·분류·감정 분석 같은 구체적 작업을 위해, 기관이 정제한 일부 데이터로 파라미터를 미세조정한다. 요구에 맞는 성능을 기대할 수 있지만 컴퓨팅 자원·인력·시간이 든다(미세조정 참고).
• 사후학습된 모델 - 기술·법률·특허 같은 최신 정보를 쓰려고 대량의 신규 데이터로 추가학습해 파운데이션 모델에서 배운 지식을 보존하면서 파운데이션 모델 자체를 고도화한다. 파인튜닝보다 시간과 자원이 더 든다.

사전학습이 끝난 모델을 목표 분야의 비라벨 텍스트로 한 번 더 사전학습하면(도메인 적응 사전학습) 그 분야 작업의 성능이 오른다는 연구가 사후학습의 근거가 된다. 추가학습한 두 유형은 데이터 준비와 전처리, 목표 성능 검증, 추가 배포, 배포 뒤 모니터링이 필요하다.

학습 방식별 체크리스트

항목	파운데이션 모델	파인튜닝	사후학습
업무 특성을 반영한 LLM 선정(파라미터 규모, 속도, 정확도)	O	O	O
기관 업무 특성과 가용 자원(인프라, 이용료) 파악	O	O	O
추가학습을 위한 데이터 준비	-	O	O
성능 모니터링	-	파라미터의 미세조정 및 기대 성능 모니터링	파운데이션 모델 고도화 및 기대 성능 모니터링
데이터 유출 방지·보안 대책	-	O	O
모델 버전 관리 및 배포 방안	-	O	O
추가학습용 컴퓨팅 자원 확보	-	O	O

두 추가학습 방식의 항목은 거의 같고, 모니터링 대상만 다르다. 파인튜닝은 파라미터 미세조정 결과를, 사후학습은 파운데이션 모델 고도화 결과를 본다.

서비스 도입 방식

• 서비스 구매 방식 - 디지털서비스 이용지원시스템이나 디지털서비스몰에 등록된 서비스를 간소화된 계약 절차로 이용한다. 계약제도 등록·요건, 커스터마이징 여부와 수의계약 가능 여부를 확인한다.
• 조달 발주 방식 - 요구사항을 반영한 사업계획서, 보안성 검토 등 사전절차, 경쟁입찰 추진체계와 공고기간을 확인한다.

같이 보기

• 대형 언어 모델
• 미세조정
• 디지털서비스 전문계약제도
• 인공지능 학습용 데이터 품질관리
• 소프트웨어사업 대가산정 가이드