범용 AI 위험관리 프레임워크

범용 AI 위험관리 프레임워크(General-Purpose AI Risk Management Framework)는 여러 용도에 두루 쓰이는 범용 AI 모델(파운데이션 모델)이 일으킬 수 있는 위험을 개발·배포 전 과정에서 식별·분석·평가·완화·감시하도록, 위험 기준과 절차·통제·책임을 정해 둔 관리 체계이다.

개요

범용 AI 모델(General-Purpose AI model, GPAI)은 대량의 데이터로 자기 지도 학습을 해 넓은 범위의 작업을 해내고, 여러 하류 시스템에 통합될 수 있는 모델이다(EU 인공지능법 제3조 제63호). 특정 용도의 AI 는 쓰임새를 보고 위험을 정할 수 있지만, 범용 AI 는 용도가 정해지지 않은 채 배포되어 위험이 하류에서 생기고, 능력이 커질수록 화학·생물 무기 정보 제공, 사이버 공격 능력, 통제 상실 같은 시스템적 위험이 나타날 수 있다. 그래서 모델 제공자 단계에서 위험을 관리하는 별도 체계가 필요해졌다.^[1]

필요성

용도 불특정 - 개발자가 모든 하류 용도를 알 수 없어 용도 기반 위험 분류만으로는 모자란다
능력 증가와 창발 - 규모가 커지며 예상하지 못한 능력이 생겨 배포 전 평가가 필요하다
가치 사슬 - 모델 제공자, 하류 시스템 개발자, 배포자, 이용자 사이에 책임을 나눠야 한다
규제 대응 - EU 인공지능법(범용 AI 의무 2025년 8월 적용), 한국 인공지능기본법(2026년 1월 시행)이 대형 모델의 위험 관리를 요구한다

주요 프레임워크

프레임워크	만든 곳·시기	핵심
EU 범용 AI 행동 강령(Code of Practice) 안전·보안 장	유럽 집행위원회, 2025.7	시스템적 위험이 있는 모델(누적 학습 연산량 10²⁵ FLOPs 초과 추정) 제공자가 안전·보안 프레임워크를 만들고, 위험 식별 → 분석 → 수용 여부 판단 → 완화 → 모델 보고서 제출, 중대 사고 보고를 하도록 한다
NIST AI 600-1 생성형 AI 프로파일	미국 NIST, 2024.7	AI RMF 의 Govern·Map·Measure·Manage 네 기능을 생성형 AI 에 맞춰, 위험 12가지(CBRN 정보, 환각, 정보 보안, 지식재산, 편향 등)와 조치를 제시
범용 AI·파운데이션 모델 위험관리 표준 프로파일	미국 UC 버클리 CLTC, 2023.11(1.0)	NIST AI RMF 와 ISO/IEC 23894 를 범용 AI 개발자에 맞춰 풀어 쓴 실무 지침
프런티어 AI 안전 약속	AI 서울 정상회의 참여 기업, 2024.5	기업마다 위험 임계치와 그 임계치를 넘을 때의 조치(개발·배포 중단 포함)를 담은 안전 프레임워크를 공개
인공지능기본법 제32조	한국, 2026.1 시행	누적 학습 연산량이 기준(시행령 10²⁶ FLOPs) 이상인 AI 사업자에게 위험 식별·평가·완화, 위험관리체계 구축과 결과 제출 의무

구성 요소

단계	하는 일
거버넌스	경영진 책임, 위험 담당 조직, 독립 감독, 문서화. 위험 수용 기준과 위험 임계치를 미리 정한다
위험 식별	시스템적 위험 시나리오(CBRN, 사이버 공격, 해로운 조작, 통제 상실), 일반 위험(편향, 개인정보, 저작권, 허위 정보)을 목록화한다
위험 분석·평가	능력 평가(벤치마크), 레드팀·적대적 시험, 위험 모델링으로 발생 가능성과 심각도를 추정하고 임계치와 비교한다
완화	학습 데이터 정제, 안전 정렬, 출력 필터·AI 가드레일, 단계적 공개, 접근 통제, 가중치 보안
감시·사고 대응	배포 후 모니터링, 중대 사고 보고, 하류 제공자에게 정보 제공, 프레임워크 정기 갱신

범용 AI 위험관리는 모델 단계(제공자)와 시스템·배포 단계(하류 개발자·배포자)로 나뉜다. 고영향·고위험 용도의 위험은 EU 인공지능법의 고위험 AI 시스템 의무나 인공지능기본법의 고영향 인공지능 의무가 따로 다룬다
조직 차원의 AI 위험관리 표준으로는 ISO/IEC 23894(AI 위험관리 지침)와 ISO/IEC 42001(AI 경영시스템)이 있다^[2]^[3]

같이 보기

각주

↑ 「Regulation (EU) 2024/1689 (Artificial Intelligence Act)」 제3조, 제51조~제55조, 유럽연합 관보, 2024.
↑ 「NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」, NIST, 2024.
↑ Anthony M. Barrett 외, 「AI Risk-Management Standards Profile for General-Purpose AI Systems (GPAIS) and Foundation Models」 Version 1.0, UC Berkeley Center for Long-Term Cybersecurity, 2023.

[eu-1] 「Regulation (EU) 2024/1689 (Artificial Intelligence Act)」 제3조, 제51조~제55조, 유럽연합 관보, 2024.

[nist600-2] 「NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」, NIST, 2024.

[cltc-3] Anthony M. Barrett 외, 「AI Risk-Management Standards Profile for General-Purpose AI Systems (GPAIS) and Foundation Models」 Version 1.0, UC Berkeley Center for Long-Term Cybersecurity, 2023.

[1]

[2]

[3]