ExCyTin-Bench
더 많은 작업
ExCyTIn-Bench(Evaluate LLM agents on Cyber Threat Investigation Benchmark)는 대형 언어 모델(LLM) 기반 인공지능 에이전트가 보안 로그를 분석하고 여러 증거를 연결하여 사이버 위협과 보안 사고를 조사하는 능력을 평가하기 위해 마이크로소프트가 개발한 오픈소스 벤치마크이다.
ExCyTIn-Bench는 마이크로소프트 연구진이 개발한 사이버 위협 조사(Cyber Threat Investigation) 평가 프레임워크이다. AI 에이전트가 실제 보안관제센터(SOC)의 보안 분석가처럼 여러 시스템의 로그를 조회하고, 공격의 흔적을 추적하며, 여러 단계에 걸친 조사 결과를 도출할 수 있는지 평가한다.
2025년 7월 연구 논문이 처음 공개되었으며, 2026년 7월 제43회 국제머신러닝학회(ICML 2026)에서 정식 발표되었다.[1]
기존의 사이버보안 관련 AI 벤치마크 중에는 보안 지식에 관한 객관식 문제나 정적인 자료 분석을 중심으로 평가하는 경우가 많았다. ExCyTIn-Bench는 에이전트가 직접 로그 데이터베이스에 질의하고, 조사 과정에서 확인된 정보를 바탕으로 다음 행동을 결정하도록 설계되었다.
- 개발 주체: Microsoft 연구진
- 최초 공개: 2025년 7월
- 학술 발표: ICML 2026
- 평가 대상: LLM 기반 사이버 위협 조사 에이전트
- 평가 환경: Microsoft Azure 기반 모의 보안관제 환경
- 데이터 출처: Microsoft Sentinel 및 관련 서비스
- 로그 테이블: 57개
- 평가 문항: 7,542개(2026년 발표 논문 기준)
- 주요 평가 능력: 로그 검색, 다단계 추론, 증거 연결, 보안 사고 조사
- 공식 저장소: https://github.com/microsoft/SecRL
- 데이터셋: https://huggingface.co/datasets/anandmudgerikar/excytin-bench
마이크로소프트는 2025년 10월 ExCyTIn-Bench를 공개적으로 소개하면서 보안 제품 개발과 AI 기반 보안관제 기술의 성능 평가에 활용하고 있다고 밝혔다.[2]
ExCyTIn-Bench는 통제된 Microsoft Azure 테넌트에서 사이버 공격을 모의 실행하고, 이 과정에서 수집한 보안 로그를 이용해 평가 환경을 구성한다.
연구진은 실제 보안 분석가가 사용하는 탐지 논리를 적용하여 로그에서 보안 경고와 관련 개체를 추출하고, 이를 연결한 조사 그래프를 생성한다.
평가 데이터에는 다음과 같은 정보가 포함된다.
- 사용자 계정과 인증 관련 이벤트
- 시스템과 네트워크 활동 기록
- 보안 경고 및 사고 정보
- 공격에 연관된 장치와 사용자
- 여러 로그 사이의 연관관계
- 조사 질문과 검증 가능한 정답
2025년 최초 공개된 논문 버전에서는 8개의 다단계 모의 공격 시나리오와 589개 질문을 설명했다. 이후 데이터셋과 연구 결과가 확장되면서 2026년 ICML 발표 논문에는 57개 로그 테이블과 7,542개 질문이 수록되었다.[3][1]
따라서 초기 논문과 최신 학술 발표에서 데이터셋 규모가 서로 다르게 나타날 수 있다.
ExCyTIn-Bench의 핵심은 위협 조사 그래프(Threat Investigation Graph)를 활용하여 평가 문제와 정답을 생성하는 방식이다.
조사 그래프는 보안 경고와 관련 개체를 노드로 표현하고, 이들 사이의 관계를 간선으로 연결한 구조이다.
예를 들어 다음과 같은 정보가 서로 연결될 수 있다.
- 특정 사용자의 의심스러운 로그인
- 로그인에 사용된 IP 주소
- 해당 IP와 관련된 다른 인증 이벤트
- 관련 장치에서 발생한 보안 경고
- 동일 사고에 속한 추가 활동
연구진은 전문가가 작성한 탐지 논리를 바탕으로 그래프를 구성하고, 그래프에서 연결된 노드 쌍을 이용하여 질문을 생성한다.
이때 시작 노드는 조사에 필요한 배경 정보로 제공되며, 도착 노드는 정답의 근거가 된다.
이 구조를 통해 질문에 대응하는 정답을 자동으로 확보하면서 답변의 근거가 되는 관계도 추적할 수 있다.[1]
평가 대상 에이전트는 질문을 받은 뒤 제공된 보안 데이터베이스에 접근하여 필요한 정보를 수집한다.
기본적인 조사 과정은 다음과 같다.
- 보안 사고나 특정 이벤트에 관한 질문을 받는다.
- 관련 로그 테이블을 확인한다.
- SQL 질의를 생성하고 실행한다.
- 조회 결과에서 사용자, 장치, IP 주소 및 경고 간의 관계를 분석한다.
- 추가 확인이 필요하면 다른 로그를 조회한다.
- 수집한 증거를 종합하여 최종 답변을 생성한다.
- 평가 시스템이 정답과 비교하여 성능을 측정한다.
평가 환경에서는 MySQL 데이터베이스를 사용하며, 에이전트는 여러 차례의 질의를 통해 정보를 탐색할 수 있다.
이러한 방식은 단일 질문에 즉시 답하는 일반적인 질의응답 벤치마크와 달리 도구 사용, 데이터 탐색 및 다단계 추론 능력을 함께 평가한다.[4]
ExCyTIn-Bench는 평가 문항의 정답과 에이전트가 생성한 답변을 비교하여 보상 점수(Reward)를 산출한다.
평가에서는 단순한 성공·실패뿐 아니라 모델의 조사 성능을 정량적으로 비교할 수 있도록 보상 기반 지표를 사용한다.
주요 평가 요소는 다음과 같다.
- 정답 도출: 보안 사고 조사 질문에 올바르게 답했는지
- 다단계 추론: 여러 로그와 증거를 연결하여 결론을 도출하는 능력
- 도구 활용: 데이터베이스 질의 및 검색 도구를 적절하게 사용하는 능력
- 조사 효율성: 제한된 조사 단계와 자원 내에서 문제를 해결하는 능력
공개된 기본 실험 구성에서는 모델의 생성 온도(Temperature)를 0으로 설정하고 최대 25단계의 조사 과정을 허용했다. 자동 평가에는 GPT-4o가 활용되었다.[4]
보상 점수는 벤치마크의 평가 방식에 따른 수치이며, 실제 보안 사고 조사에서의 정확도나 탐지율과 동일한 개념은 아니다.
2026년 ICML 발표 논문에서 가장 우수한 평가 모델은 0.606의 보상 점수를 기록했다.
연구진은 이 결과를 근거로 실제 로그를 활용한 다단계 보안 조사에서 AI 에이전트의 성능 개선 여지가 여전히 크다고 분석했다.[1]
마이크로소프트가 2025년 10월 공개한 평가에서는 다음과 같은 결과가 소개되었다.
- GPT-5(High Reasoning)는 평균 보상 56.2%를 기록했다.
- GPT-5의 추론 강도를 낮추면 성능이 약 19% 하락하는 것으로 보고되었다.
- GPT-5-mini와 같은 상대적으로 작은 모델도 추론 기능을 활용하여 대형 모델에 근접한 성능을 보였다.
- ReAct, Reflection, Best-of-N 등의 추론 전략을 활용한 시스템은 56.3% 수준의 결과를 보였다.[2]
이는 2025년 10월 당시 공개된 평가 결과이며, 2026년 발표 논문의 최고 점수 0.606과 평가 시점 및 실험 구성이 다르므로 동일한 순위표의 결과로 해석해서는 안 된다.
| 특징 | 설명 |
|---|---|
| 실제 보안 로그 기반 | Azure 환경에서 수집한 보안 이벤트와 로그를 사용 |
| 다단계 공격 시나리오 | 서로 연관된 여러 공격 활동을 조사하도록 설계 |
| 그래프 기반 정답 | 경고 및 관련 개체의 관계를 이용하여 검증 가능한 정답 생성 |
| 대화형 조사 | 에이전트가 데이터베이스에 반복적으로 질의하면서 정보 수집 |
| 자동화된 문제 생성 | 조사 그래프와 LLM을 활용하여 평가 문항 생성 |
| 확장 가능한 환경 | 새로운 로그 및 조사 그래프를 추가하여 평가 문제 확장 가능 |
| 오픈소스 공개 | 평가 코드와 데이터셋을 공개하여 연구 및 재현 실험 지원 |
특히 기존 데이터셋처럼 문제와 정답을 수작업으로 고정하는 방식에만 의존하지 않고, 로그로부터 구성한 조사 그래프를 이용해 새로운 문제를 생성할 수 있다는 점이 특징이다.
Microsoft Sentinel은 마이크로소프트의 클라우드 기반 보안 정보 및 이벤트 관리(SIEM) 서비스이다.
ExCyTIn-Bench는 Sentinel과 관련 보안 서비스의 로그 구조를 활용한다. 에이전트는 여러 로그 테이블에 분산된 보안 정보를 조회하고 이를 연결하여 조사 문제를 해결한다.
ExCyTIn-Bench는 보안관제 업무에서 AI 에이전트를 활용할 수 있는지 평가하는 연구와 밀접하게 관련된다.
보안관제에서는 여러 장비와 서비스의 로그를 분석하여 하나의 보안 경고가 실제 침해사고인지 확인해야 한다.
기존 보안관제 자동화가 규칙과 사전 정의된 대응 절차에 의존하는 경우가 많았다면, LLM 기반 에이전트는 자연어 질문을 해석하고 필요한 증거를 탐색하는 방식으로 조사 과정을 수행할 수 있다.
ExCyTIn-Bench는 이러한 조사 능력을 표준화된 환경에서 비교하기 위한 도구이다.
ExCyTIn-Bench는 검증 가능한 정답과 보상 체계를 제공하므로 검증 가능한 보상을 이용한 강화학습(RLVR)에도 활용할 수 있다.
2026년 8월 26일 마이크로소프트는 보안 에이전트 평가와 강화학습을 지원하는 새로운 실행 프레임워크인 ACESEvals를 공개했다.
공식 저장소에서는 ExCyTIn-Bench의 평가와 RLVR 기반 훈련에 ACESEvals를 사용할 것을 권장한다.[4]
| 벤치마크 | 주요 평가 능력 | 평가 방식 |
|---|---|---|
| ExCyTIn-Bench | 보안 로그 분석 및 위협 조사 | 다중 로그 테이블 질의와 다단계 증거 추론 |
| CyberGym | 취약점 분석 및 재현 | 실제 소프트웨어 취약점에 대한 PoC 생성 |
| CTIBench | 사이버 위협 인텔리전스 이해 | 위협 정보와 보안 지식에 관한 문제 해결 |
| CyberSOCEval | 악성코드 분석 및 위협 정보 추론 | 보안관제 관련 분석 과제 수행 |
ExCyTIn-Bench는 취약점 발굴이나 공격 코드 생성보다 이미 발생한 보안 이벤트의 조사와 분석에 초점을 맞춘다.
따라서 공격 수행 능력을 평가하는 벤치마크와는 평가 대상 및 목적이 다르다.
ExCyTIn-Bench는 실제 보안 환경을 모사하지만 다음과 같은 한계가 있다.
- 모의 공격 환경: 실제 운영 중인 기업의 보안 사고가 아니라 통제된 Azure 환경에서 생성한 공격 시나리오를 기반으로 한다.
- 로그 환경의 편중: Microsoft Sentinel과 Azure 관련 로그를 중심으로 구성되어 다른 SIEM이나 이기종 보안 장비에서의 성능을 직접 보장하지 않는다.
- 질문 중심 평가: 사전에 구성된 조사 질문에 답하는 능력을 평가하므로 보안 사고의 최초 발견부터 대응 완료까지 전 과정을 측정하지는 않는다.
- 정답 범위의 제한: 조사 그래프에 기록된 관계를 기준으로 정답을 생성하기 때문에 그래프에 포함되지 않은 추가 증거나 분석 결과를 충분히 반영하지 못할 수 있다.
- 조사 조건에 따른 편차: 모델, 도구, 최대 조사 단계, 프롬프트 및 평가 설정에 따라 결과가 달라질 수 있다.
- 실제 운영 성능과의 차이: 평가 점수가 높더라도 실제 SOC에서 발생하는 오탐, 미탐, 로그 결손 및 운영 환경의 복잡성을 동일하게 처리할 수 있다고 단정할 수 없다.
따라서 ExCyTIn-Bench의 점수는 특정 평가 환경에서 측정한 AI 에이전트의 사이버 위협 조사 능력으로 해석해야 한다.
마이크로소프트는 ExCyTIn-Bench의 소스코드와 데이터셋을 공개하여 연구자와 보안 제품 개발자가 활용할 수 있도록 했다.
공개된 실행 환경은 Python과 Docker 기반이며, MySQL 데이터베이스를 이용하여 모의 공격 로그를 제공한다.
공식 저장소에서는 초기 실행을 위해 다음 구성을 안내한다.
- Python 3.11
- Docker 및 Docker Compose
- MySQL 9.0 컨테이너
- 비식별화된 보안 로그 데이터셋
- LLM API 연결 환경
8개 사고 데이터베이스를 개별 컨테이너로 구성하는 경우 약 10GB의 디스크 공간이 필요하며, 전체 데이터를 단일 데이터베이스로 구성하는 경우 약 33GB의 공간이 필요하다고 안내한다.[4]
ExCyTIn-Bench는 AI 기반 보안관제 제품의 성능 평가, 자동화된 침해사고 조사 연구, 보안 에이전트의 도구 활용 전략 비교 및 강화학습 기반 에이전트 개발 등에 활용할 수 있다.
- ↑ 1.0 1.1 1.2 1.3 1.4 Yiran Wu 외, ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation, Proceedings of the 43rd International Conference on Machine Learning, PMLR Vol. 306, pp. 136937–136980, 2026-07.
- ↑ 2.0 2.1 Anand Mudgerikar, Microsoft raises the bar: A smarter way to measure AI for cybersecurity, Microsoft Security Blog, 2025-10-14.
- ↑ Yiran Wu 외, ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation, arXiv:2507.14201, 최초 공개 2025-07-14.
- ↑ 4.0 4.1 4.2 4.3 Microsoft, ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation, GitHub 공식 저장소, 확인: 2026-10-22.