이미지 분할
더 많은 작업
- Image segmentation; 이미지 분할
- 영상을 픽셀 단위로 나눠 각 픽셀이 어느 물체나 영역에 속하는지 정하는 컴퓨터 비전 과제
이미지 분할(image segmentation)은 디지털 영상을 의미 있는 영역들로 나누는 일이다. 결과는 영상과 같은 크기의 지도(마스크)로, 모든 픽셀에 "도로", "사람 3번", "배경" 같은 표지가 붙는다. 영상 전체에 표지 하나를 붙이는 이미지 분류, 물체 둘레에 사각형 상자를 치는 객체 탐지보다 한 단계 정밀한 과제로, 물체의 정확한 모양과 경계를 알아야 하는 의료 영상 분석, 자율주행차, 사진 편집, 위성 영상 분석에 쓰인다. '세그멘테이션', '영상 분할'이라고도 한다.
컴퓨터 비전 초기에는 밝기와 색의 차이, 경계, 그래프 구조를 이용한 고전 기법이 중심이었다. 2015년 완전 합성곱 신경망(FCN)과 U-Net 이후 합성곱 신경망으로 픽셀마다 범주를 맞히는 딥러닝 방식이 주류가 되었고, 2020년대에는 트랜스포머 기반의 통합 모형과, 점이나 상자 하나로 무엇이든 잘라 내는 메타의 Segment Anything 같은 파운데이션 모델로 발전했다.
분할은 무엇을 구분하느냐에 따라 나뉜다. 하늘·도로·풀밭처럼 개수를 세지 않는 무정형 영역을 '스터프'(stuff), 사람·자동차처럼 하나하나 셀 수 있는 물체를 '싱'(thing)이라 부른다.[1]
| 구분 | 의미론적 분할 | 인스턴스 분할 | 파놉틱 분할 |
|---|---|---|---|
| 영문 | semantic segmentation | instance segmentation | panoptic segmentation |
| 출력 | 픽셀마다 범주 표지 | 물체마다 마스크와 범주 | 픽셀마다 범주 표지 + 물체 번호 |
| 같은 범주의 물체 둘 | 구분하지 않음(둘 다 "사람") | 구분함(사람 1, 사람 2) | 구분함 |
| 다루는 대상 | 스터프와 싱 모두 | 싱만 | 스터프와 싱 모두 |
| 마스크 겹침 | 없음(픽셀당 표지 하나) | 물체 마스크끼리 겹칠 수 있음 | 없음(픽셀당 하나) |
| 대표 지표 | mIoU | 마스크 AP | PQ |
| 대표 모형 | FCN, U-Net, DeepLab | Mask R-CNN | Panoptic FPN, Mask2Former |
파놉틱 분할은 2018년 키릴로프 등이 의미론적 분할과 인스턴스 분할을 하나로 합친 과제로 제안했다.[1] 이 밖에 영상 프레임 사이로 물체를 따라가는 비디오 객체 분할, 사람이 찍은 점·상자를 단서로 자르는 상호작용 분할, 사람·동물을 배경에서 떼어 내는 전경 분할(매팅), 3차원 의료 영상의 볼륨 분할, 라이다 점구름 분할 같은 변형이 있다.
딥러닝 이전 기법은 학습 데이터 없이 영상의 밝기·색·질감의 통계나 공간 구조만으로 영역을 나눈다. 범주를 알아맞히지는 못하지만 계산이 가볍고, 지금도 전처리나 단순한 산업 영상, 주석 도구에 쓰인다.
| 계열 | 원리 | 대표 기법 | 약점 |
|---|---|---|---|
| 임계값 | 밝기가 기준값보다 큰지 작은지로 픽셀을 둘 이상으로 나눈다 | 오츠 방법(1979): 히스토그램을 두 무리로 나눌 때 무리 사이 분산이 최대가 되는 값을 자동으로 고른다[2], 지역마다 기준을 달리하는 적응 임계값 | 조명이 고르지 않거나 물체와 배경 밝기가 겹치면 실패 |
| 경계 기반 | 밝기가 급히 변하는 경계를 찾아 닫힌 윤곽을 만든다 | 소벨·캐니 경계 검출, 능동 윤곽(snakes), 레벨셋 | 경계가 끊기거나 잡음이 많으면 영역이 닫히지 않는다 |
| 영역 기반 | 비슷한 이웃 픽셀을 묶어 영역을 키우거나, 큰 영역을 쪼갠 뒤 합친다 | 씨앗 영역 성장(seeded region growing), 분할·병합 | 씨앗 위치와 유사도 기준에 결과가 민감하다 |
| 군집화 | 픽셀을 색·위치 특징 공간의 점으로 보고 묶는다 | K-평균 군집화, 평균 이동(mean shift), SLIC 슈퍼픽셀 | 군집 수나 대역폭을 정해야 하고, 의미 단위와 어긋난다 |
| 워터셰드 | 기울기 크기를 지형으로 보고 물을 채워 유역이 만나는 선을 경계로 삼는다 | 빈센트·소일(1991)의 침수 모의 알고리즘[3], 표지(marker) 기반 워터셰드 | 국소 최솟값마다 영역이 생겨 과분할되기 쉽다. 표지로 씨앗을 제한해 보완 |
| 그래프 기반 | 픽셀을 꼭짓점, 이웃 간 유사도를 간선 가중치로 둔 그래프를 자른다 | 정규화 컷(시·말리크, 2000)[4], 그래프 컷(보이코프·졸리, 2001)[5], GrabCut(2004)[6] | 계산량이 크고, 사용자가 전경·배경 단서를 줘야 하는 경우가 많다 |
| 확률 모형 | 픽셀 표지를 이웃끼리 영향을 주는 마르코프 랜덤 필드(MRF)·조건부 랜덤 필드(CRF)로 보고 가장 그럴듯한 표지 배치를 찾는다 | MRF+MAP 추정, 완전 연결 CRF | 추론이 무겁다. 초기 딥러닝 분할의 경계 다듬기용 후처리로도 쓰였다 |
그래프 컷은 사용자가 전경과 배경에 몇 획을 그으면, 그 단서와 이웃 픽셀의 유사도로 정의한 에너지를 최소 컷(최대 유량) 계산으로 한 번에 최소화한다. GrabCut은 이를 반복해 사각형 하나만으로 전경을 떼어 내게 만들었다.
롱, 셸해머, 대럴의 완전 합성곱 신경망(Fully Convolutional Network, FCN)은 AlexNet, VGG, GoogLeNet 같은 이미지 분류 신경망의 완전 연결층을 합성곱층으로 바꿔, 임의 크기의 입력에 대해 픽셀마다 범주 점수를 내는 지도를 출력하게 했다. 깊은 층의 거친 의미 정보와 얕은 층의 세밀한 위치 정보를 건너뛰기 연결로 합쳐 해상도를 되살렸다. PASCAL VOC 2012에서 평균 IoU 62.2%로 이전 최고 기록보다 상대적으로 20% 높였고, 영상 한 장 추론에 약 0.3초가 걸렸다.[7] 분류용으로 미리 학습한 신경망을 분할에 옮겨 쓰는 전이 학습 방식과, 끝에서 끝까지(end-to-end) 픽셀 단위로 학습하는 틀이 이후 분할 연구의 기본이 되었다.
분류 신경망은 내려갈수록 해상도가 줄어들기 때문에, 분할에서는 줄어든 특징 지도를 원래 크기로 되살리는 디코더를 붙인다. 론네베르거, 피셔, 브록스의 U-Net(2015)은 해상도를 줄이며 문맥을 모으는 수축 경로와 이를 대칭으로 되살리는 확장 경로를 U자로 잇고, 같은 해상도의 인코더 특징을 디코더에 그대로 이어 붙여(skip connection) 경계를 정밀하게 복원한다. 강한 데이터 증강 덕분에 주석이 달린 영상이 매우 적어도 학습할 수 있었고, 전자 현미경 신경 구조 분할 대회(ISBI)에서 기존 최고 방법을 앞섰으며 ISBI 2015 세포 추적 대회의 투과광 부문에서 큰 차이로 우승했다. 512×512 영상 하나를 당시 GPU에서 1초 안에 처리했다.[8] 데이터가 적은 의료 영상 분할의 기본 구조가 되었고, 3차원 볼륨용 변형도 나왔다. 확산 모델의 잡음 예측 신경망도 U-Net 구조를 쓴다(확산 모델 참고). 비슷한 시기의 SegNet(2015)은 인코더의 최대 풀링 위치를 기억해 디코더의 업샘플링에 쓰는 방식으로 메모리를 줄였다.[9]
구글의 DeepLab 계열은 해상도를 크게 줄이지 않고도 넓은 범위를 보도록 필터 사이에 구멍을 둔 아트러스(atrous, dilated) 합성곱을 쓴다. 여러 간격의 아트러스 합성곱을 나란히 적용하는 아트러스 공간 피라미드 풀링(ASPP)으로 크기가 다른 물체를 함께 잡고, 첫 판들은 완전 연결 CRF로 경계를 다듬었다. 2016년 판(DeepLab v2)은 PASCAL VOC 2012 시험 세트에서 mIoU 79.7%를 기록했다.[10] 첫 판은 2014년에 나왔고, 2017년 v3에서 CRF를 빼고 ASPP를 다듬었으며, 2018년 v3+에서 디코더를 더했다.[11][12][13] 영상을 여러 크기의 격자로 풀링해 전역 문맥을 모으는 PSPNet(CVPR 2017)도 같은 문제의식에서 나왔다.[14]
메타가 2023년 4월 공개한 Segment Anything은 분할을 "프롬프트를 받아 마스크를 내는" 과제로 다시 정의했다. 사용자가 점, 상자, 대략적인 마스크로 대상을 가리키면 SAM(Segment Anything Model)이 해당 물체의 마스크를 낸다. 모형을 쓰며 주석을 고치는 데이터 수집 순환으로 영상 1,100만 장, 마스크 10억 개 이상의 SA-1B 데이터셋을 만들었고, 따로 학습하지 않은 새 영상 분포와 과제에도 제로샷으로 옮겨 가 기존 지도 학습 결과에 맞먹거나 앞서는 경우가 많았다.[18] 범주를 맞히지는 않고 "무엇이든 경계를 따라 자르는" 데 집중한 모형이라, 다른 탐지기나 비전-언어 모델과 묶어 쓰는 경우가 많다.
| 판 | 공개 | 주요 변화 |
|---|---|---|
| SAM | 2023년 4월 | 점·상자·마스크 프롬프트로 이미지 분할. SA-1B 데이터셋 공개[18] |
| SAM 2 | 2024년 7월 29일 | 이미지와 비디오를 함께 다룬다. 스트리밍 메모리로 프레임 사이 물체를 추적. 비디오에서 기존보다 상호작용 3분의 1로 더 정확하고, 이미지에서는 SAM보다 6배 빠르다. 약 44fps. 코드와 가중치는 아파치 2.0, 비디오 약 5만 1천 개의 SA-V 데이터셋 공개[19][20] |
| SAM 3 | 2025년 11월 | 짧은 명사구나 예시 이미지로 개념을 지정하면 이미지·비디오에서 그 개념의 모든 개체를 찾아 분할·추적하는 프롬프트 개념 분할(PCS). 400만 개 고유 개념의 데이터와 SA-Co 벤치마크 공개[21] |
| SAM 3.1 | 2026년 3월 | SAM 3를 대체하는 갱신판. 한 번의 순전파로 최대 16개 물체를 추적해 처리량을 높였다[22] |
| 연도 | 모형 | 과제 | 의의 |
|---|---|---|---|
| 2014~2015 | FCN | 의미론적 | 완전 합성곱으로 픽셀 단위 end-to-end 학습[7] |
| 2015 | U-Net | 의미론적(의료) | 대칭 인코더-디코더와 건너뛰기 연결[8] |
| 2014~2018 | DeepLab v1~v3+ | 의미론적 | 아트러스 합성곱, ASPP[10] |
| 2017 | Mask R-CNN | 인스턴스 | 탐지기에 마스크 가지 추가[15] |
| 2018 | 파놉틱 분할 정의 | 파놉틱 | 과제 통합과 PQ 지표[1] |
| 2021 | SegFormer, Mask2Former | 의미론적/통합 | 트랜스포머 기반, 한 구조로 세 과제 |
| 2023 | SAM | 프롬프트 분할 | 분할 파운데이션 모델[18] |
| 2024 | SAM 2 | 이미지·비디오 | 메모리 기반 비디오 분할 |
| 2025 | SAM 3 | 개념 분할 | 텍스트·예시로 개념 지정[21] |
예측 마스크를 , 정답 마스크를 라 하고, 픽셀 단위로 참 양성(TP), 거짓 양성(FP), 거짓 음성(FN)을 센다(혼동 행렬 참고).
| 지표 | 정의 | 설명 |
|---|---|---|
| 픽셀 정확도 | 맞힌 픽셀 / 전체 픽셀 | 직관적이지만 배경처럼 큰 범주가 점수를 지배해, 작은 물체를 다 놓쳐도 높게 나올 수 있다 |
| IoU(자카드 지수) | 겹친 넓이를 합친 넓이로 나눈 값. 0~1 | |
| mIoU | 범주별 IoU의 평균 | 의미론적 분할의 표준 지표. 범주 크기와 무관하게 평균하므로 작은 범주도 같은 무게를 갖는다 |
| Dice 계수 | 픽셀 단위 F1 점수와 같다. 이므로 항상 IoU 이상이다. 의료 영상 분할 평가에 쓰이며, 그대로 손실 함수(Dice 손실)로도 쓴다 | |
| 마스크 AP | 마스크 IoU를 기준으로 맞음·틀림을 판정해 구한 평균 정밀도 | 인스턴스 분할 지표. COCO는 IoU 기준 0.5~0.95에서 평균한다 |
| PQ(파놉틱 품질) | IoU 0.5 초과로 짝지어진 예측·정답 쌍을 TP로 본다. 분할 품질(SQ)과 인식 품질(RQ)의 곱으로 쪼개진다[1] |
경계가 중요한 응용에서는 경계 부근만 따로 평가하는 경계 F 점수나 하우스도르프 거리도 쓴다.
| 데이터셋 | 공개 | 내용 |
|---|---|---|
| PASCAL VOC | 2005~2012년 대회 | 20개 물체 범주와 배경. 2012년판의 분할 과제가 초기 딥러닝 분할 모형의 표준 비교 기준이었다(FCN, DeepLab의 기록이 이 데이터 기준) |
| COCO | 2014년 | 마이크로소프트 주도. 일상 장면 32만 8천 장, 91개 물체 종류, 표지 붙은 개체 250만 개.[23] 인스턴스·파놉틱 분할의 대표 벤치마크 |
| Cityscapes | 2016년 | 50개 도시의 도로 장면. 정밀 주석 5,000장, 대략 주석 20,000장.[24] 자율주행 분할의 대표 벤치마크 |
| ADE20K | 2017년 | 실내외 장면 파싱. Mask2Former, SegFormer 등의 의미론적 분할 비교에 쓰인다 |
| SA-1B | 2023년 | 1,100만 장, 마스크 10억 개 이상. 범주 없는 마스크만 담은 SAM 학습용 데이터[18] |
분할 주석은 물체 둘레를 픽셀 단위로 그려야 하므로 분류·탐지 주석보다 훨씬 비싸다. 그래서 상자나 점만으로 학습하는 약지도 분할, 적은 예시로 새 범주를 배우는 퓨샷 분할, SAM처럼 모형이 주석 작업을 돕는 데이터 엔진 방식이 연구되었다.
- 의료 영상: CT·MRI에서 장기, 종양, 혈관의 경계를 그려 크기를 재고 방사선 치료 범위를 정하며, 병리 슬라이드에서 세포를 나눈다. 데이터가 적고 3차원이며 경계가 흐릿한 것이 어려움이며, U-Net은 처음부터 이런 생물의학 영상을 겨냥해 설계되었다. 진단에 쓰이는 분할 소프트웨어는 의료기기 소프트웨어로 인허가 대상이 될 수 있다.
- 자율주행: 카메라 영상에서 차로, 주행 가능 영역, 보행자, 차량을 픽셀 단위로 구분하고, 라이다 점구름도 같은 방식으로 나눈다. 실시간성이 중요해 가벼운 모형과 정확도 사이의 균형이 핵심이다(자율주행차).
- 사진·영상 편집: 배경 제거, 인물 모드의 배경 흐림, 화상 회의의 가상 배경, 물체 선택 도구
- 위성·항공 영상: 토지 피복 분류, 건물·도로 추출, 재해 피해 지역 파악
- 산업·농업: 제품 결함 영역 검출, 작물과 잡초 구분
- 로봇: 물체를 집기 위해 모양과 위치를 정확히 파악
- 데이터 주석: SAM 같은 모형으로 주석 초안을 만들어 사람의 작업량을 줄인다
- ↑ 1.0 1.1 1.2 1.3 Alexander Kirillov, Kaiming He, Ross Girshick, Carsten Rother, Piotr Dollár, 〈Panoptic Segmentation〉, CVPR 2019. arXiv:1801.00868
- ↑ Nobuyuki Otsu, 〈A Threshold Selection Method from Gray-Level Histograms〉, IEEE Transactions on Systems, Man, and Cybernetics 9(1), 1979. doi:10.1109/TSMC.1979.4310076
- ↑ Luc Vincent, Pierre Soille, 〈Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations〉, IEEE TPAMI 13(6), 1991. doi:10.1109/34.87344
- ↑ Jianbo Shi, Jitendra Malik, 〈Normalized Cuts and Image Segmentation〉, IEEE TPAMI 22(8), 2000. doi:10.1109/34.868688
- ↑ Yuri Boykov, Marie-Pierre Jolly, 〈Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images〉, ICCV 2001. doi:10.1109/ICCV.2001.937505
- ↑ Carsten Rother, Vladimir Kolmogorov, Andrew Blake, 〈"GrabCut": Interactive Foreground Extraction Using Iterated Graph Cuts〉, ACM Transactions on Graphics 23(3), 2004. doi:10.1145/1015706.1015720
- ↑ 7.0 7.1 Jonathan Long, Evan Shelhamer, Trevor Darrell, 〈Fully Convolutional Networks for Semantic Segmentation〉, CVPR 2015. arXiv:1411.4038
- ↑ 8.0 8.1 Olaf Ronneberger, Philipp Fischer, Thomas Brox, 〈U-Net: Convolutional Networks for Biomedical Image Segmentation〉, MICCAI 2015. arXiv:1505.04597
- ↑ Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, 〈SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation〉, 2015. arXiv:1511.00561
- ↑ 10.0 10.1 Liang-Chieh Chen, George Papandreou, Iasonas Kokkinos, Kevin Murphy, Alan L. Yuille, 〈DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs〉, IEEE TPAMI, 2017. arXiv:1606.00915
- ↑ Liang-Chieh Chen 외, 〈Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs〉, 2014. arXiv:1412.7062
- ↑ Liang-Chieh Chen 외, 〈Rethinking Atrous Convolution for Semantic Image Segmentation〉, 2017. arXiv:1706.05587
- ↑ Liang-Chieh Chen 외, 〈Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation〉, ECCV 2018. arXiv:1802.02611
- ↑ Hengshuang Zhao 외, 〈Pyramid Scene Parsing Network〉, CVPR 2017. arXiv:1612.01105
- ↑ 15.0 15.1 Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, 〈Mask R-CNN〉, ICCV 2017. arXiv:1703.06870
- ↑ Enze Xie 외, 〈SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers〉, NeurIPS 2021. arXiv:2105.15203
- ↑ Bowen Cheng, Ishan Misra, Alexander G. Schwing, Alexander Kirillov, Rohit Girdhar, 〈Masked-attention Mask Transformer for Universal Image Segmentation〉, CVPR 2022. arXiv:2112.01527
- ↑ 18.0 18.1 18.2 18.3 Alexander Kirillov 외, 〈Segment Anything〉, ICCV 2023. arXiv:2304.02643
- ↑ Meta AI, Introducing SAM 2: The next generation of Meta Segment Anything Model for videos and images, 2024-07-29.
- ↑ Nikhila Ravi 외, 〈SAM 2: Segment Anything in Images and Videos〉, 2024. arXiv:2408.00714
- ↑ 21.0 21.1 Nicolas Carion 외, 〈SAM 3: Segment Anything with Concepts〉, 2025. arXiv:2511.16719
- ↑ Meta AI, Segment Anything Model 3, 2026-03-27 갱신.
- ↑ Tsung-Yi Lin 외, 〈Microsoft COCO: Common Objects in Context〉, ECCV 2014. arXiv:1405.0312
- ↑ Marius Cordts 외, 〈The Cityscapes Dataset for Semantic Urban Scene Understanding〉, CVPR 2016. arXiv:1604.01685
- Richard Szeliski, 《Computer Vision: Algorithms and Applications》 2판, Springer, 2022. 저자 공개본
- facebookresearch/segment-anything 저장소