ConvNeXt

ConvNeXt(Convolutional Network for the 2020s)는 2022년에 제안된 현대적 합성곱 신경망(CNN) 구조로, 비전 트랜스포머(Vision Transformer)의 설계 철학을 결합하여 기존 CNN의 성능과 효율성을 극대화한 모델이다.

개요

ConvNeXt는 기존 ResNet 구조를 기반으로 하지만, 트랜스포머의 설계 원칙을 도입하여 단순한 CNN 구조로도 최신 비전 모델과 경쟁 가능한 성능을 달성하였다. 주요 목표는 합성곱 기반 네트워크의 장점을 유지하면서, 트랜스포머 수준의 표현력과 확장성을 확보하는 것이다.

주요 특징

• 대형 커널 사용: 기존 3×3 커널 대신 더 큰 7×7 커널을 사용하여 넓은 수용 영역(receptive field)을 확보하였다.
• 활성 함수 변경: ReLU 대신 GELU를 채택하여 더 부드러운 비선형성을 제공한다.
• 정규화 기법 개선: Batch Normalization(BN)을 Layer Normalization(LN)으로 대체하여 학습 안정성을 높였다.
• 구조 단순화: 스테이지(stage)별 블록 수를 (3, 3, 9, 3)으로 조정하여 Swin Transformer와 비슷한 균형 잡힌 계층 구성을 구현하였다.
• Depthwise Convolution 적용: 연산 효율을 높이고 파라미터 수를 줄이기 위해 깊이별 합성곱을 활용하였다.

성능

ConvNeXt는 동일한 연산량(Compute Budget)에서 ResNet-50 대비 현저히 높은 정확도를 달성하였으며, ImageNet 분류 기준에서 Swin Transformer와 유사한 수준의 성능을 보였다. 또한 효율적인 구조 덕분에 GPU 및 TPU 환경에서 병렬 처리 효율이 높다.

구조적 변형

ConvNeXt는 다양한 크기의 모델 변형을 제공한다.

• ConvNeXt-T (Tiny)
• ConvNeXt-S (Small)
• ConvNeXt-B (Base)
• ConvNeXt-L (Large)
• ConvNeXt-XL (Extra Large)

각 모델은 네트워크 깊이와 채널 수를 조절하여 연산량 대비 성능을 균형 있게 조정한다.

응용

• 이미지 분류(Image Classification)
• 객체 탐지(Object Detection)
• 시맨틱 분할(Semantic Segmentation)

ConvNeXt는 트랜스포머 기반 백본(backbone)을 대체할 수 있을 만큼 강력하며, 실시간 시스템에도 적용 가능하다.

같이 보기

• ResNet
• EfficientNet
• MobileNet
• DenseNet
• 비전 트랜스포머

참고 문헌

Liu, Zhuang, et al. "A ConvNet for the 2020s." *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)*. 2022.