Wide ResNet

Wide ResNet(영어: Wide Residual Network, 축약 WRN)은 ResNet 구조의 “깊이(Depth)”를 늘리는 대신 “폭(Width)”을 확장하여 성능을 향상시킨 변형 아키텍처로, 세르게이 자고루이코(Sergey Zagoruyko)와 니코스 코모다키스(Nikos Komodakis)가 2016년에 제안하였다.

개요

Wide ResNet은 기존 ResNet이 층을 깊게 쌓을수록 학습 효율이 떨어지고, 특징 재사용(feature reuse)이 감소하는 문제를 해결하기 위해 제안되었다. 기존의 “더 깊은 네트워크” 접근 대신 “더 넓은 네트워크”로 설계하여, 학습 안정성과 연산 효율을 동시에 높였다. 즉, 깊이를 줄이는 대신 각 층의 채널 수(channel width)를 k배 확장하는 방식을 채택하였다. 이로써 상대적으로 얕은 네트워크에서도 기존보다 높은 정확도를 얻을 수 있게 되었다.

역사

Wide ResNet은 2016년 논문 "Wide Residual Networks"에서 처음 제안되었으며, CIFAR-10, CIFAR-100, SVHN 등 다양한 데이터셋에서 기존 ResNet보다 뛰어난 성능을 보였다. 논문에서는 ResNet-1000과 같은 초심층 모델보다 훨씬 얕은 WRN-28-10이 더 나은 성능을 기록함을 보였다. 이 연구는 “깊이만 늘리는 것이 최선은 아니다”라는 인사이트를 제공하여 이후 모델 설계 방향에 영향을 미쳤다.

아키텍처

Wide ResNet은 기본적인 ResNet의 잔차 블록 구조를 유지하면서, 폭(widening factor, k)을 확장한 것이 핵심이다.

명명 규칙

WRN-n-k 형태로 표기된다.

• n: 전체 층 수(예: 28, 40 등)
• k: 폭 인자(예: 2, 4, 8, 10 등)

예를 들어 WRN-28-10은 총 28층 구조에 폭 인자 10을 적용한 모델을 의미한다.

블록 구조

기본적으로 ResNet의 Basic Block을 사용하되, 각 컨볼루션 층의 채널 수를 k배 확장한다. 드롭아웃(dropout)이 블록 내부에 포함될 수 있으며, 이는 과적합 방지와 학습 안정성 향상에 도움을 준다.

• Basic Block 구조:
  • 3×3 컨볼루션 → 배치 정규화 → ReLU → 드롭아웃 → 3×3 컨볼루션 → 배치 정규화 → 잔차 연결 → ReLU

전체 구조 (CIFAR 데이터셋 기준)

• 1. Conv1: 3×3 컨볼루션, 16채널
• 2. Conv2_x: k×16 채널의 잔차 블록 × N개
• 3. Conv3_x: k×32 채널의 잔차 블록 × N개
• 4. Conv4_x: k×64 채널의 잔차 블록 × N개
• 5. Global Average Pooling
• 6. Fully Connected Layer (출력 클래스 수만큼)

여기서 N = (n − 4) / 6 으로 계산된다. 예를 들어 WRN-28-10의 경우 N = (28 − 4) / 6 = 4이며, 각 그룹은 4개의 잔차 블록으로 구성된다.

주요 버전 및 구조

WRN-16-8

• 깊이: 16층
• 폭 인자: 8
• 구조: Conv 블록 그룹마다 2개의 잔차 블록 포함
• 특징: 얕고 빠른 학습, 적은 연산량 대비 우수한 정확도

WRN-28-10

• 깊이: 28층
• 폭 인자: 10
• 구조: Conv2_x ~ Conv4_x 각각 4개의 잔차 블록
• 특징: CIFAR-10/100에서 최고 수준의 성능을 달성한 대표 버전

WRN-40-4

• 깊이: 40층
• 폭 인자: 4
• 구조: Conv2_x ~ Conv4_x 각각 6개의 잔차 블록
• 특징: 깊이와 폭의 균형이 잘 맞아 효율성과 성능의 절충형

Wide-ResNet-50-2

• 깊이: 50층
• 폭 인자: 2
• 구조: ResNet-50의 병목 블록(bottleneck)을 기반으로 폭 확장 적용
• 특징: ImageNet용으로 설계되었으며, torchvision 등에서 기본 백본으로 사용됨

기술적 특징

• 깊이를 줄이고 폭을 늘려 학습 효율과 성능을 동시에 개선함
• 스킵 연결(skip connection)을 유지하여 기울기 소실 문제를 방지함
• 드롭아웃 적용으로 과적합 방지 및 일반화 성능 향상
• GPU 연산 효율이 높으며, 얕은 네트워크라도 높은 표현력을 가짐

성능

WRN-28-10은 CIFAR-10에서 96.0% 이상의 정확도를 달성하였으며, CIFAR-100에서도 기존 ResNet 대비 큰 폭의 개선을 보였다. WRN 구조는 적은 깊이로도 높은 성능을 내면서 학습 속도와 효율성 면에서도 우수하였다.

장점과 한계

장점

• 깊이가 얕아도 높은 정확도를 달성할 수 있다.
• 폭 확장으로 병렬 연산 효율이 높다.
• 드롭아웃과 배치 정규화로 학습 안정성이 향상된다.

한계

• 폭이 커질수록 파라미터 수와 메모리 사용량이 급격히 증가한다.
• 너무 넓은 구조는 과적합 가능성이 높아 데이터 증강이 필수적이다.

같이 보기

• ResNet
• ResNeXt
• DenseNet
• EfficientNet

참고 문헌

• Sergey Zagoruyko, Nikos Komodakis, "Wide Residual Networks," arXiv:1605.07146, 2016.
• Zifeng Wu, Chunhua Shen, Anton van den Hengel, "Wider or Deeper: Revisiting the ResNet Model for Visual Recognition," arXiv:1611.10080, 2016.
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, "Deep Learning," MIT Press, 2016.