SqueezeNet

SqueezeNet(영어: SqueezeNet)은 모바일 및 임베디드 환경에서 매우 적은 파라미터 수로도 높은 정확도를 달성하도록 설계된 경량 컨볼루션 신경망(CNN) 구조이다.

개요

SqueezeNet은 2016년 발표된 모델로, AlexNet과 비슷한 수준의 이미지 분류 성능을 유지하면서도 파라미터 수를 약 50배 줄이는 것을 목표로 설계되었다. 모델 크기가 매우 작아(최소 0.5MB 수준) 모바일 및 임베디드 장치에서의 사용에 적합하다.

역사

SqueezeNet은 캘리포니아 대학교 버클리(UC Berkeley)와 스탠퍼드(Stanford) 대학의 연구진에 의해 제안되었다. 논문 제목은 “SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size”이며, 딥러닝의 효율적 배포와 경량화를 위한 새로운 방향성을 제시했다. 이후 SqueezeNet v1.1이 등장하여 연산량을 줄이면서도 비슷한 정확도를 유지하였다.

아키텍처

SqueezeNet의 핵심은 “Fire Module”이라 불리는 블록 구조이다. 각 Fire Module은 “squeeze” 단계와 “expand” 단계로 구성된다.

Fire Module 구조

• squeeze 단계: 1×1 컨볼루션을 사용하여 채널 수를 축소한다.
• expand 단계: 1×1 컨볼루션과 3×3 컨볼루션을 병렬로 적용하여 채널 수를 확장한다.
• 두 단계의 결과를 합쳐 다음 계층으로 전달한다.

전체 네트워크 구조

1. Conv1: 7×7 컨볼루션, 스트라이드 2
2. Max Pooling
3. Fire2 ~ Fire9 모듈 반복
4. Conv10: 1×1 컨볼루션
5. Global Average Pooling
6. Softmax 출력

Fire 모듈 내부의 처리 과정은 다음과 같다.

1. Squeeze (1×1 컨볼루션으로 채널 축소)
2. Expand (1×1, 3×3 컨볼루션으로 채널 확장)
3. Concatenate (출력 결합)
4. ReLU 활성화 적용

주요 설계 전략

• 3×3 대신 1×1 컨볼루션을 많이 사용하여 파라미터 수를 감소시킨다.
• 입력 채널 수를 줄이는 “squeeze” 단계를 통해 전체 연산량을 줄인다.
• 다운샘플링을 네트워크 후반부에 배치하여 특징 표현의 손실을 최소화한다.

주요 버전

• SqueezeNet v1.0
  • 원본 논문 버전.
  • Fire 모듈 9개로 구성.
  • AlexNet 대비 50배 적은 파라미터로 유사한 정확도 달성.
• SqueezeNet v1.1
  • 구조 간소화 및 계산 효율 향상.
  • 모델 크기는 약 0.47MB 수준.

장점

• 매우 작은 모델 크기로 모바일 및 임베디드 환경에 최적화되어 있다.
• 파라미터가 적어 메모리 사용량과 저장 공간 요구가 낮다.
• 학습 및 추론 속도가 빠르다.
• 단순한 구조로 전이학습(transfer learning)에 활용하기 쉽다.

한계

• 대형 모델에 비해 표현력과 일반화 성능이 다소 떨어진다.
• 최신 딥러닝 기술(스킵 연결, 배치정규화 등)이 기본적으로 포함되어 있지 않다.
• 매우 복잡한 이미지나 고해상도 데이터셋에서는 성능 저하가 발생할 수 있다.

같이 보기

• MobileNet
• ShuffleNet
• EfficientNet
• ResNet
• AlexNet

참고 문헌

• Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally, Kurt Keutzer, "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size," arXiv:1602.07360, 2016.
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, "Deep Learning," MIT Press, 2016.

각주

없음