SqueezeNet 편집하기

SqueezeNet(영어: SqueezeNet)은 모바일 및 임베디드 환경에서 매우 적은 파라미터 수로도 높은 정확도를 달성하도록 설계된 경량 컨볼루션 신경망(CNN) 구조이다.
==개요==
SqueezeNet은 2016년 발표된 모델로, AlexNet과 비슷한 수준의 이미지 분류 성능을 유지하면서도 파라미터 수를 약 50배 줄이는 것을 목표로 설계되었다.  모델 크기가 매우 작아(최소 0.5MB 수준) 모바일 및 임베디드 장치에서의 사용에 적합하다.
==역사==
SqueezeNet은 캘리포니아 대학교 버클리(UC Berkeley)와 스탠퍼드(Stanford) 대학의 연구진에 의해 제안되었다.  논문 제목은 “SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size”이며,  딥러닝의 효율적 배포와 경량화를 위한 새로운 방향성을 제시했다.  이후 SqueezeNet v1.1이 등장하여 연산량을 줄이면서도 비슷한 정확도를 유지하였다.
==아키텍처==
SqueezeNet의 핵심은 “Fire Module”이라 불리는 블록 구조이다.  각 Fire Module은 “squeeze” 단계와 “expand” 단계로 구성된다.
===Fire Module 구조===
*squeeze 단계: 1×1 컨볼루션을 사용하여 채널 수를 축소한다.
*expand 단계: 1×1 컨볼루션과 3×3 컨볼루션을 병렬로 적용하여 채널 수를 확장한다.
*두 단계의 결과를 합쳐 다음 계층으로 전달한다.
===전체 네트워크 구조===

# Conv1: 7×7 컨볼루션, 스트라이드 2 
# Max Pooling  
# Fire2 ~ Fire9 모듈 반복  
# Conv10: 1×1 컨볼루션  
# Global Average Pooling  
# Softmax 출력

Fire 모듈 내부의 처리 과정은 다음과 같다.
#Squeeze (1×1 컨볼루션으로 채널 축소)
#Expand (1×1, 3×3 컨볼루션으로 채널 확장)
#Concatenate (출력 결합)
#ReLU 활성화 적용
==주요 설계 전략==
*3×3 대신 1×1 컨볼루션을 많이 사용하여 파라미터 수를 감소시킨다.
*입력 채널 수를 줄이는 “squeeze” 단계를 통해 전체 연산량을 줄인다.
*다운샘플링을 네트워크 후반부에 배치하여 특징 표현의 손실을 최소화한다.
==주요 버전==
*SqueezeNet v1.0
**원본 논문 버전.
**Fire 모듈 9개로 구성.
**AlexNet 대비 50배 적은 파라미터로 유사한 정확도 달성.
*SqueezeNet v1.1
**구조 간소화 및 계산 효율 향상.
**모델 크기는 약 0.47MB 수준.
==장점==
*매우 작은 모델 크기로 모바일 및 임베디드 환경에 최적화되어 있다.
*파라미터가 적어 메모리 사용량과 저장 공간 요구가 낮다.
*학습 및 추론 속도가 빠르다.
*단순한 구조로 전이학습(transfer learning)에 활용하기 쉽다.
==한계==
*대형 모델에 비해 표현력과 일반화 성능이 다소 떨어진다.
*최신 딥러닝 기술(스킵 연결, 배치정규화 등)이 기본적으로 포함되어 있지 않다.
*매우 복잡한 이미지나 고해상도 데이터셋에서는 성능 저하가 발생할 수 있다.
==같이 보기==
*[[MobileNet]]
*[[ShuffleNet]]
*[[EfficientNet]]
*[[ResNet]]
*[[AlexNet]]
==참고 문헌==
*Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally, Kurt Keutzer, "SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size," arXiv:1602.07360, 2016.
*Ian Goodfellow, Yoshua Bengio, Aaron Courville, "Deep Learning," MIT Press, 2016.
==각주==
없음
[[분류:인공지능]]
[[분류:딥 러닝]]