브랜치넷

BranchyNet(브랜치넷)은 신경망의 중간 계층에 여러 개의 조기 종료 지점(exit branch)을 추가하여, 입력 데이터의 난이도에 따라 계산량을 동적으로 조절하는 신경망 구조이다. 이를 통해 쉬운 입력은 빠르게 처리하고, 어려운 입력만 전체 모델을 통과시키는 방식으로 추론 속도를 크게 향상시킨다.

개요

BranchyNet은 입력 샘플의 난이도가 서로 다르다는 점에 착안하여 설계된 구조로, 쉬운 샘플은 적은 수의 레이어만 통과해도 올바른 예측이 가능하다는 가정에 기반한다. 이를 위해 네트워크의 여러 중간 지점에 분기(branch) 형태의 조기 분류기를 배치하고, 각 분류기의 confidence score를 기준으로 조기 종료 여부를 결정한다.

구조

BranchyNet의 일반적인 구조는 다음과 같은 특징을 가진다.

• 신경망의 여러 중간 위치에 exit branch를 배치한다.
• 각 exit branch는 보통 1~2개의 경량 분류기(예: Linear 또는 작은 CNN)로 구성된다.
• 각 exit 지점에서 예측 확률의 엔트로피 또는 confidence score를 계산한다.
• 사전 정의된 임계값을 넘으면 해당 지점에서 예측을 종료한다.

동작 방식

조기 종료(Early Exiting)

입력은 순차적으로 모델의 앞쪽 레이어를 통과하면서, 각 exit branch에서 다음과 같은 절차를 거친다.

1. exit branch에서 예측 확률 분포를 계산한다.
2. 확신도(confidence)가 임계값 이상인지 평가한다.
3. 조건을 만족하면 해당 출력을 최종 예측으로 채택하고 중단한다.
4. 조건을 만족하지 않으면 다음 레이어로 계속 진행한다.

이 방식은 쉬운 샘플은 초기에 분류하고, 어려운 샘플만 마지막까지 처리하는 동적 계산 전략을 제공한다.

확신도 계산

확신도는 일반적으로 예측 확률의 엔트로피(entropy)나 최대 확률값 등을 사용해 계산한다. 엔트로피가 낮을수록 예측이 명확하다고 판단하여 조기 종료 가능성이 높아진다.

특징

• 입력 난이도에 따라 계산량을 자동으로 조절할 수 있다.
• 전체 모델을 매번 통과할 필요가 없어 추론 지연(latency)을 크게 줄일 수 있다.
• 모바일·엣지 환경에서 효율적으로 작동하며 에너지 사용량 절감에 유리하다.
• 모든 exit branch를 학습해야 하므로 모델 구조가 다소 복잡해질 수 있다.

장점

• 추론 속도 향상
• 계산 비용 및 에너지 절약
• 쉬운 샘플에 대한 빠른 응답 가능

단점

• exit branch 추가로 모델 구조가 복잡해짐
• 잘못된 조기 종료로 인해 정확도에 영향을 줄 수 있음
• 적절한 임계값 설정이 필요함

같이 보기

• 전문가 조합 (인공지능)
• 추측 디코딩
• 신경망 분산 학습
• 모델 경량화
• 딥러닝

참고 문헌

• Teerapittayanon, Surat; Bradley McDanel; Hsiang-Tsung Kung. BranchyNet: Fast Inference via Early Exiting from Deep Neural Networks. 2016 23rd International Conference on Pattern Recognition (ICPR).