DDNN (신경망, 2017년)

DDNN(Distributed Deep Neural Network, 2017년)은 단일 기기에서 실행되는 신경망을 클라우드, 엣지, 디바이스 계층에 분산하여 협력적으로 추론을 수행하는 구조로, 입력 데이터의 특성에 따라 로컬 또는 클라우드에서 단계적으로 계산을 수행함으로써 지연(latency)과 통신 비용을 줄이는 것을 목표로 한다.

개요

DDNN은 분산 환경에서 신경망 일부를 로컬 디바이스에 배치하고, 나머지를 엣지 혹은 클라우드에 배치하는 계층적 구조를 가진다. 입력은 로컬 디바이스에서 처리되며, 로컬 모델이 충분한 확신(confidence)을 갖지 못할 경우 특징 벡터(feature vector)만 상위 계층으로 전달되어 추가 추론을 수행한다. 이는 분산 환경에서 효율적인 추론을 위한 협력적 인공지능(Collaborative Intelligence) 구조의 초기 형태로 평가된다.

구조

DDNN의 구조는 다음과 같은 계층적 요소로 이루어진다.

• 로컬 디바이스(Local Device): 입력 데이터를 직접 수집하고 소형 신경망을 통해 1차 추론을 수행한다.
• 로컬 종료(Local Exit): 로컬 신경망의 확신도가 충분할 경우 바로 예측을 내리는 조기 종료 지점이다.
• 엣지/클라우드 계층: 로컬에서 확신도가 낮을 경우 특징 벡터만 전달받아 더 깊은 신경망을 실행하여 최종 추론을 수행한다.
• 집계기(Aggregator): 여러 디바이스에서 전달된 특징을 결합하여 공동 추론을 수행할 수 있다.

동작 방식

로컬 추론

입력은 디바이스에서 바로 처리되며, 로컬 신경망은 특징을 추출한 뒤 예측 확률 분포를 계산한다. 예측의 확신도가 임계값을 넘으면 로컬 종료 지점에서 결과를 확정한다.

계층적 전달

확신도가 부족할 경우, 원본 데이터가 아닌 특징 벡터만 상위 계층(엣지 또는 클라우드)의 신경망으로 전송된다. 이는 통신 비용을 크게 줄이는 핵심 아이디어이다.

클라우드 추론

클라우드에서는 더 깊고 큰 신경망을 사용하여 보다 정확한 최종 추론을 수행한다. 여러 디바이스의 특징을 결합하는 방식도 가능하여 공동 추론 성능을 높일 수 있다.

특징

• 계층적 분산 추론 구조를 통해 지연(latency)을 줄이고 효율적인 계산을 가능하게 한다.
• 로컬 조기 종료를 통해 불필요한 통신을 최소화한다.
• 분산 환경에서 여러 디바이스의 특징을 조합하여 정확도를 높일 수 있다.
• 원본 데이터를 전송하지 않기 때문에 개인정보 보호 측면에서도 유리하다.

장점

• 통신 비용 감소
• 낮은 지연시간 기반 실시간 추론 가능
• 디바이스 자원을 활용한 효율적 분산 처리
• 네트워크 혼잡 상황에서도 안정적인 추론 가능

단점

• 계층 간 모델 관리가 필요하며 구조가 복잡해질 수 있다.
• 로컬 모델의 정확도에 따라 조기 종료 품질이 달라진다.
• 각 계층의 모델을 동시에 학습·동기화해야 하는 부담이 존재한다.

같이 보기

• BranchyNet
• 모바일 엣지 컴퓨팅
• 분산 컴퓨팅
• 신경망 분산 학습
• 모델 경량화

참고 문헌

• Teerapittayanon, Surat; McDanel, Bradley; Kung, H. T. Distributed Deep Neural Networks over the Cloud, the Edge and End Devices. 2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS).