MoDNN

MoDNN(Mobile Distributed Deep Neural Network, 2017년)은 여러 모바일 디바이스의 연산 자원을 결합하여 하나의 딥러닝 모델을 분산 추론하도록 설계된 기법이다. 단일 스마트폰이나 IoT 기기에서 처리하기 어려운 신경망 연산을 여러 노드가 협력하여 나누어 수행함으로써 추론 속도를 향상시키는 것을 목표로 한다.

개요

MoDNN은 모바일 디바이스들이 서로 연결된 환경에서, 각 디바이스의 CPU·GPU 성능과 배터리 상태를 실시간으로 평가하여 신경망 연산을 동적으로 분할한다. 이를 통해 단일 디바이스로는 실행이 어려운 대규모 신경망도 여러 노드가 협력하여 처리할 수 있도록 한다. MoDNN은 모델 일부를 나누어 실행하는 분산 추론(distributed inference)의 초기 연구 사례로 평가된다.

구조

MoDNN의 기본 구조는 다음과 같은 요소로 이루어진다.

• 모바일 노드(Mobile Nodes): 각 스마트폰이나 IoT 디바이스가 하나의 노드가 되어 모델의 일부 레이어 또는 뉴런을 계산한다.
• 2D 뉴런 분할(2D neuron partitioning): 신경망의 각 레이어를 2차원 격자 형태로 분할하여 여러 노드에 분배한다.
• 동적 분할 스케줄러: 각 디바이스의 처리 속도, 배터리, 네트워크 상태를 고려하여 연산 비율을 조정한다.
• 통신 모듈: 각 노드가 계산한 중간 특징(feature map)을 다른 노드 또는 중앙 노드로 전달한다.

동작 방식

분산 연산

모델의 레이어는 뉴런 단위 또는 타일(tile) 단위로 여러 기기에 나누어 배치된다. 각 노드는 자신에게 할당된 부분 연산을 수행하고, 그 결과를 다른 노드 또는 중앙 조합 모듈에 전달한다.

BODP(Best-Order Dynamic Partitioning)

MoDNN의 핵심 알고리즘은 BODP로, 다음과 같은 기능을 수행한다.

1. 각 노드의 연산 속도와 자원 상태를 측정한다.
2. 모델의 연산을 노드별로 최적의 비율로 나눈다.
3. 네트워크 상태 변화에 따라 분할 비율을 재조정한다.

결과 병합

각 노드가 계산한 출력(feature)을 중앙 결합 모듈이 통합하여 다음 레이어로 전달한다. 이 과정을 반복하여 최종 출력을 얻는다.

특징

• 단일 디바이스의 연산 한계를 여러 모바일 기기의 협업으로 보완할 수 있다.
• 네트워크 상태 및 디바이스 상태에 따라 동적으로 연산량을 분배한다.
• 별도의 클라우드 서버 없이 모바일 환경에서 분산 추론이 가능하다.

장점

• 고성능 디바이스 한 대가 아닌 여러 디바이스의 자원을 합쳐 대규모 모델을 처리할 수 있음
• 실시간 연산 속도 개선
• 모바일 환경에서도 병렬 처리를 활용한 효율성 증가

단점

• 중간 특징(feature map) 송수신으로 인한 네트워크 비용 증가
• 고성능 디바이스가 더 많은 연산을 떠맡아 배터리와 발열 부담이 커질 수 있음
• 백그라운드에서 자원이 사용될 위험이 있어 실제 스마트폰 OS 정책과 충돌
• 프라이버시 및 보안 문제 발생 가능성
• 실용적 제약으로 인해 상용 서비스에서 거의 사용되지 않음

같이 보기

• DDNN
• ADCNN
• Split Computing
• Edge AI
• 신경망 분산 추론

참고 문헌

• Yiping Kang, Jian Li, Xuan Peng, K. Nahrstedt. “MoDNN: Local Distributed Mobile Computing System for Deep Neural Network.” 2017 Design, Automation & Test in Europe Conference (DATE).