항등 함수 편집하기 (부분)

==인공지능 및 딥러닝에서의 활용==
항등 함수는 비록 변화나 특징(feature)을 학습하는 데 직접적으로 사용되는 활성 함수(activation function)로 많이 쓰이진 않지만, 다음과 같은 상황에서 중요한 역할을 한다:
*출력층(Output layer)에서 회귀(regression) 문제를 다룰 때, 활성 함수 없이 단순히 항등 함수를 사용해서 예측 값이 실수 전체 범위에 걸치도록 한다.
*잔차 연결(skip connection) 또는 잔차 블록(residual block)에서 입력을 그대로 더해주는(identity mapping) 역할을 수행함으로써 그래디언트(gradient)가 네트워크 깊이 깊어질 때 소실(vanishing)되지 않도록 돕는다. 예를 들어 ResNet에서는 어떤 층(layer)의 출력과 입력을 더할 때 항등 매핑(identity mapping)이 핵심 구조이다.
*초기화(initialization) 또는 정규화(normalization) 스킵(normal skip)과 같은 아키텍처 설계에서 항등 변환을 기준점(baseline)으로 하여 변화량(shift 또는 residual)을 학습하도록 설계될 수 있다.
*오토인코더(autoencoder) 등에서 인코더(encoder)와 디코더(decoder)가 거의 “무엇도 하지 않는” 항등 함수에 가까운 초기 상태로 시작하고, 데이터 구조를 재구성하면서 항등 매핑(identity mapping)을 벗어나는 학습을 하게 된다.