항등 함수

항등 함수(恒等函數, identity function 혹은 identity map)는 정의역(domain)과 공역(codomain)이 같은 집합에서 모든 원소를 자기 자신에게 대응시키는 함수이다. 즉 임의의 x에 대해 id_X(x) = x 를 만족하는 함수이다.

정의

집합 X에 대하여, 항등 함수 id_X: X → X 는 다음을 만족한다:

• 정의역과 공역이 같다.
• 모든 x ∈ X에 대해 id_X(x) = x.

성질

항등 함수는 다음과 같은 중요한 성질들을 갖는다:

• 단사 함수(injective)이다.
• 전사 함수(surjective)이다.
• 따라서 전단사 함수(bijective)이다.
• 합성 함수(composition)에 대해 단위원(unit)의 역할을 한다. 임의의 함수 f: X → Y에 대해
  • f ∘ id_X = f, 그리고 id_Y ∘ f = f 가 성립한다.

• 항등 함수의 역함수(inverse)는 자기 자신이다.
• 실수 집합 또는 벡터 공간 등에서 보면 그래프가 직선 y = x이며, 기울기 1, 원점(origin)을 통과한다.

예

• 실수 전체 집합 R에서의 항등 함수 id_R : R → R, id_R(x) = x
• 유한 집합 X = {1,2,3}에 대해 id_X(1)=1, id_X(2)=2, id_X(3)=3
• 벡터 공간 V에서 항등 선형 변환(identity linear transformation)은 v ↦ v.

인공지능 및 딥러닝에서의 활용

항등 함수는 비록 변화나 특징(feature)을 학습하는 데 직접적으로 사용되는 활성 함수(activation function)로 많이 쓰이진 않지만, 다음과 같은 상황에서 중요한 역할을 한다:

• 출력층(Output layer)에서 회귀(regression) 문제를 다룰 때, 활성 함수 없이 단순히 항등 함수를 사용해서 예측 값이 실수 전체 범위에 걸치도록 한다.
• 잔차 연결(skip connection) 또는 잔차 블록(residual block)에서 입력을 그대로 더해주는(identity mapping) 역할을 수행함으로써 그래디언트(gradient)가 네트워크 깊이 깊어질 때 소실(vanishing)되지 않도록 돕는다. 예를 들어 ResNet에서는 어떤 층(layer)의 출력과 입력을 더할 때 항등 매핑(identity mapping)이 핵심 구조이다.
• 초기화(initialization) 또는 정규화(normalization) 스킵(normal skip)과 같은 아키텍처 설계에서 항등 변환을 기준점(baseline)으로 하여 변화량(shift 또는 residual)을 학습하도록 설계될 수 있다.
• 오토인코더(autoencoder) 등에서 인코더(encoder)와 디코더(decoder)가 거의 “무엇도 하지 않는” 항등 함수에 가까운 초기 상태로 시작하고, 데이터 구조를 재구성하면서 항등 매핑(identity mapping)을 벗어나는 학습을 하게 된다.

응용 및 중요성

• 함수의 합성 구조에서 단원(neutral element)으로, 함수 집합이 단위원(unit)을 가지는 모노이드(monoid)를 이룬다.
• 범주 이론(category theory)에서 항등 사상(identity morphism)의 개념으로 일반화된다.
• 선형대수학에서는 항등 행렬(identity matrix)이 항등 변환(identity transformation)을 제공한다.

주의 사항

• 정의역과 공역이 동일한 집합이어야 항등 함수라 부른다. 단순히 “f(x)=x” 꼴이라 해서 모든 함수가 항등 함수가 되는 것은 아니며, 공역이 정의역과 일치해야 한다.
• 항등 함수는 변화가 없는 함수이기 때문에, 다른 비항등 함수들에 비해 단순하나, 다양한 수학적 구조나 알고리즘 설계에서 없어서는 안 될 기본 요소이다.

같이 보기

• 함수
• 단사 함수
• 전사 함수
• 합성 함수
• 항등 행렬

참고 문헌

• Sadhan Kumar Mapa, *Higher Algebra*, Sarat Book House, 2014
• “Identity Function.” Wolfram MathWorld