전치 행렬

전치 행렬(轉置行列, transpose matrix)은 주어진 행렬의 행(row)과 열(column)을 서로 바꾼 행렬이다. 주어진 행렬 A의 전치(transpose)는 보통 A^⊤로 표기된다.

정의

행렬 A가 m×n 크기일 때, 전치 행렬 A^⊤는 n×m 크기를 가지며 각 성분은 다음과 같이 정의된다:

• (A^⊤)_ij = A_ji

예:

A = 
1  2  3
4  5  6

A^⊤ = 
1  4
2  5
3  6

성질

전치 행렬은 다음과 같은 수학적 성질을 갖는다:

• (A^⊤)^⊤ = A
• (A + B)^⊤ = A^⊤ + B^⊤
• (cA)^⊤ = cA^⊤ (c는 스칼라)
• (AB)^⊤ = B^⊤ A^⊤
• A = A^⊤이면 A는 대칭 행렬이다.
• A^⊤ = -A이면 A는 반대칭 행렬이다.
• det(A^⊤) = det(A)

응용

전치 행렬은 순수 수학뿐 아니라 공학, 컴퓨터과학, 인공지능 분야에서 다양하게 활용된다.

• 회귀 분석: 선형 회귀의 정규 방정식 A^⊤A x = A^⊤b에서 전치 행렬이 사용된다.
• 내적 및 유사도 계산: 벡터 x에 대해 x^⊤x는 자기 자신과의 내적을 의미하며, 유사도 분석에 활용된다.
• 딥러닝:
  • 역전파(backpropagation) 알고리즘에서 오차 전파 시 가중치 행렬의 전치가 필수적이다.
  • 입력 벡터 또는 배치 데이터의 구조를 전환(transpose)하여 연산 효율을 높인다.
  • 공분산 행렬 계산 시, 데이터 행렬 X를 전치하여 X^⊤X 형태로 사용한다.
  • Transformer 계열 모델에서 multi-head attention의 쿼리, 키, 값 행렬 간 연산에서도 전치가 빈번히 등장한다.

주의 사항

• 비정방형 행렬의 전치는 행과 열의 크기를 변경하므로 연산 가능 여부를 확인해야 한다.
• 복소수 행렬의 경우, 단순 전치가 아닌 켤레 전치(conjugate transpose)가 사용되는 경우가 많다.

같이 보기

• 행렬
• 대칭 행렬
• 반대칭 행렬
• 켤레 전치 행렬
• 내적

참고 문헌

• Gilbert Strang, Linear Algebra and Its Applications
• David C. Lay, Linear Algebra and Its Applications (4th Edition)