텐서 (인공지능)

텐서(英: Tensor)는 스칼라, 벡터, 행렬 개념을 고차원으로 확장한 수학적 구조로서, 인공지능(머신러닝/딥러닝) 분야에서는 다차원 배열(multi-dimensional array)로 주로 사용된다.

정의 및 개념

텐서는 순서(order) 또는 차원(rank)을 가지며,

• 0차 텐서는 스칼라(scalar)
• 1차 텐서는 벡터(vector)
• 2차 텐서는 행렬(matrix)
• 3차 이상 텐서는 다차원 배열 형태로 일반화된다.

수학적으로는 다중선형(multilinear) 사상(multilinear map)으로 정의될 수 있으며, 벡터 공간들에 대한 여러 인자를 받아 선형적으로 작용하는 함수 형태로 본다.

인공지능 및 딥러닝 맥락에서의 역할

인공지능 분야에서는 텐서를 데이터의 기본 단위로 사용하며, 신경망 내의 입력, 가중치, 중간 표현 등이 모두 텐서 형태로 표현된다.

주요 특징 및 사용 방식은 다음과 같다:

• 데이터 표현
  • 이미지, 영상, 시계열, 자연어 임베딩 등 다양한 데이터는 여러 축을 가진 텐서 형태로 표현된다.
  • 예를 들어, 컬러 이미지 하나는 높이×너비×채널(예: RGB) 형태의 3차 텐서로 표현할 수 있다.

• 연산 및 변환
  • 딥러닝 프레임워크(TensorFlow, PyTorch 등)는 텐서 간 덧셈, 곱셈, 전치, 브로드캐스팅(broadcasting), 축 변경 등 다양한 연산을 지원한다.
  • 자동 미분(gradient 계산)도 텐서 연산 그래프를 통해 수행된다.

• 텐서 분해 및 차원 축소
  • 고차원 텐서의 정보를 요약하거나 숨겨진 구조를 찾기 위해 텐서 분해(tensor decomposition) 방법이 사용된다.
  • 대표적인 방법으로 CP 분해(CANDECOMP/PARAFAC), Tucker 분해 등이 있다.

• 하드웨어 가속과 최적화
  • GPU, TPU 등은 대규모 텐서 연산을 효율적으로 처리할 수 있도록 설계되어 있다.
  • TPU는 텐서 곱 연산을 빠르게 수행하도록 최적화된 구조를 갖는다.

수학적 구조 및 성질

텐서는 여러 인덱스를 가지며, 구성 요소(component)들은 인덱스를 통해 접근된다. 텐서는 여러 벡터 공간 또는 그 쌍대 공간(dual space)에 대해 멀티라인(linear)하게 작동하는 사상으로 정의될 수 있다.

또한 텐서들 사이에는 다음과 같은 연산들이 정의될 수 있다:

• 텐서 곱 (tensor product)
• 수축(contraction) — 인덱스를 맞추어 합산하는 연산
• 전치나 치환(permutation) — 축의 위치를 바꾸는 연산

장점과 한계

장점

• 복잡한 고차원 데이터를 자연스럽게 모델링할 수 있다
• 다양한 축(axis)을 활용한 연산이 가능하여 유연성이 높다
• 딥러닝 연산과 수학적 분석 간의 연결 고리를 제공한다

한계

• 고차원 텐서의 저장 공간과 계산 비용이 기하급수적으로 커질 수 있다
• 일부 텐서 분해 문제는 연산적으로 어려운 NP-hard 문제로 귀결된다

같이 보기

• 선형대수학
• 행렬
• 벡터 공간
• 고유값 문제
• 딥러닝

참고 문헌

• Martín Abadi 외, “TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems”, arXiv (2016)
• Tamara G. Kolda, Brett W. Bader, “Tensor Decompositions and Applications”, SIAM Review