텐서 (인공지능) 편집하기

텐서(英: Tensor)는 스칼라, 벡터, 행렬 개념을 고차원으로 확장한 수학적 구조로서, 인공지능(머신러닝/딥러닝) 분야에서는 다차원 배열(multi-dimensional array)로 주로 사용된다.
==정의 및 개념==
텐서는 순서(order) 또는 차원(rank)을 가지며,
*0차 텐서는 스칼라(scalar)
*1차 텐서는 벡터(vector)
*2차 텐서는 행렬(matrix)
*3차 이상 텐서는 다차원 배열 형태로 일반화된다.
수학적으로는 다중선형(multilinear) 사상(multilinear map)으로 정의될 수 있으며, 벡터 공간들에 대한 여러 인자를 받아 선형적으로 작용하는 함수 형태로 본다.
==인공지능 및 딥러닝 맥락에서의 역할==
인공지능 분야에서는 텐서를 데이터의 기본 단위로 사용하며, 신경망 내의 입력, 가중치, 중간 표현 등이 모두 텐서 형태로 표현된다.

주요 특징 및 사용 방식은 다음과 같다:
*'''데이터 표현'''
**이미지, 영상, 시계열, 자연어 임베딩 등 다양한 데이터는 여러 축을 가진 텐서 형태로 표현된다.
**예를 들어, 컬러 이미지 하나는 높이×너비×채널(예: RGB) 형태의 3차 텐서로 표현할 수 있다.

*'''연산 및 변환'''
**딥러닝 프레임워크(TensorFlow, PyTorch 등)는 텐서 간 덧셈, 곱셈, 전치, 브로드캐스팅(broadcasting), 축 변경 등 다양한 연산을 지원한다.
**자동 미분(gradient 계산)도 텐서 연산 그래프를 통해 수행된다.

*'''텐서 분해 및 차원 축소'''
**고차원 텐서의 정보를 요약하거나 숨겨진 구조를 찾기 위해 텐서 분해(tensor decomposition) 방법이 사용된다.
**대표적인 방법으로 CP 분해(CANDECOMP/PARAFAC), Tucker 분해 등이 있다.

*'''하드웨어 가속과 최적화'''
**GPU, TPU 등은 대규모 텐서 연산을 효율적으로 처리할 수 있도록 설계되어 있다.
**TPU는 텐서 곱 연산을 빠르게 수행하도록 최적화된 구조를 갖는다.
==수학적 구조 및 성질==
텐서는 여러 인덱스를 가지며, 구성 요소(component)들은 인덱스를 통해 접근된다.  텐서는 여러 벡터 공간 또는 그 쌍대 공간(dual space)에 대해 멀티라인(linear)하게 작동하는 사상으로 정의될 수 있다.

또한 텐서들 사이에는 다음과 같은 연산들이 정의될 수 있다:
*텐서 곱 (tensor product)
*수축(contraction) — 인덱스를 맞추어 합산하는 연산
*전치나 치환(permutation) — 축의 위치를 바꾸는 연산
==장점과 한계==
'''장점'''
*복잡한 고차원 데이터를 자연스럽게 모델링할 수 있다
*다양한 축(axis)을 활용한 연산이 가능하여 유연성이 높다
*딥러닝 연산과 수학적 분석 간의 연결 고리를 제공한다
'''한계'''
*고차원 텐서의 저장 공간과 계산 비용이 기하급수적으로 커질 수 있다
*일부 텐서 분해 문제는 연산적으로 어려운 NP-hard 문제로 귀결된다
==같이 보기==
*[[선형대수학]]
*[[행렬]]
*[[벡터 공간]]
*[[고유값 문제]]
*[[딥러닝]]
==참고 문헌==
*Martín Abadi 외, “TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems”, arXiv (2016)
*Tamara G. Kolda, Brett W. Bader, “Tensor Decompositions and Applications”, SIAM Review
==각주==
<references />
[[분류:인공지능]]
[[분류:수학]]