본문으로 이동
검색 여닫기
메뉴 여닫기
  • 1.4만 문서
  • 4.2천 파일
  • 1천 사용자
  • 10.5만 편집
IT위키
환경 설정 메뉴 여닫기
개인 메뉴 여닫기
로그인하지 않음
지금 편집한다면 당신의 IP 주소가 공개될 수 있습니다.

딥 러닝

IT위키
더 많은 작업
(딥러닝에서 넘어옴)
Deep learning; 딥 러닝, 심층 학습
여러 층으로 쌓은 인공 신경망이 데이터에서 단계적인 표현을 스스로 학습하도록 하는 기계 학습 방법

딥 러닝(deep learning, 심층 학습)은 기계 학습의 한 분야로, 입력층과 출력층 사이에 여러 개의 은닉층을 둔 인공 신경망을 데이터로 학습시키는 방법이다. 층을 지날 때마다 입력이 조금씩 더 추상적인 표현으로 바뀐다. 이미지라면 앞쪽 층은 가장자리와 색 대비를, 중간 층은 질감과 부분 모양을, 뒤쪽 층은 물체 전체를 나타내는 식이다. 사람이 특징을 설계하지 않아도 모델이 이런 계층적 표현을 스스로 찾는다는 점이 핵심이다.[1]

2012년 이미지 인식 대회에서 큰 격차로 우승한 뒤 컴퓨터 비전, 음성 인식, 번역, 게임, 단백질 구조 예측으로 빠르게 퍼졌고, 오늘날 대형 언어 모델과 생성형 인공지능도 모두 딥 러닝 모델이다. 신경망이라는 발상 자체는 1940~1950년대로 거슬러 올라가지만, 대량의 데이터, GPU의 병렬 연산, 깊은 망을 안정적으로 학습시키는 기법이 2000년대 후반에 함께 갖춰지면서 실용화되었다.

이 문서는 딥 러닝 전체를 조망하는 허브 문서다. 개별 아키텍처와 기법은 각 문서에서 다루고, 여기서는 구성 요소, 아키텍처 계보, 역사, 하드웨어와 프레임워크, 한계를 정리한다.

정의와 범위

편집 원본 편집

포함 관계는 인공지능 ⊃ 기계 학습 ⊃ 인공 신경망 ⊃ 딥 러닝이다. "머신러닝이 딥 러닝의 일부"라는 말은 거꾸로 된 것이다.

'깊다'(deep)는 말은 은닉층이 여러 개라는 뜻이다. 몇 층부터 딥 러닝인지 정해진 기준은 없지만, 은닉층이 하나인 신경망을 얕은 신경망, 둘 이상인 것을 심층 신경망(DNN)이라 부르는 것이 일반적이다. 현대 모델은 수십~수백 층에 이른다. 2015년 ResNet은 152층으로 ImageNet 대회에서 우승했다.[2]

딥 러닝을 CNN, RNN, 트랜스포머 같은 특정 구조와 동일시하는 경우가 있는데, 이들은 딥 러닝에 쓰이는 구조일 뿐이다. 딥 러닝은 깊은 신경망 구조, 데이터, 그리고 역전파와 경사 하강법에 기반한 학습 절차를 모두 포함하는 방법론이다. 또한 딥 러닝은 지도 학습에만 쓰이지 않는다. 비지도 학습, 자기 지도 학습, 강화 학습 모두에서 신경망을 함수 근사기로 쓴다.

기계 학습과의 차이: 표현 학습

편집 원본 편집

고전적인 기계 학습에서는 사람이 원본 데이터에서 쓸모 있는 특징을 뽑아(특성 공학) 모델에 넣는다. 이미지에서는 SIFT나 HOG 같은 기술자를, 음성에서는 멜 켑스트럼 계수(MFCC)를, 텍스트에서는 TF-IDF나 Bag of Words를 만들어 서포트 벡터 머신이나 랜덤 포레스트에 넣는 식이다. 딥 러닝은 원본 픽셀, 파형, 토큰을 바로 받아 특징 추출부터 최종 예측까지 한꺼번에 학습한다(종단 간 학습, end-to-end). 이렇게 표현 자체를 데이터에서 배우는 것을 표현 학습(representation learning)이라 한다.[3] 자연어 처리에서 단어를 고정된 규칙으로 벡터화하지 않고 학습되는 임베딩 층으로 표현하는 것이 대표적인 예다. 자세한 내용은 워드 임베딩 문서 참고.

구분 고전 기계 학습 딥 러닝
특징 사람이 설계(특성 공학) 모델이 학습(표현 학습)
잘 맞는 데이터 표 형태의 정형 데이터 이미지, 음성, 텍스트 같은 비정형 데이터
필요한 데이터 양 상대적으로 적어도 된다 많을수록 성능이 계속 오르는 경향
연산 자원 CPU로 충분한 경우가 많다 GPU, TPU 같은 가속기가 사실상 필수
해석 가능성 선형 모델, 트리는 높다 낮다(블랙박스)
대표 모델 로지스틱 회귀, SVM, 결정 트리, 그레이디언트 부스팅 CNN, RNN, 트랜스포머, 확산 모델

표 형태 데이터에서는 지금도 그레이디언트 부스팅 같은 트리 앙상블이 딥 러닝과 대등하거나 앞서는 경우가 많아, 둘 중 무엇이 낫다기보다 데이터 종류에 따라 고르는 것이 보통이다.

이론적 배경으로는 은닉층이 하나뿐이어도 충분히 넓으면 연속 함수를 원하는 정밀도로 근사할 수 있다는 보편 근사 정리가 있다(시벤코, 1989).[4] 다만 이 정리는 근사가 "가능하다"는 것만 말할 뿐 그런 망을 학습으로 찾을 수 있는지, 얼마나 넓어야 하는지는 말하지 않는다. 실제로는 넓고 얕은 망보다 깊은 망이 같은 매개변수 수로 더 복잡한 함수를 효율적으로 표현하는 것으로 알려져 있다.

구성 요소

편집 원본 편집
요소 역할 대표 예 문서
층(layer) 입력을 변환하는 단위 완전 연결층, 합성곱층, 순환층, 어텐션층, 임베딩층, 풀링층 피드포워드 신경망, 합성곱, 셀프 어텐션
활성화 함수 층에 비선형성을 준다. 없으면 층을 아무리 쌓아도 선형 변환 하나와 같다. 시그모이드, tanh, ReLU, 리키 렐루, GELU, 소프트맥스(출력층) 활성화 함수
손실 함수 예측과 정답의 차이를 수치로 잰다 평균 제곱 오차, 교차 엔트로피, 대조 손실 손실 함수
역전파·자동 미분 연쇄 법칙으로 모든 매개변수에 대한 손실의 기울기를 효율적으로 계산한다 역방향 자동 미분 역전파, 자동 미분
옵티마이저 기울기로 매개변수를 갱신한다 SGD, 모멘텀, RMSProp, AdaGrad, Adam, AdamW 딥 러닝 옵티마이저, 확률적 경사 하강법
정규화(regularization) 과적합을 막는다 드롭아웃, 가중치 감쇠, 데이터 증강, 조기 종료 과적합 문제, L2 정규화
정규화(normalization) 층의 입력 분포를 일정하게 맞춰 학습을 안정시킨다 배치 정규화, 레이어 정규화, RMSNorm 배치 정규화
초기화 학습 시작점의 가중치를 정한다. 잘못하면 기울기가 사라지거나 폭주한다. Xavier(Glorot) 초기화, He 초기화 기울기 소실
하이퍼파라미터 사람이 정하는 학습 설정 학습률, 배치 크기, 에포크 수, 층 수 하이퍼파라미터, 학습률 스케줄링

학습 과정

편집 원본 편집

신경망 fθ의 학습은 다음을 되풀이하는 것이다.

  1. 순전파: 미니배치 입력 x를 넣어 예측 y^=fθ(x)를 계산한다.
  2. 손실 계산: 예측과 정답으로 손실 L(θ)를 구한다.
  3. 역전파: 출력층에서 입력층 방향으로 연쇄 법칙을 적용해 기울기 ∇θL를 구한다.
  4. 갱신: 학습률 η만큼 기울기의 반대 방향으로 움직인다. θ←θ−η∇θL(θ)

훈련 데이터 전체를 한 번 도는 것을 한 에포크라 하며, 큰 모델은 이 과정을 수십만~수백만 번 반복한다. 전체 데이터 대신 작은 묶음(미니배치)으로 기울기를 추정하는 미니배치 경사 하강법이 표준이다. 계산은 대부분 행렬 곱이며, 다차원 배열을 텐서라 부른다.

깊은 망을 학습시키는 어려움과 해법

편집 원본 편집

층이 깊어지면 역전파 과정에서 1보다 작은 값이 거듭 곱해져 앞쪽 층의 기울기가 0에 가까워지는 기울기 소실, 반대로 커지는 기울기 폭주 문제가 생긴다. 1991년 제프 호흐라이터의 학위 논문이 순환 신경망에서 이 문제를 분석한 초기 연구로 알려져 있으며, 1990년대~2000년대 초 신경망 연구가 침체한 주요 원인 중 하나였다. 시그모이드 함수는 미분값이 최대 0.25라서 특히 취약하다.

문제 해법 내용 문서
기울기 소실·폭주 층별 사전 학습(2006) 층을 하나씩 비지도로 학습해 좋은 초깃값을 만든다. 딥 러닝 부활의 계기였으나 지금은 거의 쓰지 않는다. 오토인코더
ReLU 계열 활성화 함수 양수 영역의 미분이 1이라 기울기가 덜 줄어든다. ReLU, Dying ReLU
가중치 초기화 층마다 출력 분산이 유지되도록 초깃값의 크기를 정한다.[5][6] 매개변수 최적화
잔차 연결 층의 출력에 입력을 더해(y=F(x)+x) 기울기가 지름길로 흐르게 한다. ResNet이 도입했고 트랜스포머도 쓴다.[2] ResNet, DenseNet
정규화 층 배치 정규화(2015),[7] 레이어 정규화(2016)[8]로 층 입력의 분포를 맞춘다. 배치 정규화, 레이어 정규화
게이트 구조·기울기 클리핑 LSTM, GRU의 게이트가 순환 신경망의 기울기 소실을 줄이고, 기울기 크기를 잘라 폭주를 막는다. LSTM, GRU
과적합 드롭아웃, 데이터 증강, 가중치 감쇠, 조기 종료 드롭아웃은 학습 때마다 일부 뉴런을 임의로 끈다.[9] 시험 때는 끄고 쓴다. 드롭아웃, 과적합 문제
학습 시간 GPU 병렬 연산, 분산 학습, 혼합 정밀도 행렬 곱을 수천 개 코어로 나누어 처리한다. GPGPU, 신경망 분산 학습

고차원 신경망의 손실 지형에서는 나쁜 지역 최솟값보다 기울기가 매우 완만한 안장점이 학습을 늦추는 주된 원인으로 본다. 자세한 내용은 안장점 (인공지능), 지역 최소값 (인공지능) 문서 참고.

주요 아키텍처 계보

편집 원본 편집
계열 등장 핵심 아이디어 주 용도 대표 모델 문서
다층 퍼셉트론(MLP) 1960~1980년대 완전 연결층을 쌓는다 표 데이터, 다른 구조의 부품 피드포워드 신경망 멀티 레이어 퍼셉트론, 퍼셉트론
합성곱 신경망(CNN) 1980(네오코그니트론), 1989(LeNet) 작은 필터를 공간 전체에 공유해 지역 패턴을 잡는다 이미지, 영상, 음성 LeNet, AlexNet, VGG, ResNet, EfficientNet, ConvNeXt 합성곱 신경망
순환 신경망(RNN) 1980년대 이전 시점의 은닉 상태를 다음 시점에 넘긴다 시계열, 음성, 텍스트 엘먼 망, LSTM(1997), GRU(2014) RNN
시퀀스-투-시퀀스·어텐션 2014 인코더가 입력을 요약하고 디코더가 출력을 생성하며, 어텐션으로 입력의 필요한 부분을 골라 본다 기계 번역 seq2seq,[10] 바다나우 어텐션[11] 시퀀스-투-시퀀스 구조, 어텐션 메커니즘
오토인코더 1980년대, 심층형 2006 입력을 저차원으로 압축했다 복원하며 표현을 배운다 차원 축소, 잡음 제거, 이상 탐지 잡음 제거 오토인코더, 희소 오토인코더 오토인코더
변분 오토인코더(VAE) 2013 잠재 변수의 확률 분포를 학습한다 생성, 잠재 공간 학습 VAE, VQ-VAE 변분 오토인코더
생성적 적대 신경망(GAN) 2014 생성자와 판별자가 경쟁한다 이미지 생성 DCGAN, StyleGAN GAN
트랜스포머 2017 순환 없이 셀프 어텐션만으로 모든 위치 사이의 관계를 계산한다 언어, 비전, 음성, 멀티모달 BERT, GPT 계열, ViT 트랜스포머 (인공지능)
확산 모델 2015, 2020 잡음을 점차 더하는 과정을 거꾸로 학습해 잡음에서 데이터를 만든다 이미지·영상·음성 생성 DDPM, 스테이블 디퓨전 확산 모델
그래프 신경망(GNN) 2000년대 후반, GCN 2016 이웃 노드의 정보를 모아 노드 표현을 갱신한다 분자, 소셜 네트워크, 추천 GCN,[12] GAT 그래프 신경망
상태 공간 모델(SSM) 2021(S4), 2023(Mamba) 선형 상태 방정식으로 긴 시퀀스를 길이에 비례하는 비용으로 처리한다 긴 시퀀스, 언어 S4,[13] Mamba[14] 상태 공간 모델
전문가 혼합(MoE) 1991년 제안,[15] 대규모 적용 2017 입력마다 일부 전문가 하위망만 활성화해 연산량 대비 매개변수를 늘린다 대형 언어 모델 희소 게이트 MoE[16] 전문가 혼합
에너지 기반·볼츠만 계열 1982(홉필드 망), 1985(볼츠만 머신) 상태의 에너지를 정의하고 낮은 에너지 상태를 학습한다 연상 기억, 초기 생성 모델 홉필드 망, 제한된 볼츠만 머신, 심층 신뢰 신경망 에너지 기반 모델

각 계열의 흐름을 요약하면 다음과 같다.

  • CNN: 후쿠시마 구니히코의 네오코그니트론(1980)이 합성곱과 풀링 구조의 원형을 제시했고,[17] 얀 르쿤이 1989년 역전파로 학습한 CNN으로 우편번호 손글씨를 인식했다.[18] 2012년 AlexNet 이후 컴퓨터 비전의 표준이 되었다. 자세한 내용은 합성곱 신경망 문서 참고.
  • RNN: 순서가 있는 데이터를 한 시점씩 처리한다. 긴 의존 관계를 배우기 어려워 LSTM과 GRU가 나왔고, 2010년대 중반까지 음성 인식과 번역의 주력이었다. 병렬화가 어려워 트랜스포머에 자리를 내주었다.
  • 트랜스포머: 2017년 이후 언어 처리를 장악했고, 이미지(비전 트랜스포머, 2020)[19]와 음성, 멀티모달로 확장되었다. 대형 언어 모델의 기반 구조다. 계산량이 시퀀스 길이의 제곱에 비례해 플래시 어텐션, KV 캐시 같은 효율화 기법과 상태 공간 모델 같은 대안이 연구된다.
  • 생성 모델: VAE, GAN, 확산 모델, 자기회귀 트랜스포머가 딥 러닝 기반 생성 모델의 네 기둥이다. 비교는 생성 모델 문서 참고.

역사

편집 원본 편집
연도 사건
1943 매컬러와 피츠가 뉴런의 수학 모형을 제안했다.[20]
1958 로젠블랫의 퍼셉트론이 발표되었다.[21]
1969 민스키와 패퍼트의 《퍼셉트론》이 단층 퍼셉트론의 한계를 지적했다. → XOR 문제
1980 후쿠시마의 네오코그니트론이 발표되었다.[17]
1982 홉필드가 연상 기억을 하는 순환 신경망(홉필드 망)을 발표했다.[22]
1986 러멜하트, 힌턴, 윌리엄스가 역전파로 다층 신경망이 내부 표현을 학습함을 보였다.[23] 역전파 자체는 그 이전에도 여러 연구자가 제안했다.
1989 르쿤의 CNN이 손글씨 우편번호를 인식했다.[18] 1998년 LeNet-5 논문으로 정리되었다.[24]
1997 호흐라이터와 슈미트후버가 LSTM을 발표했다.[25]
1990년대~2000년대 중반 학습이 어렵고 연산 비용이 큰 신경망 대신 SVM과 앙상블 같은 기법이 주류가 되었다. 신경망 연구자들은 '연결주의' 같은 다른 이름을 쓰기도 했다. → AI 겨울
2006 힌턴, 오신데로, 테가 심층 신뢰 신경망을 층별로 빠르게 학습하는 방법을,[26] 힌턴과 살라쿠트디노프가 깊은 오토인코더로 차원을 줄이는 방법을 발표했다.[27] 이것이 '딥 러닝' 부흥의 출발점으로 꼽힌다.
2009~2012 심층 신경망이 대어휘 음성 인식에서 기존 가우스 혼합 모델·은닉 마르코프 모델(GMM-HMM) 방식을 앞서기 시작했다.
2012 AlexNet이 ILSVRC 2012 분류 부문에서 top-5 오류율 15.3%로 2위(26.2%)를 크게 앞섰다.[28] AlexNet은 매개변수 6천만 개, 합성곱층 5개와 완전 연결층 3개로 이루어졌고 GPU 두 장으로 학습했다.[29]
2013 Word2Vec이 단어 임베딩을 대중화했다.[30] 딥마인드가 아타리 게임을 화면만 보고 배우는 DQN을 발표했다. → DQN
2014 GAN,[31] seq2seq와 어텐션, GRU가 발표되었다. Adam 옵티마이저가 발표되었다.[32]
2015 ResNet,[2] 배치 정규화[7]가 발표되었다.
2016 알파고가 이세돌을 4 대 1로 이겼다.[33]
2017 트랜스포머가 발표되었다.[34]
2018 BERT와 GPT-1이 대규모 사전 학습 후 미세조정하는 방식을 자연어 처리의 표준으로 만들었다.[35] 벤지오, 힌턴, 르쿤이 2018년 튜링상 수상자로 선정되었다(2019년 3월 발표). 선정 이유는 "심층 신경망을 컴퓨팅의 핵심 요소로 만든 개념적·공학적 돌파구"였다.[36]
2020 매개변수 1750억 개의 GPT-3가 발표되었다.[37] 모델 크기, 데이터, 연산량과 성능 사이의 멱법칙 관계(스케일링 법칙)가 보고되었다.[38] 확산 모델 DDPM이 발표되었다.[39]
2022 OpenAI가 11월 30일 ChatGPT를 공개했다.[40] 스테이블 디퓨전 등 이미지 생성 모델이 대중화되었다.
2024 홉필드와 힌턴이 노벨 물리학상을,[41] 단백질 구조 예측의 공로로 데미스 허사비스와 존 점퍼가 노벨 화학상 절반을 받았다.[42] → 알파폴드

자세한 흐름은 인공지능의 역사 문서 참고.

학습 방식과 규모

편집 원본 편집
  • 지도 학습: 레이블이 붙은 이미지·음성 데이터로 분류기를 학습한다. ImageNet, MNIST, CIFAR 데이터셋 같은 벤치마크가 발전을 이끌었다.
  • 자기 지도 사전 학습: 레이블 없는 대량의 데이터로 먼저 표현을 학습하고, 적은 레이블로 미세조정한다. 지금의 파운데이션 모델이 이 방식이다. 자세한 내용은 자기 지도 학습 문서 참고.
  • 전이 학습: 사전 학습한 모델을 다른 작업에 옮겨 쓴다. 자세한 내용은 전이 학습, 매개변수 효율적 미세조정, LoRA (인공지능) 문서 참고.
  • 심층 강화 학습: 신경망으로 가치 함수나 정책을 근사한다. DQN, 알파고가 대표적이다. 자세한 내용은 강화 학습 문서 참고.
  • 스케일링: 모델과 데이터와 연산을 함께 키우면 손실이 예측 가능하게 줄어든다는 관찰이 대형 모델 경쟁을 이끌었다. 2022년에는 같은 연산 예산이라면 모델 크기와 학습 토큰 수를 비슷한 비율로 늘려야 한다는 결과가 나왔다.[43] 자세한 내용은 스케일링 법칙 (인공지능) 문서 참고.

하드웨어와 프레임워크

편집 원본 편집

활용

편집 원본 편집

한계

편집 원본 편집
  • 데이터와 연산 비용: 많은 데이터와 연산이 필요하다. 대형 모델 학습에는 수천~수만 장의 가속기와 큰 전력이 들어 소수 기업에 연구가 집중된다는 비판이 있다.
  • 적용 조건: 딥 러닝은 판단에 필요한 지식을 배울 만큼 데이터가 많고, 최적화 목표를 수치로 정할 수 있으며, 판단 대상이 훈련 데이터에 비추어 이례적이지 않을 때 잘 작동한다. 훈련 분포를 벗어난 입력에서는 자신 있게 틀릴 수 있다.
  • 해석 어려움: 수백만~수천억 개의 가중치가 무엇을 뜻하는지 알기 어렵다. 자세한 내용은 설명 가능한 인공지능 문서 참고.
  • 적대적 예제: 사람 눈에 보이지 않는 작은 잡음으로 분류 결과를 바꿀 수 있다는 사실이 2013년 보고되었다.[44] 자세한 내용은 적대적 공격 문서 참고.
  • 편향: 데이터가 편향되어 있으면 결과도 편향된다. 자세한 내용은 알고리즘 편향 문서 참고.
  • 환각: 생성 모델은 그럴듯하지만 사실이 아닌 내용을 만들어 낸다. 자세한 내용은 할루시네이션 (인공지능) 문서 참고.
  • 이론 부족: 왜 과매개변수화된 신경망이 잘 일반화하는지 등 핵심 질문에 대한 이론이 아직 완전하지 않아, 연구가 실험 위주로 진행된다. 복권 가설 (인공지능) 같은 가설이 제시되어 있다.

흔한 오해

편집 원본 편집
  • 딥 러닝이 기계 학습을 포함하는 것이 아니라, 딥 러닝이 기계 학습의 한 분야다.
  • 심층 신경망은 은닉층이 여러 개인 신경망이다. 은닉층이 하나뿐이면 보통 얕은 신경망이라 부른다.
  • 깊은 망의 은닉층에는 기울기 소실 때문에 시그모이드보다 ReLU 계열을 주로 쓴다. 시그모이드는 이진 분류의 출력층 등에 쓴다.
  • 서포트 벡터 머신, 의사결정 나무, 랜덤 포레스트는 신경망이 아니므로 딥 러닝 기법이 아니다.
  • 딥 러닝이 지도 학습에만 쓰이는 것은 아니다. 비지도·자기 지도·강화 학습에도 쓰인다.

같이 보기

편집 원본 편집

각주

편집 원본 편집
  1. ↑ Yann LeCun, Yoshua Bengio, Geoffrey Hinton, 〈Deep learning〉, Nature 521, 436~444, 2015. doi:10.1038/nature14539
  2. ↑ 2.0 2.1 2.2 Kaiming He 외, 〈Deep Residual Learning for Image Recognition〉, 2015. arXiv:1512.03385
  3. ↑ Yoshua Bengio, Aaron Courville, Pascal Vincent, 〈Representation Learning: A Review and New Perspectives〉, IEEE TPAMI 35(8), 1798~1828, 2013. arXiv:1206.5538
  4. ↑ G. Cybenko, 〈Approximation by superpositions of a sigmoidal function〉, Mathematics of Control, Signals and Systems 2, 303~314, 1989. doi:10.1007/BF02551274
  5. ↑ Xavier Glorot, Yoshua Bengio, 〈Understanding the difficulty of training deep feedforward neural networks〉, AISTATS 2010. PMLR 9
  6. ↑ Kaiming He 외, 〈Delving Deep into Rectifiers〉, 2015. arXiv:1502.01852
  7. ↑ 7.0 7.1 Sergey Ioffe, Christian Szegedy, 〈Batch Normalization〉, 2015. arXiv:1502.03167
  8. ↑ Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton, 〈Layer Normalization〉, 2016. arXiv:1607.06450
  9. ↑ Nitish Srivastava 외, 〈Dropout: A Simple Way to Prevent Neural Networks from Overfitting〉, JMLR 15, 2014. JMLR
  10. ↑ Ilya Sutskever, Oriol Vinyals, Quoc V. Le, 〈Sequence to Sequence Learning with Neural Networks〉, 2014. arXiv:1409.3215
  11. ↑ Dzmitry Bahdanau 외, 〈Neural Machine Translation by Jointly Learning to Align and Translate〉, 2014. arXiv:1409.0473
  12. ↑ Thomas N. Kipf, Max Welling, 〈Semi-Supervised Classification with Graph Convolutional Networks〉, 2016. arXiv:1609.02907
  13. ↑ Albert Gu, Karan Goel, Christopher Ré, 〈Efficiently Modeling Long Sequences with Structured State Spaces〉, 2021. arXiv:2111.00396
  14. ↑ Albert Gu, Tri Dao, 〈Mamba: Linear-Time Sequence Modeling with Selective State Spaces〉, 2023. arXiv:2312.00752
  15. ↑ Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan, Geoffrey E. Hinton, 〈Adaptive Mixtures of Local Experts〉, Neural Computation 3(1), 79~87, 1991. doi:10.1162/neco.1991.3.1.79
  16. ↑ Noam Shazeer 외, 〈Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer〉, 2017. arXiv:1701.06538
  17. ↑ 17.0 17.1 Kunihiko Fukushima, 〈Neocognitron〉, Biological Cybernetics 36, 193~202, 1980. doi:10.1007/BF00344251
  18. ↑ 18.0 18.1 Y. LeCun 외, 〈Backpropagation Applied to Handwritten Zip Code Recognition〉, Neural Computation 1(4), 541~551, 1989. doi:10.1162/neco.1989.1.4.541
  19. ↑ Alexey Dosovitskiy 외, 〈An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale〉, 2020. arXiv:2010.11929
  20. ↑ Warren S. McCulloch, Walter Pitts, 〈A logical calculus of the ideas immanent in nervous activity〉, Bulletin of Mathematical Biophysics 5, 115~133, 1943. doi:10.1007/BF02478259
  21. ↑ F. Rosenblatt, 〈The perceptron〉, Psychological Review 65(6), 386~408, 1958. doi:10.1037/h0042519
  22. ↑ J. J. Hopfield, 〈Neural networks and physical systems with emergent collective computational abilities〉, PNAS 79(8), 2554~2558, 1982. doi:10.1073/pnas.79.8.2554
  23. ↑ David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, 〈Learning representations by back-propagating errors〉, Nature 323, 533~536, 1986. doi:10.1038/323533a0
  24. ↑ Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, 〈Gradient-based learning applied to document recognition〉, Proceedings of the IEEE 86(11), 2278~2324, 1998. doi:10.1109/5.726791
  25. ↑ Sepp Hochreiter, Jürgen Schmidhuber, 〈Long Short-Term Memory〉, Neural Computation 9(8), 1735~1780, 1997. doi:10.1162/neco.1997.9.8.1735
  26. ↑ Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh, 〈A Fast Learning Algorithm for Deep Belief Nets〉, Neural Computation 18(7), 1527~1554, 2006. doi:10.1162/neco.2006.18.7.1527
  27. ↑ G. E. Hinton, R. R. Salakhutdinov, 〈Reducing the Dimensionality of Data with Neural Networks〉, Science 313, 504~507, 2006. doi:10.1126/science.1127647
  28. ↑ ILSVRC2012 결과 페이지
  29. ↑ Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, 〈ImageNet Classification with Deep Convolutional Neural Networks〉, NIPS 2012. 논문 페이지
  30. ↑ Tomas Mikolov 외, 〈Efficient Estimation of Word Representations in Vector Space〉, 2013. arXiv:1301.3781
  31. ↑ Ian J. Goodfellow 외, 〈Generative Adversarial Networks〉, 2014. arXiv:1406.2661
  32. ↑ Diederik P. Kingma, Jimmy Ba, 〈Adam: A Method for Stochastic Optimization〉, 2014. arXiv:1412.6980
  33. ↑ 구글 딥마인드, AlphaGo
  34. ↑ Ashish Vaswani 외, 〈Attention Is All You Need〉, 2017. arXiv:1706.03762
  35. ↑ Jacob Devlin 외, 〈BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding〉, 2018. arXiv:1810.04805
  36. ↑ ACM, Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award, 2019-03-27
  37. ↑ Tom B. Brown 외, 〈Language Models are Few-Shot Learners〉, 2020. arXiv:2005.14165
  38. ↑ Jared Kaplan 외, 〈Scaling Laws for Neural Language Models〉, 2020. arXiv:2001.08361
  39. ↑ Jonathan Ho, Ajay Jain, Pieter Abbeel, 〈Denoising Diffusion Probabilistic Models〉, 2020. arXiv:2006.11239
  40. ↑ OpenAI, Introducing ChatGPT, 2022-11-30
  41. ↑ NobelPrize.org, The Nobel Prize in Physics 2024
  42. ↑ NobelPrize.org, The Nobel Prize in Chemistry 2024
  43. ↑ Jordan Hoffmann 외, 〈Training Compute-Optimal Large Language Models〉, 2022. arXiv:2203.15556
  44. ↑ Christian Szegedy 외, 〈Intriguing properties of neural networks〉, 2013. arXiv:1312.6199

참고 문헌

편집 원본 편집
원본 주소 "https://itwiki.kr/index.php?title=딥_러닝&oldid=95660"