기계 학습
IT 위키
더 많은 작업
(머신 러닝에서 넘어옴)
- Machine learning; 기계 학습, 머신러닝
- 사람이 규칙을 직접 짜 넣는 대신 데이터에서 규칙을 스스로 찾아 성능을 높이도록 컴퓨터 프로그램을 만드는 방법과 그 연구 분야
기계 학습(machine learning, ML)은 인공지능의 한 분야로, 예시 데이터에서 통계적 규칙성을 찾아 내고 그것을 새로운 입력에 적용하는 프로그램을 만드는 방법을 다룬다. 사람이 "이런 단어가 들어 있으면 스팸이다" 같은 규칙을 일일이 쓰는 전문가 시스템과 달리, 기계 학습 시스템은 스팸과 정상 메일의 예시를 보고 판별 규칙을 스스로 만든다. 즉 프로그램을 명시적으로 작성하는 대신 훈련(training)한다.
규칙을 말로 설명하기 어려운 문제, 예를 들어 사진 속 물체 인식, 음성 인식, 번역, 추천처럼 사람도 자신이 어떻게 판단하는지 정확히 모르는 문제에서 특히 힘을 발휘한다. 오늘날 딥 러닝과 대형 언어 모델도 모두 기계 학습의 한 갈래다. 포함 관계는 흔히 인공지능 ⊃ 기계 학습 ⊃ 인공 신경망 ⊃ 딥 러닝으로 정리한다.
이 문서는 기계 학습 전체를 조망하는 허브 문서다. 개별 학습 방식과 알고리즘은 각 문서에서 자세히 다루고, 여기서는 분류 체계, 작업 흐름, 알고리즘 계열 비교, 일반화와 평가, 역사를 정리한다.
가장 자주 인용되는 형식적 정의는 카네기 멜런 대학교의 톰 미첼(Tom M. Mitchell)이 1997년 교과서 《Machine Learning》에서 제시한 것이다.[1]
- 어떤 작업 T에 대해 성능 척도 P로 측정한 성능이 경험 E를 통해 향상된다면, 그 컴퓨터 프로그램은 작업 T와 성능 척도 P에 관해 경험 E로부터 학습한다고 말한다.
스팸 필터라면 T는 메일을 스팸과 정상으로 나누는 일, P는 올바르게 분류한 비율, E는 사람이 표시해 둔 메일 묶음이다. 이 정의는 "기계가 생각하는가"라는 인지적 질문 대신 "측정 가능한 성능이 경험으로 좋아지는가"라는 조작적 기준을 세운다는 점에서 의미가 있다. 또한 정의에서 드러나듯 경험 E, 곧 데이터의 양과 질이 결과를 크게 좌우한다.
'기계 학습'이라는 말은 IBM의 아서 새뮤얼(Arthur Samuel)이 1959년 발표한 체커 프로그램 논문 〈Some Studies in Machine Learning Using the Game of Checkers〉에서 쓰면서 알려졌다.[2] 새뮤얼의 프로그램은 스스로 둔 대국에서 얻은 경험으로 수의 평가 함수를 고쳐 나갔고, 기계 학습 프로그램의 초기 사례로 꼽힌다.
| 분야 | 관계 |
|---|---|
| 통계학 | 모형을 세우고 데이터로 모수를 추정한다는 점에서 뿌리가 같다. 통계학이 모형의 해석과 추론(신뢰 구간, 가설 검정)에 무게를 둔다면, 기계 학습은 보지 못한 데이터에 대한 예측 성능에 무게를 두고, 수백만 장의 이미지처럼 전통적 통계 기법을 그대로 적용하기 어려운 대규모 데이터를 다룬다. 이 때문에 기계 학습, 특히 딥 러닝은 이론보다 실험으로 발전하는 공학적 성격이 강하다. |
| 데이터 마이닝 | 데이터에서 유용한 패턴을 찾는 일. 쓰는 기법이 상당 부분 겹치지만, 데이터 마이닝은 "몰랐던 지식의 발견"에, 기계 학습은 "알려진 성질을 바탕으로 한 예측"에 초점을 둔다. |
| 데이터 과학 | 데이터 수집, 정제, 분석, 시각화, 의사결정까지 아우르는 넓은 실무 영역. 기계 학습은 그 안의 모델링 도구에 해당한다. |
| 인공지능 | 기계 학습은 인공지능을 구현하는 여러 방법 중 하나다. 규칙과 논리를 사람이 써 넣는 기호 기반 인공지능과 대비되며, 둘을 합치려는 시도가 신경-기호 인공지능이다. |
| 패턴 인식 | 공학 쪽에서 발전한 이름으로, 분류 문제를 중심으로 기계 학습과 거의 같은 내용을 다룬다. |
기계 학습은 학습에 쓰는 신호가 무엇이냐에 따라 나눈다. 고전적 3분류는 지도·비지도·강화 학습이고, 여기에 레이블 일부만 쓰는 준지도 학습과 데이터 자체에서 정답을 만들어 쓰는 자기 지도 학습을 더하는 것이 오늘날의 일반적인 분류다.
| 방식 | 학습 신호 | 대표 작업 | 대표 기법 | 문서 |
|---|---|---|---|---|
| 지도 학습 | 사람이 붙인 정답 레이블 (x, y) | 분류, 회귀 | 선형·로지스틱 회귀, 결정 트리, SVM, 신경망 | 지도 학습 |
| 비지도 학습 | 레이블 없이 입력 x만 | 군집, 차원 축소, 밀도 추정, 연관 규칙 | k-평균, PCA, GMM, 오토인코더 | 비지도 학습 |
| 준지도 학습 | 소량의 레이블 + 대량의 무레이블 데이터 | 분류 | 자기 훈련(의사 레이블), 일관성 정규화 | 준지도 학습 |
| 자기 지도 학습 | 데이터에서 자동으로 만든 정답(가린 부분, 다음 토큰 등) | 표현 학습, 사전 학습 | 마스크 예측, 대조 학습, 다음 토큰 예측 | 자기 지도 학습 |
| 강화 학습 | 환경과 상호작용하며 받는 보상 | 순차적 의사결정, 제어, 게임 | Q-러닝, 정책 경사, PPO | 강화 학습 |
- 지도 학습: 입력과 정답이 짝지어진 훈련 데이터로 입력에서 출력으로 가는 함수를 배운다. 입력 변수를 특성(feature), 맞혀야 할 값을 레이블(label) 또는 목표 변수(target)라 한다. 출력이 범주이면 분류(classification), 실수이면 회귀 문제다. 정답의 품질이 높다는 장점이 있지만 사람이 레이블을 붙이는 비용이 크다. 번호판 인식, 얼굴 인식, 스팸 분류, 감성 분류, 수요 예측, 집값 예측이 전형적인 예다. 자세한 내용은 지도 학습 문서 참고.
- 비지도 학습: 정답 없이 데이터의 구조를 찾는다. 고객을 비슷한 무리로 나누는 군집화, 고차원 데이터를 요약하는 차원 축소, 데이터 분포를 추정하는 밀도 추정, 장바구니 분석 같은 연관 규칙 분석이 여기에 든다. 자세한 내용은 비지도 학습 문서 참고.
- 준지도 학습: 레이블이 있는 데이터가 적고 없는 데이터가 많을 때 둘을 함께 쓴다. 자세한 내용은 준지도 학습 문서 참고.
- 자기 지도 학습: 문장의 일부를 가리고 맞히게 하거나 다음 단어를 예측하게 하는 식으로 데이터 자체에서 감독 신호를 만든다. 형식은 지도 학습이지만 사람이 붙인 레이블이 필요 없어서 비지도 학습의 한 갈래로 보기도 한다. BERT, GPT 계열, 대형 언어 모델의 사전 학습이 이 방식이다. 자세한 내용은 자기 지도 학습 문서 참고.
- 강화 학습: 에이전트가 환경에서 행동하고 받은 보상의 합을 최대화하도록 정책을 배운다. 보상이 늦게 오는 경우가 많아 어떤 행동이 결과에 기여했는지 따지는 신용 할당 문제가 핵심 난제다. 자세한 내용은 강화 학습 문서 참고.
이 밖에 학습 상황에 따른 구분도 있다.
- 전이 학습: 한 작업에서 배운 모델을 다른 작업에 옮겨 쓴다. 사전 학습 후 미세조정하는 방식이 대표적이다.
- 액티브 러닝: 모델이 레이블을 붙일 데이터를 골라 사람에게 묻는다.
- 메타 러닝: 여러 작업을 겪으며 "배우는 법"을 배운다. 퓨샷 러닝, 원샷 러닝, 제로샷 러닝이 관련된다.
- 온라인 학습: 데이터가 흘러 들어오는 대로 모델을 조금씩 갱신한다. 한꺼번에 학습하는 배치 학습과 대비된다.
- 연합 학습: 데이터를 한곳에 모으지 않고 여러 기기나 기관에서 학습한 결과만 모은다.
학습 방식과 별개로, 모델이 무엇을 확률적으로 표현하느냐에 따라 나누기도 한다.
- 판별 모델(discriminative model): 입력 x가 주어졌을 때 레이블 y의 조건부 확률 나 결정 경계를 직접 학습한다. 로지스틱 회귀, 서포트 벡터 머신, 조건부 무작위장(CRF), 신경망 분류기가 예다.
- 생성 모델(generative model): 결합 분포 나 데이터 분포 를 학습해 새 데이터를 만들 수 있다. 나이브 베이즈, 가우스 혼합 모델, 은닉 마르코프 모델, 변분 오토인코더, GAN, 확산 모델이 예다.
앤드루 응과 마이클 조던은 2001년 로지스틱 회귀와 나이브 베이즈를 비교해, 데이터가 적을 때는 생성 모델이 빨리 수렴하고 데이터가 많을 때는 판별 모델이 낮은 오차에 이른다는 두 국면이 있음을 보였다.[3] 자세한 내용은 생성 모델 문서 참고.
실무에서 기계 학습 프로젝트는 대체로 다음 단계를 거친다. 산업계 표준 절차로는 CRISP-DM이 있고, 운영 단계까지 자동화하는 관행을 MLOps라 부른다. 단계 하나하나를 자동으로 엮은 것이 머신 러닝 파이프라인이다.
| 단계 | 하는 일 | 관련 문서 |
|---|---|---|
| 1. 문제 정의 | 무엇을 예측할지, 지도·비지도·강화 중 어떤 문제인지, 성공 기준(지표, 허용 오차)을 정한다. | 데이터 분석 기획 |
| 2. 데이터 수집 | 로그, 데이터베이스, 공개 데이터셋, 크롤링, 레이블링 작업으로 데이터를 모은다. | 데이터 수집, 벤치마크 데이터셋 |
| 3. 전처리 | 결측치와 이상치 처리, 정규화·표준화, 범주형 변수 인코딩(원 핫 인코딩), 텍스트 토큰화 | 데이터 전처리, 데이터 정제 |
| 4. 특성 공학 | 쓸모 있는 입력 변수를 만들고 고른다. 딥 러닝은 이 단계를 상당 부분 모델이 대신한다(표현 학습). | 특성 공학, 파생 변수, 변수 선택법 |
| 5. 데이터 분할 | 훈련·검증·시험 데이터로 나눈다. 데이터가 적으면 교차 검증을 쓴다. | 데이터 분할, K-fold 교차검증 |
| 6. 모델 선택과 학습 | 알고리즘을 고르고 손실 함수를 최소화하도록 매개변수를 학습한다. | 손실 함수, 경사 하강법 |
| 7. 하이퍼파라미터 조정 | 학습률, 트리 깊이, 정규화 강도 같은 설정값을 검증 성능으로 고른다. 격자 탐색, 무작위 탐색, 베이지안 최적화를 쓴다. | 하이퍼파라미터, 베이지안 최적화, AutoML |
| 8. 평가 | 한 번도 쓰지 않은 시험 데이터로 최종 성능을 잰다. | 모형 평가 |
| 9. 배포와 운영 | 모델을 서비스에 올리고, 입력 분포가 바뀌어 성능이 떨어지는지(데이터 드리프트) 감시하며 재학습한다. | MLOps, 모델옵스 |
검증 데이터는 하이퍼파라미터와 모델 선택에, 시험 데이터는 마지막 한 번의 평가에만 쓴다. 시험 데이터를 보고 모델을 고치면 시험 성능이 실제보다 좋게 나오는 정보 누수가 생긴다. 시험 데이터에 들어 있는 정보가 전처리 단계에서 훈련 데이터로 새어 들어가는 경우(예: 전체 데이터로 평균을 구해 표준화)도 같은 문제를 일으킨다.
대부분의 지도 학습은 모델 의 매개변수 를 찾는 최적화 문제로 정리된다. 훈련 데이터에 대한 평균 손실(경험적 위험)에 정규화 항을 더한 목적 함수를 최소화한다.
- 손실 함수 : 회귀에는 평균 제곱 오차, 분류에는 교차 엔트로피(로그 손실)나 힌지 손실을 주로 쓴다. 자세한 내용은 손실 함수 문서 참고.
- 정규화 항 : 모델이 지나치게 복잡해지지 않도록 벌점을 준다. L1 정규화, L2 정규화가 대표적이다.
- 최적화: 선형 회귀처럼 해가 식으로 바로 나오는 경우도 있지만(최소제곱법), 대부분은 기울기의 반대 방향으로 조금씩 내려가는 경사 하강법을 쓴다. 데이터 일부만 써서 기울기를 근사하는 확률적 경사 하강법과 미니배치 경사 하강법, 모멘텀이나 적응형 학습률을 더한 Adam 옵티마이저, RMSProp 등이 있다. 자세한 내용은 딥 러닝 옵티마이저 문서 참고.
목적 함수가 볼록하면(선형 회귀, 로지스틱 회귀, SVM) 경사 하강법은 전역 최솟값에 도달한다. 신경망처럼 볼록하지 않으면 지역 최솟값이나 안장점에 머물 수 있다. 다만 고차원 신경망에서는 나쁜 지역 최솟값보다 기울기가 매우 완만한 안장점이 학습을 늦추는 주된 원인이라는 견해가 널리 받아들여진다.
| 계열 | 대표 알고리즘 | 주 용도 | 해석 가능성 | 특징 | 문서 |
|---|---|---|---|---|---|
| 선형 모델 | 선형 회귀, 로지스틱 회귀, 소프트맥스 회귀, 일반화 선형 모형 | 회귀, 분류 | 높음 | 빠르고 단순하며 계수로 변수의 영향을 읽을 수 있다. 비선형 관계는 특성 변환 없이는 못 잡는다. | 회귀 분석 |
| 결정 트리 | ID3, C4.5, CART | 분류, 회귀 | 높음 | 조건 분기로 결정하며 전처리 부담이 적다. 깊으면 과적합하기 쉽다. | 의사결정 나무, 지니 지수 |
| 앙상블 | 배깅, 랜덤 포레스트, 부스팅(AdaBoost, 그레이디언트 부스팅, XGBoost, LightGBM) | 분류, 회귀 | 중간 | 여러 모델을 합쳐 분산이나 편향을 줄인다. 표 형태 데이터에서 강하다. | 앙상블 기법 |
| 커널 방법 | 서포트 벡터 머신, 커널 회귀 | 분류, 회귀 | 낮음 | 마진을 최대화하는 초평면을 찾고, 커널 트릭으로 비선형 경계를 만든다. 데이터가 크면 느리다. | 서포트 벡터 머신 |
| 인스턴스 기반 | K-최근접 이웃 | 분류, 회귀 | 중간 | 학습 단계 없이 가까운 이웃의 다수결이나 평균으로 예측한다. 차원이 높거나 데이터가 많으면 예측이 느리다. | K-최근접 이웃, 벡터 유사도 |
| 확률·베이즈 모델 | 나이브 베이즈, 베이지안 네트워크, 은닉 마르코프 모델, 가우스 과정 | 분류, 순서 데이터, 불확실성 추정 | 높음 | 베이즈 정리로 사후 확률을 계산한다. 나이브 베이즈는 특성이 서로 독립이라고 가정한다. | 베이즈 정리 |
| 군집 | K-평균 군집화, 계층적 군집 분석, DBSCAN, 혼합 분포 군집 | 군집 | 중간 | 레이블 없이 비슷한 데이터끼리 묶는다. | 군집화, 군집 분석 |
| 차원 축소 | 주성분 분석, 다차원 척도법, t-SNE, UMAP, 자기 조직화 지도 | 시각화, 압축, 전처리 | 중간 | 정보 손실을 줄이며 변수 수를 줄인다. | 차원 축소 |
| 신경망 | 퍼셉트론, 멀티 레이어 퍼셉트론, 합성곱 신경망, RNN, 트랜스포머 | 이미지, 음성, 언어 등 비정형 데이터 전반 | 낮음 | 층을 쌓아 특징을 스스로 학습한다. 많은 데이터와 연산이 필요하다. | 인공 신경망, 딥 러닝 |
| 진화·탐색 기반 | 유전알고리즘 | 최적화, 구조 탐색 | 중간 | 기울기 없이 해를 탐색한다. | 유전알고리즘 |
각 계열에 대한 짧은 설명은 다음과 같다.
- 선형 모델: 입력의 가중합으로 예측한다. 로지스틱 회귀는 이름과 달리 분류 모델이며, 가중합을 시그모이드에 넣어 확률로 바꾼다. 여러 클래스로 확장하면 소프트맥스 회귀가 된다.
- 결정 트리: 정보 이득이나 지니 지수가 가장 커지는 질문으로 데이터를 나누는 일을 되풀이한다. 1986년 로스 퀸런의 ID3가 대표적인 초기 알고리즘이다.[4]
- 앙상블: 배깅은 부트스트랩 표본마다 모델을 따로 학습해 평균 내어 분산을 줄이고, 부스팅은 앞 모델이 틀린 데이터에 집중하는 모델을 차례로 더해 편향을 줄인다. 랜덤 포레스트는 2001년 레오 브라이먼이 정리했고,[5] XGBoost는 2016년 발표된 그레이디언트 부스팅 구현이다.[6]
- 서포트 벡터 머신: 두 클래스 사이의 여백(마진)이 가장 넓은 초평면을 찾는다. 직선으로 나눌 수 없는 데이터는 커널 함수로 고차원 공간에 옮긴 것처럼 계산해 나눈다. 코르테스와 바프니크가 1995년 현재 형태로 발표했다.[7] 딥 러닝 이전에는 이미지·텍스트 분류의 강력한 표준 기법이었다.
- K-최근접 이웃: 새 데이터와 가장 가까운 k개의 훈련 데이터를 찾아 다수결로 정한다. 거리가 가까울수록 가중치를 크게 주는 변형도 있다. 1967년 커버와 하트가 이론적 성질을 정리했다.[8]
- 확률 모델: 나이브 베이즈는 계산이 가볍고 데이터가 적어도 잘 작동해 초기 스팸 필터에 쓰였다. 은닉 마르코프 모델은 관측되지 않는 상태의 전이를 다루며, 딥 러닝 이전 음성 인식의 표준이었다. 학습에는 기댓값 최대화(EM) 알고리즘을 쓴다.[9]
- 신경망: 표 형태의 정형 데이터에서는 지금도 그레이디언트 부스팅 같은 트리 앙상블이 신경망과 대등하거나 앞서는 경우가 많지만, 이미지·음성·텍스트 같은 비정형 데이터에서는 딥 러닝이 사실상 표준이 되었다.
기계 학습의 목표는 훈련 데이터를 외우는 것이 아니라 보지 못한 데이터에서도 잘 맞히는 일반화(generalization)다. 훈련 오차와 시험 오차의 차이를 일반화 격차라고 한다.
| 상태 | 증상 | 원인 | 대응 |
|---|---|---|---|
| 과소적합(underfitting) | 훈련 오차와 시험 오차가 모두 높다 | 모델이 너무 단순하거나 특성이 부족하다 | 더 복잡한 모델, 특성 추가, 학습 연장 |
| 과적합(overfitting) | 훈련 오차는 낮은데 시험 오차가 높다 | 모델이 데이터의 잡음까지 외운다 | 데이터 추가, 정규화, 조기 종료, 드롭아웃, 앙상블, 모델 단순화 |
- 편향-분산 분해: 제곱 오차의 기댓값은 편향의 제곱, 분산, 줄일 수 없는 잡음으로 나뉜다. 단순한 모델은 편향이 크고 복잡한 모델은 분산이 크므로, 고전적인 관점에서는 그 사이 어딘가에 시험 오차가 가장 낮은 복잡도가 있다(편향-분산 트레이드오프).
- 정규화: 가중치 크기에 벌점을 주는 L2 정규화(가중치 감쇠), 일부 가중치를 0으로 만드는 L1 정규화, 신경망의 드롭아웃과 배치 정규화, 데이터 증강, 조기 종료 등이 모두 일반화를 돕는다.
- 교차 검증: 데이터를 k개로 나눠 돌아가며 검증해 성능 추정의 분산을 줄인다. 자세한 내용은 K-fold 교차검증, N-fold 교차 검증 문서 참고.
- 이중 하강: 매개변수가 훈련 데이터를 완전히 외울 수 있는 지점을 넘어 모델을 더 키우면 시험 오차가 다시 내려가는 현상이 관찰되었다. 2019년 OpenAI 연구진은 이를 딥 러닝 모델 전반에서 보고하며 고전적인 U자 곡선만으로는 대형 신경망의 일반화를 설명하기 어렵다고 지적했다.[10]
- 오컴의 면도날: 같은 성능이면 더 단순한 모델을 고르라는 원칙이 모델 선택의 오랜 지침으로 쓰인다.
- 클래스 불균형: 사기 거래 탐지처럼 한 클래스가 매우 드물면 정확도만으로는 모델을 평가할 수 없다. 표본 재추출이나 가중치 조정을 쓴다. 자세한 내용은 클래스 불균형 문서 참고.
| 작업 | 지표 | 의미 | 문서 |
|---|---|---|---|
| 분류 | 정확도 | 전체 중 맞힌 비율. 클래스가 불균형하면 오해를 부른다. | 정확도 |
| 정밀도 | 양성이라고 예측한 것 중 실제 양성 비율 | 정밀도 | |
| 재현율(민감도) | 실제 양성 중 찾아낸 비율 | 민감도 | |
| 특이도 | 실제 음성 중 음성으로 맞힌 비율 | 특이도 | |
| F1 점수 | 정밀도와 재현율의 조화 평균 | F1 Score | |
| ROC 곡선, AUC | 임곗값을 바꿔 가며 참양성률과 거짓양성률을 그린 곡선과 그 아래 면적 | ROC 곡선, Area Under the Curve | |
| 분류(확률) | 로그 손실 | 예측 확률이 정답에 얼마나 가까운지 | 교차 엔트로피 |
| 회귀 | MSE, RMSE | 오차 제곱의 평균과 그 제곱근. 큰 오차에 민감하다. | 평균 제곱 오차, 평균 제곱근 오차 |
| MAE, MAPE | 절대 오차의 평균, 백분율 오차의 평균 | 평균 절대 오차, 평균 절대 백분율 오차 | |
| 결정 계수 R² | 모델이 설명하는 분산의 비율 | 결정 계수 | |
| 군집 | 실루엣 계수 등 | 군집 안은 촘촘하고 군집끼리는 떨어졌는지 | 실루엣 계수 |
분류 지표는 모두 혼동 행렬의 네 칸(참양성, 거짓양성, 참음성, 거짓음성)에서 계산된다. 의료 진단처럼 놓치면 안 되는 문제는 재현율을, 스팸 차단처럼 잘못 막으면 곤란한 문제는 정밀도를 중시하는 식으로 문제에 맞는 지표를 골라야 한다.
| 연도 | 사건 |
|---|---|
| 1943 | 매컬러와 피츠가 뉴런을 논리 소자로 본 수학 모형을 발표했다.[11] |
| 1949 | 도널드 헵이 《행동의 조직》에서 함께 활성화되는 뉴런 사이의 연결이 강해진다는 학습 원리를 제안했다. → 헤비안 학습 |
| 1958 | 프랭크 로젠블랫이 퍼셉트론을 발표했다.[12] |
| 1959 | 아서 새뮤얼이 체커 프로그램 논문에서 '기계 학습'이라는 말을 썼다.[2] |
| 1967 | 커버와 하트가 최근접 이웃 분류의 성질을 정리했다.[8] |
| 1969 | 민스키와 패퍼트가 《퍼셉트론》에서 단층 퍼셉트론이 XOR 같은 문제를 풀 수 없음을 보였고, 신경망 연구가 위축되었다. → XOR 문제, AI 겨울 |
| 1977 | 뎀프스터, 레어드, 루빈이 EM 알고리즘을 정리했다.[9] |
| 1986 | 러멜하트, 힌턴, 윌리엄스가 역전파로 다층 신경망을 학습하는 방법을 Nature에 발표해 널리 알렸다.[13] 같은 해 퀸런의 ID3가 발표되었다.[4] |
| 1988~1992 | 서턴의 시간차 학습(1988), 왓킨스의 Q-러닝(1989년 박사 논문, 1992년 논문)으로 강화 학습의 기초가 놓였다. → 강화 학습 |
| 1995 | 코르테스와 바프니크가 서포트 벡터 머신을 발표했다.[7] 이후 2000년대 중반까지 커널 방법과 앙상블이 주류가 되었다. |
| 1997 | 미첼의 교과서가 기계 학습의 정의를 정리했다.[1] 호흐라이터와 슈미트후버가 LSTM을 발표했다. → LSTM |
| 2001 | 브라이먼의 랜덤 포레스트,[5] 프리드먼의 그레이디언트 부스팅이 발표되었다.[14] |
| 2006 | 힌턴 등이 심층 신뢰 신경망을 층별로 사전 학습하는 방법을 발표하며 '딥 러닝'이 부상했다. → 딥 러닝 |
| 2012 | AlexNet이 ImageNet 대회(ILSVRC 2012) 분류 부문에서 top-5 오류율 15.3%로, 26.2%였던 2위를 크게 앞섰다.[15] |
| 2016 | 알파고가 이세돌을 4 대 1로 이겼다.[16] XGBoost가 발표되었다.[6] |
| 2017 | 트랜스포머가 발표되었다.[17] |
| 2018 | 벤지오, 힌턴, 르쿤이 딥 러닝의 공로로 2018년 튜링상을 받았다(2019년 3월 발표).[18] |
| 2020년대 | 대규모 자기 지도 사전 학습과 파운데이션 모델, 대형 언어 모델이 기계 학습 연구와 산업의 중심이 되었다. |
| 2024 | 홉필드와 힌턴이 "인공 신경망을 이용한 기계 학습을 가능하게 한 기초적 발견과 발명"으로 노벨 물리학상을 받았다.[19] 2025년 3월에는 바토와 서턴이 강화 학습의 기초를 세운 공로로 2024년 튜링상 수상자로 발표되었다.[20] |
| 분야 | 예 | 관련 문서 |
|---|---|---|
| 시각 | 이미지 분류, 객체 탐지, 얼굴 인식, 번호판 인식 | 컴퓨터 비전, 광학 문자 인식 |
| 언어 | 번역, 요약, 챗봇, 감성 분석, 검색 | 자연어 처리, 기계 번역, 정보 검색 |
| 음성 | 받아쓰기, 음성 비서, 음성 합성 | 음성 인식, 음성 합성 |
| 추천 | 상품·영상 추천, 광고 순위 | 추천 시스템, 협업 필터링 |
| 보안·금융 | 사기 거래 탐지, 침입 탐지, 신용 평가, 알고리즘 매매 | 이상 탐지 |
| 예측 | 수요 예측, 기상 예측 | 시계열 분석, 회귀 분석 |
| 의료 | 의료 영상 판독, 질병 진단 보조, 환자 예후 예측 | 컴퓨터 비전 |
| 유통 | 고객 세분화, 재고 관리 | 군집 분석, 추천 시스템 |
| 제조 | 불량 검출, 설비 고장 예측(예지 정비), 공정 최적화 | 스마트 팩토리, 품질 관리 |
| 교통·물류 | 경로 최적화, 배송 수요 예측 | 시계열 분석 |
| 과학 | 단백질 구조 예측, 신약 후보 탐색, 재료 설계 | 알파폴드 |
| 제어·로봇 | 자율주행, 로봇 조작, 게임 | 자율주행차, 강화 학습 |
- 언어: 파이썬이 사실상 표준이며, 통계 분석에는 R, 연구실과 공학 분야에서는 MATLAB도 쓴다. 과학 계산용 언어 줄리아(Julia)도 있다.
- 고전 기계 학습 라이브러리: scikit-learn(파이썬), NumPy·SciPy(수치 계산), pandas(표 데이터), XGBoost·LightGBM(부스팅), 스파크 MLlib(분산 처리). 자바의 Weka, 노코드 도구인 KNIME, 레이피드마이너도 있다.
- 딥 러닝 프레임워크: 파이토치, 텐서플로, JAX, 케라스(Keras). 자세한 내용은 딥 러닝 프레임워크 문서 참고.
- 모델 교환·배포: ONNX, 허깅 페이스 허브, 큐브플로.
- 하드웨어: 행렬 연산을 병렬로 처리하는 GPU(GPGPU, CUDA)와 구글 TPU 같은 AI 가속기가 학습을 맡는다. 자세한 내용은 인공지능 하드웨어 문서 참고.
- 데이터 의존: 성능이 데이터의 양과 질에 좌우된다. "쓰레기를 넣으면 쓰레기가 나온다"(garbage in, garbage out). 레이블링 비용도 크다.
- 편향: 훈련 데이터에 담긴 사회적 편향을 그대로 배우거나 키울 수 있다. 자세한 내용은 알고리즘 편향 문서 참고.
- 설명 가능성: 딥 러닝이나 대형 앙상블은 왜 그런 예측을 했는지 설명하기 어렵다. 의료·금융처럼 근거가 필요한 분야에서는 해석 가능한 모델을 쓰거나 설명 가능한 인공지능 기법을 덧붙인다. 자세한 내용은 해석력 문서 참고.
- 분포 이동: 운영 환경의 데이터가 훈련 데이터와 달라지면 성능이 떨어진다.
- 적대적 공격: 사람 눈에는 차이가 없는 작은 변화로 모델을 속일 수 있다. 자세한 내용은 적대적 공격, 인공지능 대상 공격 문서 참고.
- 연산 비용: 모델과 데이터가 커질수록 학습과 추론에 드는 연산 자원과 전력이 크게 늘어난다. 자세한 내용은 딥 러닝 문서의 한계 부분 참고.
- 개인정보: 학습 데이터의 개인정보가 모델에서 새어 나올 수 있다. 대응 기법으로 차분 프라이버시, 연합 학습이 있다.
- ↑ 1.0 1.1 Tom Mitchell, 《Machine Learning》, McGraw Hill, 1997 (책 소개 페이지)
- ↑ 2.0 2.1 Arthur L. Samuel, 〈Some Studies in Machine Learning Using the Game of Checkers〉, IBM Journal of Research and Development 3(3), 210~229, 1959. doi:10.1147/rd.33.0210
- ↑ Andrew Y. Ng, Michael I. Jordan, 〈On Discriminative vs. Generative Classifiers: A comparison of logistic regression and naive Bayes〉, NIPS 14, 2001. 논문 페이지
- ↑ 4.0 4.1 J. R. Quinlan, 〈Induction of decision trees〉, Machine Learning 1, 81~106, 1986. doi:10.1007/BF00116251
- ↑ 5.0 5.1 Leo Breiman, 〈Random Forests〉, Machine Learning 45, 5~32, 2001. doi:10.1023/A:1010933404324
- ↑ 6.0 6.1 Tianqi Chen, Carlos Guestrin, 〈XGBoost: A Scalable Tree Boosting System〉, KDD 2016. arXiv:1603.02754
- ↑ 7.0 7.1 Corinna Cortes, Vladimir Vapnik, 〈Support-vector networks〉, Machine Learning 20, 273~297, 1995. doi:10.1007/BF00994018
- ↑ 8.0 8.1 T. Cover, P. Hart, 〈Nearest neighbor pattern classification〉, IEEE Transactions on Information Theory 13(1), 21~27, 1967. doi:10.1109/TIT.1967.1053964
- ↑ 9.0 9.1 A. P. Dempster, N. M. Laird, D. B. Rubin, 〈Maximum Likelihood from Incomplete Data via the EM Algorithm〉, Journal of the Royal Statistical Society Series B 39(1), 1~22, 1977. doi:10.1111/j.2517-6161.1977.tb01600.x
- ↑ Preetum Nakkiran 외, 〈Deep Double Descent: Where Bigger Models and More Data Hurt〉, 2019. arXiv:1912.02292
- ↑ Warren S. McCulloch, Walter Pitts, 〈A logical calculus of the ideas immanent in nervous activity〉, Bulletin of Mathematical Biophysics 5, 115~133, 1943. doi:10.1007/BF02478259
- ↑ F. Rosenblatt, 〈The perceptron: A probabilistic model for information storage and organization in the brain〉, Psychological Review 65(6), 386~408, 1958. doi:10.1037/h0042519
- ↑ David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, 〈Learning representations by back-propagating errors〉, Nature 323, 533~536, 1986. doi:10.1038/323533a0
- ↑ Jerome H. Friedman, 〈Greedy function approximation: A gradient boosting machine〉, Annals of Statistics 29(5), 1189~1232, 2001. doi:10.1214/aos/1013203451
- ↑ ILSVRC2012 결과 페이지
- ↑ 구글 딥마인드, AlphaGo
- ↑ Ashish Vaswani 외, 〈Attention Is All You Need〉, NIPS 2017. arXiv:1706.03762
- ↑ ACM, Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award, 2019-03-27
- ↑ NobelPrize.org, The Nobel Prize in Physics 2024
- ↑ ACM, 2024 Turing Award: Andrew Barto and Richard Sutton