알파고
더 많은 작업
- AlphaGo; 알파고
- 구글 딥마인드가 만든 바둑 인공지능으로, 정책망·가치망 두 신경망과 몬테카를로 트리 탐색을 결합해 처음으로 정상급 프로 기사를 이긴 프로그램
알파고는 구글 딥마인드가 개발한 바둑 프로그램이다. 2015년 10월 유럽 챔피언 판후이 2단을 5:0으로 이겨 맞바둑(접바둑 아님)으로 19×19 판에서 프로 기사를 이긴 첫 컴퓨터 프로그램이 되었고,[1] 2016년 3월 서울에서 이세돌 9단을 4:1로 이겼다.[2] 2017년 5월 당시 세계 1위 커제 9단을 3:0으로 이긴 뒤 대국 무대에서 은퇴했다.[3]
바둑은 경우의 수가 너무 많고 형세 판단이 어려워 컴퓨터가 사람을 이기려면 적어도 10년은 더 걸린다고 여겨졌다.[1] 알파고는 딥 러닝으로 학습한 신경망이 '어디에 두면 좋을지'와 '지금 누가 유리한지'를 직관처럼 판단하고, 몬테카를로 트리 탐색이 그 판단을 따라 수읽기를 하는 방식으로 이 벽을 넘었다. 한국에서는 이세돌과의 대국이 생중계되면서 인공지능에 대한 대중의 관심을 크게 끌어올린 사건으로 기억된다. 알파고의 방법은 알파고 제로, 알파제로, 뮤제로로 발전하며 이후 게임 인공지능과 강화 학습 연구의 기준점이 되었다.
체스 프로그램 딥 블루는 1997년 사람이 만든 평가 함수와 깊은 탐색으로 세계 챔피언을 이겼다. 바둑에는 이 방식이 통하지 않았다.
- 탐색 공간: 한 수에 둘 수 있는 곳이 평균 200곳 안팎으로 체스(약 35곳)보다 훨씬 많고, 한 판이 수백 수까지 이어진다.
- 형세 판단: 돌 하나하나의 가치가 주변 배치에 따라 달라 체스의 기물 점수 같은 간단한 평가 함수를 만들기 어렵다.
알파고 이전의 강한 바둑 프로그램(크레이지스톤, Zen 등)은 몬테카를로 트리 탐색으로 무작위 대국을 수천 번 시뮬레이션해 형세를 추정했지만 아마추어 고단자 수준에 머물렀다.[1]
알파고(판후이·이세돌전 버전)는 세 가지 학습 단계로 만든 신경망과 탐색 알고리즘을 결합한다.[1]
| 구성 요소 | 역할 | 학습 방법 |
|---|---|---|
| 지도 학습 정책망 (SL policy network) | 현재 판에서 사람 고수가 둘 만한 수의 확률 분포를 낸다 | KGS 바둑 서버 고수 기보에서 뽑은 약 3,000만 개 국면으로 지도 학습. 13층 합성곱 신경망 |
| 강화 학습 정책망 (RL policy network) | 이기는 수를 고르도록 다듬은 정책망 | 지도 학습 정책망을 초기값으로, 이전 버전 자신과 대국시키며 강화 학습(정책 경사) |
| 가치망 (value network) | 현재 판에서 이길 확률을 하나의 숫자로 낸다 | 강화 학습 정책망의 자기 대국에서 뽑은 약 3,000만 개 국면으로 회귀 학습 |
| 빠른 롤아웃 정책 | 탐색 끝에서 대국을 끝까지 빠르게 진행 | 간단한 패턴 특징의 선형 모델 |
| 몬테카를로 트리 탐색 | 위 신경망을 써서 수읽기 | 학습 없음(탐색 알고리즘) |
탐색은 다음처럼 돌아간다.
- 선택: 트리를 내려가며, 지금까지의 평균 가치에 정책망이 준 사전 확률을 더한 점수가 가장 높은 수를 고른다. 아직 많이 탐색하지 않은 수일수록 보너스를 더 준다.
- 확장: 처음 도달한 국면은 지도 학습 정책망으로 후보 수의 확률을 계산해 둔다. 논문은 탐색에는 강화 학습 정책망보다 수를 더 다양하게 고르는 지도 학습 정책망이 더 잘 맞았다고 보고했다.
- 평가: 끝 국면은 가치망의 판단과 빠른 롤아웃으로 끝까지 둔 결과를 섞어 평가한다.
- 역전파: 평가 값을 지나온 경로의 모든 수에 반영한다.
- 착수: 시간이 다 되면 가장 많이 방문한 수를 둔다.
정책망은 탐색할 후보를 좁히고(폭 축소), 가치망은 끝까지 두어 보지 않고 형세를 판단하게 해(깊이 축소) 경우의 수 폭발을 피한다. 알파고는 다른 바둑 프로그램과의 대국에서 99.8%를 이겼다.[1]
| 버전 | 시기 | 하드웨어 | 학습 | 주요 결과 |
|---|---|---|---|---|
| 알파고 판 (Fan) | 2015년 10월 | 분산형, GPU 176개 | 인간 기보 지도 학습 + 자기 대국 강화 학습 | 판후이 2단에 5:0 |
| 알파고 리 (Lee) | 2016년 3월 | 분산형, TPU 48개 | 같은 방식, 개선 | 이세돌 9단에 4:1 |
| 알파고 마스터 (Master) | 2016년 12월~2017년 5월 | 단일 머신, TPU 4개 | 신경망 구조와 학습 개선 | 온라인 대국 60전 전승, 커제 9단에 3:0 |
| 알파고 제로 (Zero) | 2017년 10월 발표 | 단일 머신, TPU 4개 | 인간 기보 없이 자기 대국만으로 학습 | 알파고 리에 100:0, 알파고 마스터에 89:11 |
알파고 제로 논문이 추정한 Elo 점수는 알파고 판 3,144, 알파고 리 3,739, 알파고 마스터 4,858, 알파고 제로 5,185다.[4]
2016년 3월 9일부터 15일까지 서울에서 열린 '구글 딥마인드 챌린지 매치'에서 알파고는 이세돌 9단을 4:1로 이겼다. 세계 대회 18회 우승 경력의 이세돌과의 대국은 전 세계에서 2억 명 넘게 지켜봤다.[2] 승부가 3국에서 결정된 뒤에도 다섯 판을 모두 두었다.
| 대국 | 날짜 | 결과 | 비고 |
|---|---|---|---|
| 1국 | 3월 9일 | 알파고 불계승 | |
| 2국 | 3월 10일 | 알파고 불계승 | 37수: 사람이 둘 확률이 1만분의 1로 평가된 수[2] |
| 3국 | 3월 12일 | 알파고 불계승 | 알파고 승리 확정 |
| 4국 | 3월 13일 | 이세돌 불계승 | 78수: 이세돌의 '신의 한 수' |
| 5국 | 3월 15일 | 알파고 불계승 |
딥마인드는 2국의 37수가 수백 년 이어진 바둑의 통념을 뒤집은 창의적인 수로 승부를 갈랐고, 4국에서 이세돌이 둔 78수 역시 둘 확률이 1만분의 1인, 37수만큼 뜻밖이고 창의적인 수로 이세돌의 승리를 이끌었다고 평가했다.[2] 이 승리는 공식 대국에서 사람이 알파고를 이긴 유일한 판으로 남았다.[5] 한국기원은 대국 뒤 알파고에 명예 9단을 수여했다.[2]
2016년 12월 29일부터 2017년 1월 초까지 'Magister', 'Master'라는 계정이 한국 타이젬과 중국 바둑 서버에서 한중일 정상급 프로 기사들과 빠른 대국을 두어 60전 전승을 거두었다. 딥마인드는 이 계정이 새 버전 알파고(알파고 마스터)였다고 밝혔다. 알파고 제로 논문은 알파고 마스터가 2017년 1월 온라인 대국에서 정상급 프로 기사들을 60:0으로 이겼다고 적었다.[4]
2017년 5월 중국 우전에서 열린 '바둑의 미래 서밋'에서 알파고 마스터는 당시 세계 1위 커제 9단을 3:0으로 이겼다. 딥마인드는 이 행사가 알파고의 마지막 대국이라고 발표했고, 허사비스는 이 서밋이 경쟁 프로그램으로서 알파고가 이를 수 있는 가장 높은 정점이라고 말했다. 딥마인드는 알파고끼리 둔 대국 50판의 기보를 공개했다.[3] 2017년 12월에는 알파고 마스터의 분석을 담은 포석 학습 도구를 공개했다.
| 이름 | 발표 | 바뀐 점 | 결과 |
|---|---|---|---|
| 알파고 제로 | 2017년 10월 네이처 | 인간 기보와 손으로 만든 특징 없이 규칙만 주고 무작위 수부터 자기 대국으로 학습. 정책망과 가치망을 하나의 잔차 신경망으로 합침. 롤아웃 없이 신경망 평가만 사용 | 3일 학습으로 알파고 리에 100:0, 40일 학습으로 알파고 마스터를 넘어섬[4][6] |
| 알파제로 | 2017년 12월 arXiv, 2018년 사이언스 | 알파고 제로 알고리즘을 바둑 전용 요소 없이 일반화 | 24시간 학습으로 체스(스톡피시), 쇼기(엘모), 바둑(알파고 제로) 최강 프로그램을 이김[7] |
| 뮤제로 | 2020년 12월 네이처 | 게임 규칙조차 주지 않고, 탐색에 필요한 환경 모델(보상·가치·정책 예측)을 스스로 학습 | 아타리 57종에서 최고 성능, 바둑·체스·쇼기에서 알파제로 수준[8] |
알파고 제로의 학습은 자기 대국과 탐색이 서로를 끌어올리는 구조다. 신경망이 다음 수 확률과 승자를 예측하고, 그 신경망을 쓴 탐색이 신경망보다 더 좋은 수를 고르며, 신경망은 다시 탐색의 선택과 실제 승패를 따라 하도록 학습된다.[4] 알파고 제로 공개 뒤 이를 재현한 공개 프로젝트(Leela Zero, 카타고 등)가 나왔고, 오늘날의 바둑 AI는 대부분 이 계열이다.
- 인공지능 연구: 사람이 만든 규칙 대신 데이터와 자기 대국으로 학습한 신경망이 탐색과 결합하면, 사람의 직관이 중요하다고 여겨진 영역에서도 최고 수준에 오를 수 있음을 보였다. 이 '학습된 직관 + 탐색' 구조는 이후 구글 딥마인드의 알파폴드 같은 과학용 AI와, 추론 시간에 더 많이 계산해 답을 찾는 추론 모델 논의에서도 자주 비교 대상이 된다.
- 바둑계: 알파고가 보여 준 수(이른 3·3 침입 등)[9]가 프로 기사들 사이에 퍼지면서 정석과 포석 이론이 크게 바뀌었고, AI로 연구하는 것이 프로 기사의 기본 훈련이 되었다. 이세돌은 2019년 11월 은퇴하며 "1등이 되더라도 이길 수 없는 존재가 있다"며 AI의 등장을 은퇴의 주된 이유로 꼽았다.[5]
- 사회: 한국에서는 대국 이후 인공지능 교육과 산업 투자에 대한 관심이 크게 늘었고, '알파고'가 한동안 인공지능을 가리키는 대명사처럼 쓰였다.
- ↑ 1.0 1.1 1.2 1.3 1.4 1.5 Silver 외, 〈Mastering the game of Go with deep neural networks and tree search〉, Nature 529, 484~489쪽, 2016. doi:10.1038/nature16961
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 Google DeepMind, AlphaGo
- ↑ 3.0 3.1 The Verge, AlphaGo retires from competitive Go after defeating world number one 3-0, 2017-05-27
- ↑ 4.0 4.1 4.2 4.3 Silver 외, 〈Mastering the game of Go without human knowledge〉, Nature 550, 354~359쪽, 2017. doi:10.1038/nature24270
- ↑ 5.0 5.1 연합뉴스, (Yonhap Interview) Go master Lee says he quits unable to win over AI Go players, 2019-11-27
- ↑ DeepMind, AlphaGo Zero: Starting from scratch, 2017-10-18
- ↑ Silver 외, 〈Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm〉, 2017. arXiv:1712.01815
- ↑ Schrittwieser 외, 〈Mastering Atari, Go, chess and shogi by planning with a learned model〉, Nature 588, 604~609쪽, 2020. doi:10.1038/s41586-020-03051-4
- ↑ DeepMind, Innovations of AlphaGo, 2017-04-10
- Google DeepMind, AlphaGo
- Silver 외, 〈Mastering the game of Go with deep neural networks and tree search〉, Nature, 2016.
- Silver 외, 〈Mastering the game of Go without human knowledge〉, Nature, 2017.