스크래핑
From IT Wiki
- Scraping
- 타겟 시스템에 접속하여 자동으로 인증을 수행하고 HTML 등 출력되는 데이터를 기반으로 정보를 추출하는 기술
동작 구조[edit | edit source]
- 고객의 통장 잔고 정보를 읽어 오려고 한다. 아래 과정은 스크래핑 엔진에서 자동으로 수행한다.
- 인터넷 뱅킹 사이트에 접속한다.
- 고객의 공인인증서 비밀번호를 입력하여 로그인 한다.
- 통장 잔고를 확인할 수 있는 계좌 정보 페이지로 이동한다.
- 화면에 보이는 계좌 정보들 중 "최종 잔액"이라는 메시지를 찾아 그 옆 셀에 있는 숫자를 읽는다.
동작 유형[edit | edit source]
- DOM 기반
- 만약 통장 잔고가 <span class='blance'>50,000</span> 와 같이 구분할 수 있는 태그안에 속해 있을 경우 태그를 기준으로 접근할 수 있다.
- table.info > tbody > tr > td.value > span.balance 와 같이 DOM 구조를 통해 찾아갈 수 있다.
- 텍스트 기반
- 만약 통장 잔고가 항상 '최종 잔액'이라는 글자의 옆 셀에 있다면 글자를 먼저 찾고 이를 기준으로 값을 찾을 수 있다.
- 위 예시는 이 텍스트 기반을 통한 스크래핑 예시이다.
문제점 및 해결법[edit | edit source]
문제점[edit | edit source]
- 패스워드 저장
- 인증을 자동으로 처리하기 위해선 고객의 패스워드를 온전히 저장 필요
- 암호화를 하더라도 양방향 암호화하여 저장한 후 필요 시 마다 복호화하여 사용해야 함
- 일반적으로 인증을 위한 패스워드는 일방향 암호화하여 저장하는데 비하여 상대적으로 매우 위험
- 개인정보의 안전성 확보조치 기준 위반 소지
- 프라이버시 침해
- 위의 예시에선 단지 고객의 통장 정보를 읽기 위해 고객의 모든 정보에 접근할 수 있는 인증 대행
- 고객은 통장 정보를 읽으라고 비밀번호를 제공했지만 실제론 그 외의 다른 모든 정보를 무단으로 남용할 가능성
- 가용성 부족
- 텍스트 기반이든 DOM 기반이든 인터넷 뱅킹 사이트에서 구조를 조금만 변경해도 접근 불가
- 새로운 텍스트 및 DOM 규칙을 찾아야 하므로 복구에 일정 시간 소요
- 웹 전용
- 웹 등 구조화된 텍스트 기반의 정보가 아니면 읽을 수 없음
- 일례로, 뱅크샐러드 등의 핀테크 서비스에서 카카오뱅크 연동은 불가(카카오뱅크는 앱으로만 제공되므로)
해결법[edit | edit source]
- 국내 대부분의 핀테크 업체에서 이 스크래핑 방식을 사용하여 재무 분석 등의 서비스 제공
- 금융위원회와 금융보안원에서는 스크래핑 방식의 위험성에 대해 경고하고 마이데이터 서비스 추진
- 금융회사와 핀테크 회사간 API 계약을 통해 정식으로 정보를 제공받음으로써 프라이버시, 가용성 등 문제점 해결 도모
- 신용정보법 개정을 통해 스크래핑 방식으로 정보를 읽는 것을 금지
스크래핑과 API 비교[edit | edit source]
| 구분 | 스크래핑 방식 | API 방식 |
|---|---|---|
| 고객 인증 |
|
|
| 정보 처리 |
|
|
| 표준화 |
|
|
| 정보 관리 |
|
|
| 접근 통제 |
|
|
| 서비스 탈퇴 |
|
|
| 보안 적용 |
|
|
기술 활용[edit | edit source]
- 스크래핑 기술은 핀테크에만 사용되는 기술이 아니며, API로 완전 대체될 수 없는 독립적인 기술
- 핀테크에서 고객정보에 접근하는 사업 모델만 API로 대체 가능
- 웹 크롤링, 자동 정보 수집 등에 광범위하게 사용될 수 있음
기출 문제[edit | edit source]
같이 보기[edit | edit source]
참고 문헌[edit | edit source]
- 정보관리기술사 120회 기출문제 해설집(119회 그루터기 동기회)
