데이터 전환
IT 위키
더 많은 작업
- 상위 문서: 정보처리기사/데이터베이스 구축
- Data Conversion, Data Migration
- 기존(현행) 시스템의 데이터를 추출·변환하여 새로 구축하는 목표 시스템의 데이터베이스에 적재하는 작업
- 새 시스템을 가동하기 전에 기존 데이터를 옮기는 작업으로, 마이그레이션의 한 형태이다.
- 초기데이터 구축: 목표 시스템 운영에 필요한 데이터를 처음 적재하는 작업이다. 기존 데이터 전환과 신규 데이터(코드, 기준정보 등) 입력을 포함한다.
- 원천(Source) 시스템과 목적(Target) 시스템의 데이터 구조가 다르므로, 항목 간 대응 관계를 정의한 매핑 정의서를 기준으로 수행한다.
- ETL(Extraction, Transformation, Loading): 원천 데이터를 추출(E)하고 목적 시스템 형식에 맞게 변환(T)한 뒤 적재(L)하는 과정이다.
- 변환 단계에서 코드 변환, 형식 변환, 정제, 통합 등이 이루어진다.
- 계획서 주요 내용: 전환 개요, 전환 대상 및 범위, 전환 일정, 전환 조직과 역할, 전환 방안과 절차, 검증 방안, 비상(원복) 계획
- 전환 범위: 전환 대상 테이블·항목, 기간(전체 이력 또는 최근 N년), 제외 대상을 정한다.
- 전환 일정: 설계·개발·리허설(모의 전환)·본 전환 일정과 서비스 중단 시간을 정한다.
- 절차: 요구 분석 → 설계(매핑 정의) → 개발(전환 프로그램) → 테스트(모의 전환) → 전환(본 전환) → 검증
- 전환 전: 원천 데이터 백업, 매핑 정의서·코드 매핑 확정, 전환 프로그램 테스트, 리허설 결과 반영
- 전환 중: 작업 순서 준수, 단계별 로그와 건수 확인, 오류 발생 시 보고 체계
- 전환 후: 검증 결과 확인, 원복 여부 판단, 결과 보고
| 검증 방법 | 내용 |
|---|---|
| 로그 검증 | 추출·전환·적재 단계의 로그에서 처리 건수 등을 비교 |
| 기본 항목 검증 | 로그 검증 외에 별도로 요청된 항목(합계, 코드 분포 등)을 검증 |
| 응용 프로그램 검증 | 목표 시스템의 응용 프로그램으로 전환 데이터를 조회·처리하여 정합성 확인 |
| 응용 데이터 검증 | 사전에 정의한 업무 규칙을 기준으로 데이터 정합성 확인 |
| 값 검증 | 숫자 항목의 합계, 코드 데이터의 범위, 속성 변경에 따른 값의 정확성 확인 |
- 검증 시점은 추출 → 전환 → DB 적재 → 적재 후 → 전환 완료 후로 나누어 단계별로 수행한다.
- 데이터 정제: 원천 데이터의 오류, 누락, 중복, 불일치를 찾아 수정하는 작업이다.
- 전환 전 데이터 품질 분석 결과를 바탕으로 정제 대상과 정제 규칙을 정한다. 관련 문서: 데이터 품질 관리
- 오류 유형: 누락(필수값 없음), 형식 오류, 범위 초과, 코드 불일치, 중복, 참조 무결성 위반 등
- 심각도: 상·중·하 등으로 구분하여 조치 우선순위를 정한다.
- 상태 관리: Open(보고됨) → Assigned(담당자 배정) → Fixed(수정됨) → Closed(확인 완료). 조치를 미루는 Deferred, 오류가 아닌 것으로 분류하는 Classified 상태를 두기도 한다.
- 정제 요청서: 오류 데이터와 원인, 정제 대상·범위, 정제 방법(규칙), 요청자·기한 등을 적어 정제를 요청하는 문서
- 정제 보고서: 정제 요청서에 따라 수행한 결과(정제 건수, 정제 전후 값, 잔여 오류, 향후 조치)를 정리한 문서
- ETL 세 단계(추출·변환·적재)와 데이터 전환 절차의 순서를 묻는다.
- 데이터 검증 방법 5가지(로그, 기본 항목, 응용 프로그램, 응용 데이터, 값)를 구분한다.
- 파일 처리 기술 중 색인 순차 파일의 구성 영역(기본·색인·오버플로)이 출제된다.