데이터 전처리: Difference between revisions

From IT Wiki
m (문자열 찾아 바꾸기 - "분류:데이터 분석" 문자열을 "분류:데이터/통계학" 문자열로)
No edit summary
Line 2: Line 2:
;Data Preprocessing
;Data Preprocessing
;데이터를 실제 업무에 활용하기에 앞서서 정제하는 행위
;데이터를 실제 업무에 활용하기에 앞서서 정제하는 행위
== 데이터 전처리 부담 ==
* 데이터 분석가는 업무 시간 중 80%정도를 데이터 수집 및 전처리 과정에 사용<ref>[http://www.forbes.com/sites/gilpress/2016/03/23/data-preparation-most-time-consuming-least-enjoyable-data-science-task-survey-says/#16ece2467f75 Forbes에서 인용한 CrowdFlower의 설문 결과]</ref>


== 유형 ==
== 유형 ==
Line 19: Line 22:
** 암호화: [[동형암호]]
** 암호화: [[동형암호]]
** 민감속성 제거
** 민감속성 제거
== 참고 문헌 ==

Revision as of 19:39, 17 April 2020

Data Preprocessing
데이터를 실제 업무에 활용하기에 앞서서 정제하는 행위

데이터 전처리 부담

  • 데이터 분석가는 업무 시간 중 80%정도를 데이터 수집 및 전처리 과정에 사용[1]

유형

  • 데이터 품질 향상
    • 이상치 처리
    • 결측치 처리
    • 노이즈 제거
    • 오타 처리
    • 개행문자 등 특수문자 처리
  • 데이터 통일
    • 메타 데이터 조정: 칼럼명 통일
    • 데이터 형태 조정: Data Type, Datetime Type, 원핫 인코딩
    • 연계 정보 조정: 불필요 칼럼 삭제, 칼럼 추가 등
  • 개인정보 보호

참고 문헌