데이터 분할 편집하기
IT위키
편집을 취소할 수 있습니다. 이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 게시해주세요.
최신판 | 당신의 편집 | ||
1번째 줄: | 1번째 줄: | ||
[[분류:데이터 과학]] | [[분류:데이터 과학]][[분류:빅데이터분석기사]] | ||
[[분류:빅데이터분석기사]] | |||
;한정된 데이터를 학습용 데이터, 검증용 데이터, 평가용 데이터 등으로 분할하여 사용하는 기법 | ;한정된 데이터를 학습용 데이터, 검증용 데이터, 평가용 데이터 등으로 분할하여 사용하는 기법 | ||
==데이터 분할 이유== | == 데이터 분할 이유 == | ||
데이터 분석 모형이 주어진 데이터에 대해서만 높은 성능을 보이는 문제를 방지하기 위해 일부 데이터로 학습을 시키고 일부 데이터로 검증을 수행한다. | 데이터 분석 모형이 주어진 데이터에 대해서만 높은 성능을 보이는 문제를 방지하기 위해 일부 데이터로 학습을 시키고 일부 데이터로 검증을 수행한다. | ||
* [[분석 모형]] 검증 | |||
* [[과적합 문제]] 방지 | |||
== 데이터 분할 방법 == | |||
* 일반적으로 학습용:검증용:평가용 = 5:3:2 비율 많이 사용(정해진 기준 없음) | |||
* 학습용과 검증용은 학습 과정에서 사용하며 검증용은 학습 과정에서 사용하지 않음 | |||
==데이터 분할 방법== | |||
* | |||
* | |||
== 모형 선정 과정 == | |||
==모형 선정 과정== | |||
모형 선정의 첫번째 과정으로 데이터 분할이 사용된다. | 모형 선정의 첫번째 과정으로 데이터 분할이 사용된다. | ||
* 1. 데이터 분할 | |||
*1. 데이터 분할 | * 2. 분석 모형 학습 | ||
*2. 분석 모형 학습 | * 3. 분석 모형 검증 | ||
*3. 분석 모형 검증 | * 4. 분석 모형 선택 | ||
*4. 분석 모형 선택 | * 5. 분석 모형 전개 | ||
*5. 분석 모형 전개 | * 6. 분석 모형 모니터링 | ||
*6. 분석 모형 모니터링 | * 7. 분석 모형 리모델링 | ||
*7. 분석 모형 리모델링 | |||