데이터 분할: Difference between revisions
From IT Wiki
(새 문서: 분류:데이터 과학분류:빅데이터분석기사 ;한정된 데이터를 학습용 데이터, 검증용 데이터, 평가용 데이터 등으로 분할하여 사용하...) |
No edit summary |
||
| Line 1: | Line 1: | ||
[[분류:데이터 과학]][[분류:빅데이터분석기사]] | [[분류:데이터 과학]] | ||
[[분류:빅데이터분석기사]] | |||
;한정된 데이터를 학습용 데이터, 검증용 데이터, 평가용 데이터 등으로 분할하여 사용하는 기법 | ;한정된 데이터를 학습용 데이터, 검증용 데이터, 평가용 데이터 등으로 분할하여 사용하는 기법 | ||
== 데이터 분할 이유 == | ==데이터 분할 이유== | ||
데이터 분석 모형이 주어진 데이터에 대해서만 높은 성능을 보이는 문제를 방지하기 위해 일부 데이터로 학습을 시키고 일부 데이터로 검증을 수행한다. | 데이터 분석 모형이 주어진 데이터에 대해서만 높은 성능을 보이는 문제를 방지하기 위해 일부 데이터로 학습을 시키고 일부 데이터로 검증을 수행한다. | ||
*[[분석 모형]] 검증 | |||
* | *[[과적합 문제]] 방지 | ||
* | |||
==데이터 분할 방법== | |||
== 모형 선정 과정 == | *일반적으로 학습용:검증용:평가용 = 5:3:2 비율 많이 사용(정해진 기준 없음) | ||
*학습용과 검증용은 학습 과정에서 사용하며 검증용은 학습 과정에서 사용하지 않음 | |||
[[파일:데이터 분할 예시.png|700x700픽셀]] | |||
==모형 선정 과정== | |||
모형 선정의 첫번째 과정으로 데이터 분할이 사용된다. | 모형 선정의 첫번째 과정으로 데이터 분할이 사용된다. | ||
* 1. 데이터 분할 | |||
* 2. 분석 모형 학습 | *1. 데이터 분할 | ||
* 3. 분석 모형 검증 | *2. 분석 모형 학습 | ||
* 4. 분석 모형 선택 | *3. 분석 모형 검증 | ||
* 5. 분석 모형 전개 | *4. 분석 모형 선택 | ||
* 6. 분석 모형 모니터링 | *5. 분석 모형 전개 | ||
* 7. 분석 모형 리모델링 | *6. 분석 모형 모니터링 | ||
*7. 분석 모형 리모델링 | |||
== 같이 보기 == | |||
* [[데이터 마이닝]] | |||
* [[데이터 분석 모형]] | |||
Revision as of 21:52, 29 November 2020
- 한정된 데이터를 학습용 데이터, 검증용 데이터, 평가용 데이터 등으로 분할하여 사용하는 기법
데이터 분할 이유
데이터 분석 모형이 주어진 데이터에 대해서만 높은 성능을 보이는 문제를 방지하기 위해 일부 데이터로 학습을 시키고 일부 데이터로 검증을 수행한다.
데이터 분할 방법
- 일반적으로 학습용:검증용:평가용 = 5:3:2 비율 많이 사용(정해진 기준 없음)
- 학습용과 검증용은 학습 과정에서 사용하며 검증용은 학습 과정에서 사용하지 않음
모형 선정 과정
모형 선정의 첫번째 과정으로 데이터 분할이 사용된다.
- 1. 데이터 분할
- 2. 분석 모형 학습
- 3. 분석 모형 검증
- 4. 분석 모형 선택
- 5. 분석 모형 전개
- 6. 분석 모형 모니터링
- 7. 분석 모형 리모델링
