익명 사용자
로그인하지 않음
토론
기여
계정 만들기
로그인
IT 위키
검색
아파치 스파크
편집하기 (부분)
IT 위키
이름공간
문서
토론
더 보기
더 보기
문서 행위
읽기
편집
원본 편집
역사
경고:
로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다.
로그인
하거나
계정을 생성하면
편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
스팸 방지 검사입니다. 이것을 입력하지
마세요
!
==아파치 스파크 주요 모듈== 스파크는 여러 구성 요소로 이루어져 있으며, 각 요소는 특정 작업에 최적화되어 있다. 주요 구성 요소는 다음과 같다. ===Spark Core=== Spark Core는 스파크의 기본 구성 요소로, 클러스터 관리, 스케줄링, 메모리 관리 및 데이터 배포 등을 담당한다. 이 핵심 구성 요소는 스파크 애플리케이션의 실행에 필요한 모든 기본적인 기능을 제공한다. ===Spark SQL=== Spark SQL은 관계형 데이터 처리와 쿼리를 지원하는 모듈로, SQL 쿼리, HiveQL, Parquet와 같은 데이터 파일 형식을 처리할 수 있다. 이 모듈을 통해 SQL 쿼리를 실행하여 RDD나 DataFrame으로 데이터를 변환할 수 있다. ===Spark Streaming=== Spark Streaming은 실시간 데이터 스트리밍 처리를 지원하는 모듈이다. 이 모듈은 실시간으로 데이터를 처리하고, 스트리밍 데이터를 RDD 형식으로 변환하여 처리할 수 있다. 또한, 배치 처리와 실시간 처리를 결합하여 사용할 수 있다. Spark Streaming은 실시간 애플리케이션을 구현할 때 유용하다. ===MLlib=== MLlib은 스파크에서 제공하는 기계 학습 라이브러리로, 분산 환경에서 다양한 기계 학습 알고리즘을 실행할 수 있다. 분산 환경에서 효율적으로 학습 모델을 훈련하고, 예측할 수 있는 기능을 제공한다. 이 모듈은 분산 환경에서 기계 학습을 수행할 수 있는 고성능 라이브러리이다. ===GraphX=== GraphX는 그래프 처리에 특화된 모듈로, 대규모 그래프 데이터를 처리하는 데 사용된다. 그래프 데이터 분석을 위한 다양한 알고리즘을 제공하며, 분산 환경에서 효율적으로 실행된다.
요약:
IT 위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는
IT 위키:저작권
문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다.
저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소
편집 도움말
(새 창에서 열림)
둘러보기
둘러보기
대문
최근 바뀜
광고
위키 도구
위키 도구
특수 문서 목록
문서 도구
문서 도구
사용자 문서 도구
더 보기
여기를 가리키는 문서
가리키는 글의 최근 바뀜
문서 정보
문서 기록