아파치 스파크 Spark SQL

IT 위키

아파치 스파크 Spark SQL은 Apache Spark 내에서 구조화된 데이터를 다루기 위한 핵심 모듈로, 표준 SQL 문법을 지원하며 DataFrame 및 Dataset API를 통해 데이터를 읽고, 처리하고, 저장할 수 있도록 한다. Catalyst 옵티마이저와 Tungsten 실행 엔진의 지원을 받아 고성능 분산 데이터 처리를 실현하며, Hive와의 통합을 통해 기존 빅데이터 생태계와도 원활하게 연동된다.

1 개요[편집 | 원본 편집]

Spark SQL은 Apache Spark 1.0부터 도입되었으며, Spark 2.0에서는 SparkSession을 통해 SQLContext, HiveContext 등 여러 기능이 통합되어 제공된다. 이를 통해 사용자는 SQL 쿼리와 프로그래밍 언어(Python, Scala, Java, R)를 이용하여 구조화된 데이터에 쉽게 접근하고 처리할 수 있다. Spark SQL은 CSV, JSON, Parquet, ORC, Hive 테이블 등 다양한 데이터 소스를 지원한다.

2 주요 기능[편집 | 원본 편집]

  • SQL 쿼리 실행
    • 표준 SQL 문법을 지원하며, 임시 뷰를 생성하여 복잡한 쿼리를 수행할 수 있다.
  • 데이터프레임 및 Dataset API
    • 구조화된 데이터를 처리하기 위한 직관적인 API를 제공하며, 함수형 프로그래밍 스타일로 데이터를 조작할 수 있다.
  • Catalyst 옵티마이저
    • 사용자가 작성한 쿼리의 실행 계획을 자동으로 최적화하여, 처리 속도를 향상시킨다.
  • Tungsten 실행 엔진
    • 메모리 관리와 코드 생성에 최적화된 실행 엔진으로, 대규모 분산 데이터 처리를 고성능으로 지원한다.
  • Hive 통합
    • Hive 메타스토어와 연동하여, 기존 Hive 데이터 및 쿼리와의 호환성을 유지하고 HiveQL을 사용할 수 있다.

3 사용 방법[편집 | 원본 편집]

Spark SQL을 사용하려면 SparkSession을 통해 환경을 구성한다. 아래는 Python과 Scala에서 Spark SQL을 활용하는 기본 예제이다.

3.1 예제 코드 (Python)[편집 | 원본 편집]

from pyspark.sql import SparkSession

# SparkSession 생성: 애플리케이션 이름, 마스터 URL, Hive 지원 옵션 설정
spark = SparkSession.builder \
    .appName("SparkSQLExample") \
    .master("local[*]") \
    .enableHiveSupport() \
    .getOrCreate()

# CSV 파일에서 데이터프레임 생성 (헤더 포함, 스키마 자동 추론)
df = spark.read.csv("data.csv", header=True, inferSchema=True)

# 데이터프레임을 임시 뷰로 등록하여 SQL 쿼리 실행 준비
df.createOrReplaceTempView("data_table")

# SQL 쿼리 실행: 각 열(column1)의 값 별로 집계 수행
result = spark.sql("SELECT column1, COUNT(*) AS count FROM data_table GROUP BY column1")
result.show()

# SparkSession 종료
spark.stop()

3.2 예제 코드 (Scala)[편집 | 원본 편집]

import org.apache.spark.sql.SparkSession

object SparkSQLExample {
  def main(args: Array[String]): Unit = {
    // SparkSession 생성 (로컬 모드에서 실행)
    val spark = SparkSession.builder
      .appName("SparkSQLExample")
      .master("local[*]")
      .enableHiveSupport()  // Hive 연동 시 사용
      .getOrCreate()

    // CSV 파일에서 데이터프레임 생성 (헤더와 스키마 자동 추론)
    val df = spark.read
      .option("header", "true")
      .option("inferSchema", "true")
      .csv("data.csv")

    // 데이터프레임 스키마 출력
    df.printSchema()

    // 데이터프레임의 일부 행 조회
    df.show(5)

    // 임시 뷰 생성 및 SQL 쿼리 실행
    df.createOrReplaceTempView("data_table")
    val result = spark.sql("SELECT column1, COUNT(*) AS count FROM data_table GROUP BY column1")
    result.show()

    // SparkSession 종료
    spark.stop()
  }
}

4 역사 및 배경[편집 | 원본 편집]

Spark SQL은 초기 버전의 Spark에서 별도의 SQLContext나 HiveContext를 사용하여 구조화된 데이터를 처리하던 방식을 단일 인터페이스인 SparkSession으로 통합하여 제공된다. Catalyst 옵티마이저의 도입과 함께, 사용자는 SQL 쿼리의 실행 계획을 자동으로 최적화할 수 있게 되었으며, Tungsten 실행 엔진은 메모리 관리와 CPU 효율을 극대화하여 대규모 데이터 처리에 최적화된 성능을 제공한다. 이러한 발전은 기존의 R, pandas, Hive 등 다양한 데이터 처리 도구와의 상호 연계를 통해 빅데이터 분석 및 실시간 스트리밍 처리 분야에서 Spark SQL이 널리 채택되는 계기를 마련하였다.

5 활용 분야[편집 | 원본 편집]

Spark SQL은 다양한 산업 분야에서 활용된다.

  • 데이터 분석 및 보고
    • 대규모 데이터셋에 대해 SQL 쿼리와 DataFrame API를 활용하여 통계 정보를 산출하고 인사이트를 도출한다.
  • ETL 작업
    • 다양한 데이터 소스에서 데이터를 읽어들여 정제, 변환 후 데이터 웨어하우스나 데이터 레이크에 적재하는 작업에 사용된다.
  • 머신러닝
    • Spark MLlib과 함께 대규모 데이터셋의 전처리 및 피처 엔지니어링 과정에 활용된다.
  • 실시간 스트리밍
    • Structured Streaming과 연계하여 실시간 데이터 처리 및 분석을 수행한다.

6 같이 보기[편집 | 원본 편집]

7 참고 문헌[편집 | 원본 편집]

  • Zaharia, M., Chowdhury, M., Franklin, M. J., Shenker, S., & Stoica, I. (2010). Spark: Cluster Computing with Working Sets. HotCloud.
  • Apache Spark 공식 문서, https://spark.apache.org/docs/latest/sql-programming-guide.html
  • Karau, H., Konwinski, A., Wendell, P., & Zaharia, M. (2015). Learning Spark: Lightning-Fast Data Analytics. O'Reilly Media.
원본 주소 "https://itwiki.kr/index.php?title=아파치_스파크_Spark_SQL&oldid=40534"