아파치 스파크 2.0

아파치 스파크 2.0은 대규모 분산 데이터 처리를 위한 오픈소스 프레임워크인 Apache Spark의 주요 업그레이드 버전으로, 전 버전 대비 성능 개선과 API 통합, 그리고 새로운 데이터 처리 기능을 대폭 향상시킨 버전이다.

1 개요

아파치 스파크 2.0은 이전 버전에서 분리되어 있던 SparkContext, SQLContext, HiveContext 등의 다양한 컨텍스트를 단일 진입점인 SparkSession으로 통합하여, 사용자가 하나의 객체를 통해 데이터프레임, Dataset, SQL 등 여러 기능에 접근할 수 있도록 하였다. 이와 함께 스칼라, 자바, 파이썬, R 등 다양한 프로그래밍 언어를 지원하여 개발 편의성과 생산성을 크게 향상시켰다.

2 주요 개선 사항

• SparkSession 도입
  • SparkSession은 기존의 여러 컨텍스트를 통합하여 제공함으로써, 애플리케이션의 초기 설정 및 환경 구성이 간소화되었다.
• Dataset API의 도입
  • 정형 데이터 처리를 위해 타입 안전성이 보장된 Dataset API가 도입되어, 컴파일 시 오류를 줄이고 성능 최적화를 가능하게 하였다.
• Catalyst 옵티마이저 개선
  • 쿼리 최적화 기능이 강화되어, SQL 쿼리와 데이터프레임 연산의 실행 계획이 더욱 효율적으로 생성된다.
• Tungsten 실행 엔진 통합
  • 메모리 관리와 코드 생성에 최적화된 Tungsten 엔진이 도입되어, 처리 성능이 크게 향상되었다.
• 스트리밍 처리 기능 개선
  • Structured Streaming API가 발전되어 실시간 데이터 처리와 분석이 보다 안정적이고 간편하게 수행된다.

3 주요 기능

• 통합된 API
  • SparkSession을 통해 데이터프레임, Dataset, SQL, 스트리밍 등 다양한 데이터 처리 기능을 단일 인터페이스로 제공한다.
• 다중 언어 지원
  • 스칼라, 자바, 파이썬, R 등 다양한 언어에서 동일한 기능을 사용할 수 있도록 API를 통합하였다.
• 고성능 쿼리 최적화
  • Catalyst 옵티마이저가 사용자의 쿼리를 자동으로 최적화하며, Tungsten 엔진이 CPU와 메모리 활용을 극대화한다.
• 대규모 데이터 처리
  • 분산 환경에서 대용량 데이터셋을 빠르게 처리할 수 있으며, 다양한 데이터 소스(CSV, JSON, Parquet, ORC, Hive 등)와의 연동을 지원한다.
• 실시간 스트리밍 분석
  • Structured Streaming API를 통해 실시간 데이터 흐름을 분석하고, 이벤트 기반 응용 프로그램을 구축할 수 있다.

4 실무 예제

다음은 파이썬과 스칼라를 사용하여 SparkSession을 통한 데이터프레임 생성 및 SQL 쿼리 실행 예제이다.

4.1 예제 코드 (Python)

from pyspark.sql import SparkSession

# SparkSession 생성
spark = SparkSession.builder \
    .appName("Spark2Example") \
    .master("local[*]") \
    .getOrCreate()

# CSV 파일에서 데이터프레임 생성 (헤더 포함, 스키마 자동 추론)
df = spark.read.csv("data.csv", header=True, inferSchema=True)
df.printSchema()
df.show(5)

# 임시 뷰 생성 및 SQL 쿼리 실행
df.createOrReplaceTempView("data_table")
result = spark.sql("SELECT column1, COUNT(*) AS count FROM data_table GROUP BY column1")
result.show()

spark.stop()

4.2 예제 코드 (Scala)

import org.apache.spark.sql.SparkSession

object Spark2Example {
  def main(args: Array[String]): Unit = {
    // SparkSession 생성 (로컬 모드)
    val spark = SparkSession.builder
      .appName("Spark2Example")
      .master("local[*]")
      .getOrCreate()

    // CSV 파일에서 데이터프레임 생성 (헤더 및 스키마 추론)
    val df = spark.read
      .option("header", "true")
      .option("inferSchema", "true")
      .csv("data.csv")

    df.printSchema()
    df.show(5)

    // 임시 뷰 생성 및 SQL 쿼리 실행
    df.createOrReplaceTempView("data_table")
    val result = spark.sql("SELECT column1, COUNT(*) AS count FROM data_table GROUP BY column1")
    result.show()

    spark.stop()
  }
}

5 같이 보기

• 아파치 스파크
• 아파치 스파크 SparkSession
• 아파치 스파크 Spark SQL
• RDD (Resilient Distributed Dataset)
• Catalyst 옵티마이저
• Tungsten (스파크 실행 엔진)

6 참고 문헌

• Zaharia, M., Chowdhury, M., Franklin, M. J., Shenker, S., & Stoica, I. (2010). Spark: Cluster Computing with Working Sets. HotCloud.
• Apache Spark 공식 문서, https://spark.apache.org/docs/latest/
• Karau, H., Konwinski, A., Wendell, P., & Zaharia, M. (2015). Learning Spark: Lightning-Fast Data Analytics. O'Reilly Media.