아파치 스파크 매니지드 테이블

아파치 스파크 매니지드 테이블(Managed Table)은 Apache Spark SQL에서 테이블의 메타데이터와 데이터를 모두 관리하는 테이블 유형이다. 이 테이블은 Hive 메타스토어(Hive Metastore)와 연동되어, 테이블 생성, 수정, 삭제 등의 작업 시 Spark가 테이블의 데이터와 관련 메타데이터를 직접 관리한다.

1 개요

아파치 스파크 매니지드 테이블은 사용자가 CREATE TABLE 구문을 통해 테이블을 생성할 때, 외부 데이터 소스가 아닌 Spark가 지정한 기본 저장소(warehouse 디렉토리)에 데이터를 저장한다. 매니지드 테이블은 테이블의 라이프사이클 전반을 Spark가 관리하며, 테이블 삭제 시 관련 데이터 파일까지 모두 삭제되는 특징을 가진다.

2 특징

• 데이터와 메타데이터 통합 관리 (Integrated Management)
  • Spark가 테이블 생성 시 메타데이터와 데이터를 함께 관리하며, 데이터 저장 위치는 기본 warehouse 디렉토리로 지정된다.
• 테이블 삭제 시 데이터 삭제 (Cascade Delete)
  • 매니지드 테이블을 DROP TABLE 명령어로 삭제하면, 해당 테이블의 메타데이터와 함께 저장된 데이터 파일도 자동으로 삭제된다.
• Hive 메타스토어 연동 (Hive Metastore Integration)
  • Spark가 Hive 메타스토어와 통합되어 작동하므로, 매니지드 테이블은 Hive 테이블과 유사한 방식으로 관리되고, HiveQL을 통한 접근이 가능하다.
• 스키마 관리 (Schema Management)
  • 테이블 생성 시 명시적으로 스키마를 정의하거나, 데이터 파일을 기반으로 스키마를 자동 추론할 수 있다.

3 생성 및 관리 방법

매니지드 테이블은 Spark SQL을 사용하여 생성할 수 있다. 기본적으로 CREATE TABLE 명령어를 사용하면, 테이블이 매니지드 테이블로 생성된다. 예제 (SQL):

CREATE TABLE sales (
  order_id INT,
  order_date DATE,
  amount DOUBLE
)
USING PARQUET;

위 구문은 sales라는 이름의 매니지드 테이블을 생성하며, 데이터는 Spark의 기본 warehouse 디렉토리에 저장된다.

• 데이터 삽입 및 조회
  • INSERT INTO, SELECT 구문을 통해 테이블에 데이터를 삽입하고 조회할 수 있다.
• 테이블 수정
  • ALTER TABLE 명령어를 사용하여 테이블 스키마를 수정하거나, 파티션을 추가하는 등의 작업을 수행할 수 있다.
• 테이블 삭제
  • DROP TABLE 명령어로 테이블을 삭제하면, 테이블의 메타데이터와 함께 실제 데이터 파일도 삭제된다.

4 외부 테이블과의 비교

매니지드 테이블은 외부 테이블(External Table)과 구분된다. 외부 테이블은 Spark가 메타데이터만 관리하며, 데이터는 사용자가 지정한 외부 저장소에 보관된다. 따라서 외부 테이블을 삭제해도 데이터 파일은 유지된다.

5 활용 및 응용

아파치 스파크 매니지드 테이블은 데이터 웨어하우징, ETL 작업, 실시간 스트리밍 분석 등 다양한 빅데이터 처리 시나리오에서 활용된다. 특히, Hive 메타스토어와의 통합을 통해 기존 Hive 기반 시스템과의 호환성을 유지하면서도, Spark의 고성능 분산 처리 기능을 활용할 수 있다는 점이 큰 장점이다.

6 같이 보기

• 아파치 스파크
• Spark SQL
• Hive 메타스토어
• 외부 테이블
• ETL (Extract, Transform, Load)

7 참고 문헌

• Apache Spark 공식 문서, "Spark SQL, DataFrames and Datasets Guide", https://spark.apache.org/docs/latest/sql-programming-guide.html
• Ousterhout, J. (2019). "A Technical Overview of Hive, HBase, and Spark", IEEE Software.