AWS Lake Formation
더 많은 작업
- AWS Lake Formation; Lake Formation; 레이크 포메이션
- S3 기반 데이터 레이크의 데이터에 대해 데이터베이스·테이블·열·행·셀 수준 권한을 한곳에서 관리하는 AWS 서비스
데이터 레이크를 S3에 만들면 곧바로 권한 문제가 생긴다. 버킷 정책과 IAM 정책은 객체(파일) 단위로만 제어하므로 "이 팀은 고객 테이블에서 주민번호 열을 빼고 보게 하라" 같은 요구를 표현하기 어렵다. AWS Lake Formation은 AWS Glue 데이터 카탈로그 위에 자체 권한 모델을 얹어, 데이터베이스와 테이블 단위로 GRANT·REVOKE 하듯 권한을 주고, Athena·Redshift Spectrum·EMR 같은 통합 분석 엔진이 그 권한을 지켜서 결과를 돌려주게 한다. SAA 시험 가이드의 "데이터 레이크 구축 및 보호" 작업이 이 서비스에 해당한다.
| 항목 | 설명 |
|---|---|
| 데이터 레이크 위치 등록 | Lake Formation이 관리할 S3 경로를 등록한다. 이후 해당 경로 데이터 접근을 Lake Formation이 대신 허가한다 |
| 데이터 카탈로그 | Glue 데이터 카탈로그를 그대로 쓴다. 크롤러가 만든 테이블에 권한을 붙인다 |
| 데이터 레이크 관리자 | 카탈로그 리소스와 권한을 관리하는 주체(IAM 사용자·역할) |
| 세분화된 권한 | 데이터베이스, 테이블, 열, 행, 셀 수준으로 SELECT 등 권한을 부여 |
| 데이터 필터 | 열 목록과 행 필터 식(WHERE 절과 비슷한 PartiQL 식)을 묶은 정의. 권한 부여 시 선택한다 |
| LF-Tag | 데이터베이스·테이블·열에 붙이는 사용자 정의 레이블. 태그 기반으로 권한을 준다 |
| 하이브리드 액세스 모드 | 기존 IAM·S3 권한을 유지한 채 일부 테이블과 사용자에게만 Lake Formation 권한을 점진적으로 적용 |
| 수준 | 의미 | 예 |
|---|---|---|
| 열 수준 | 허용한 열만 조회 결과에 나온다 | 마케팅팀은 고객 테이블에서 전화번호 열 제외 |
| 행 수준 | 행 필터 식에 맞는 행만 나온다 | 지역 담당자는 자기 국가의 행만 조회 |
| 셀 수준 | 행 필터와 열 필터를 결합한다 | 국가가 UK인 행에서만 주소 열을 숨김 |
권한은 IAM 사용자·역할뿐 아니라 외부 ID 공급자로 페더레이션한 사용자와 그룹에도 적용된다. 민감 정보(PII)를 같은 테이블에 두고도 소비자별로 다르게 보여 줄 수 있다는 점이 핵심이다.
테이블이 수백, 수천 개가 되면 테이블마다 권한을 주는 방식은 관리가 안 된다. LF-Tag를 정의해(예: 분류=기밀, 부서=재무) 데이터베이스·테이블·열에 붙이고, "부서=재무 태그가 붙은 리소스에 SELECT 허용"처럼 태그 식으로 권한을 준다. 새 테이블이 생겨도 태그만 붙이면 권한이 자동으로 따라온다. AWS가 말하는 속성 기반 접근 제어(ABAC)를 데이터 카탈로그에 적용한 것이다.
데이터 레이크 계정(생산자)이 카탈로그 리소스를 다른 AWS 계정, AWS Organizations의 조직·OU, 또는 다른 계정의 IAM 주체에게 공유할 수 있다. 데이터를 복사하지 않고 원본을 그대로 공유하며, 공유받은 쪽에도 열·행 수준 제한이 그대로 적용된다. 중앙 거버넌스 계정이 권한을 관리하고 여러 사업부 계정이 각자 분석하는 다중 계정 구조에 쓰인다.
| 구분 | IAM·S3 버킷 정책 | Lake Formation |
|---|---|---|
| 제어 단위 | 버킷, 접두사, 객체 | 데이터베이스, 테이블, 열, 행, 셀 |
| 열·행 필터 | 불가 | 가능 |
| 관리 방식 | 정책 JSON을 서비스마다 작성 | 카탈로그 기준 GRANT·REVOKE, 태그 기반 |
| 분석 엔진 연동 | 엔진이 S3 객체 권한만 확인 | Athena, EMR, Redshift Spectrum 등이 Lake Formation 권한을 적용 |
- "데이터 레이크에서 사용자·팀별로 열 또는 행 단위로 접근을 제한, 운영 부담 최소"면 Lake Formation이다. S3 버킷 정책이나 테이블을 여러 벌 복사하는 방안은 오답 패턴이다.
- "테이블이 많아 권한 관리가 복잡"하면 LF-Tag 기반 접근 제어를 고른다.
- "다른 계정과 데이터 레이크를 복사 없이 공유하면서 세분화된 권한 유지"도 Lake Formation 교차 계정 공유다.
- Lake Formation은 Glue 데이터 카탈로그를 기반으로 하고, 조회는 Athena·EMR·Redshift Spectrum이 한다는 역할 분담을 구분한다.