익명 사용자
로그인하지 않음
토론
기여
계정 만들기
로그인
IT위키
검색
제로 ETL
편집하기
IT위키
이름공간
문서
토론
더 보기
더 보기
문서 행위
읽기
편집
원본 편집
역사
경고:
로그인하지 않았습니다. 편집을 하면 IP 주소가 공개되게 됩니다.
로그인
하거나
계정을 생성하면
편집자가 사용자 이름으로 기록되고, 다른 장점도 있습니다.
스팸 방지 검사입니다. 이것을 입력하지
마세요
!
제로 ETL은 극단적으로 ETL에 소요되는 시간, 비용을 줄이는 것을 의미한다. == 기존 상황 == 기본적으로 서비스에 직접 사용되는 [[데이터베이스]]가 [[데이터 웨어하우스]]로 통합되기 위해선 데이터를 추출하고 송신하고 적재하는 [[ETL]] 과정을 거쳐야 한다. 따라서 데이터베이스에서 데이터 웨어하우스로의 통합은 주로 배치 작업을 통해 이루어지고, 레거시 엔터프라이즈에선 일단위의 배치를 사용하는 경우가 많다. 또한 ETL은 별도의 솔루션으로 구동되어 솔루션 도입 및 운영 비용이 소모된다. 최근 실시간 데이터 변화를 캡쳐하는 [[CDC]] 기술의 발전으로 짧은 주기로 데이터 웨어하우스가 업데이트되는 구현법이 많아졌지만 CDC를 사용하더라도 기본적으론 ETL에 대한 부하와 동기화 시간 간격이 어느정도는 있을 수밖에 없다. == 제로 ETL의 등장 == 이런 한계를 극복하기 위해 '''2022년, AWS에서 제로 ETL 서비스를 시작'''하였다. 우선은 자사의 [[아마존 오로라]] 데이터베이스와 [[아마존 레드시프트]] 데이터 웨어하우스 간의 제로 ETL 동기화를 구현하였다. 기본적으로 CDC가 사용되는 것은 동일하나 트랜잭션이 완료되기 전이라도 실시간으로 디스크 레이어에서 변경된 데이터를 읽어 병렬 컴퓨팅으로 레드시프트에 기록하는 방식을 사용하였다. 따라서 사용자의 컴퓨팅 리소스의 부하나, 데이터베이스의 지연 없이 거의 실시간에 가깝게(일반적으로 수 초 이내) 데이터 웨어하우스에 변경이 기록되도록 한 것이다. == 관련 기사 == * [https://zdnet.co.kr/view/?no=20221130092920 AWS, '제로 ETL' 선언…"최신정보 실시간 확보"]
요약:
IT위키에서의 모든 기여는 크리에이티브 커먼즈 저작자표시-비영리-동일조건변경허락 라이선스로 배포된다는 점을 유의해 주세요(자세한 내용에 대해서는
IT위키:저작권
문서를 읽어주세요). 만약 여기에 동의하지 않는다면 문서를 저장하지 말아 주세요.
또한, 직접 작성했거나 퍼블릭 도메인과 같은 자유 문서에서 가져왔다는 것을 보증해야 합니다.
저작권이 있는 내용을 허가 없이 저장하지 마세요!
취소
편집 도움말
(새 창에서 열림)
둘러보기
둘러보기
대문
최근 바뀜
분류별 보기
일반 IT용어
프로젝트 관리
디지털 서비스
블록체인
인공지능
소프트웨어 공학
운영체제
컴퓨터 구조
자료 구조
데이터 과학
데이터베이스
네트워크
프로토콜
보안
컴플라이언스
개인정보보호
표준
경영학
기업 IT
조직/단체
광고
위키 도구
위키 도구
특수 문서 목록
문서 도구
문서 도구
사용자 문서 도구
더 보기
여기를 가리키는 문서
가리키는 글의 최근 바뀜
문서 정보
문서 기록