AWS에서 DuckDB, Polars 및 Delta-rs를 사용한 서버리스 레이크하우스 구축: 스파크 없이 빠르고 비용 효율적인 데이터 레이크 구현 (장단점 포함)

核心概念

스파크 없이 DuckDB, Polars, Delta-rs를 사용하여 서버리스 레이크하우스를 구축하면 비용 효율적이고 빠르며 확장 가능한 데이터 분석 환경을 구현할 수 있다.

摘要

이 글에서는 스파크 없이 DuckDB, Polars, Delta-rs를 사용하여 서버리스 레이크하우스를 구축하는 방법을 소개하고 있습니다. 저자는 기존 데이터 프로젝트에서 스파크와 같은 도구가 무겁고 비용이 많이 들며 복잡한 인프라를 요구한다는 점을 지적하며, 특히 중소 규모의 데이터 (최대 10GB)를 처리하는 경우 더욱 효율적인 대안이 필요하다고 주장합니다.
서버리스 레이크하우스 아키텍처의 이점

인프라 관리 불필요: 클러스터 관리가 필요 없어 데이터 가치 창출에 집중할 수 있습니다.
빠른 결과 도출: DuckDB 및 Polars와 같은 최신 기술을 통해 스파크와 동일한 효율성과 속도를 달성하여 비용 효율적인 방식으로 복잡한 분석을 수행할 수 있습니다.
비용 절감 및 확장성: 사용량 기반 과금으로 스파크 클러스터 예열 없이 비용을 절감하고 확장성을 확보할 수 있습니다.
아키텍처 구성 요소

DuckDB: 경량 임베디드 분석 데이터베이스로, 복잡한 클러스터 없이 로컬에서 대량의 데이터를 처리하는 데 이상적입니다.
Polars: Rust로 작성된 매우 빠른 데이터 처리 라이브러리로, 대규모 인메모리 데이터 세트를 효율적으로 처리하도록 설계되었습니다.
Delta-rs: 데이터 레이크를 위한 스토리지 계층으로, ACID 작업 및 데이터 버전 관리를 통해 대량 데이터의 일관성과 무결성을 보장합니다.
아키텍처 및 구현

메달리온 아키텍처를 사용하여 브론즈, 실버, 골드 레이어로 분리합니다.
CDK를 IaC 라이브러리로 사용하여 아키텍처를 클라우드에 배포합니다.
데이터 수집 및 쿼리를 위한 두 개의 엔드포인트가 생성됩니다.
데이터 수집 엔드포인트는 YAML에 정의된 테이블에 데이터를 삽입하고, Firehose를 사용하여 여러 레코드를 한 번에 처리합니다.
데이터는 브론즈 레이어로 전송된 후 Lambda 함수를 통해 Delta 테이블 생성, 스키마 진화, Polars 및 Delta-rs를 사용한 데이터 추가/업데이트가 수행됩니다.
골드 레이어에서는 AWS EventBridge를 사용하여 서버 관리 없이 비즈니스 규칙이 포함된 쿼리를 예약 실행합니다.
데이터 시각화를 위해 DuckDB와 통합된 Briefer를 사용합니다.
추가 개선 사항 및 단점

골드 레이어에 dbt-duckdb를 사용하고, Briefer를 ECS에 배포하여 프로덕션 환경에 맞게 아키텍처를 개선할 수 있습니다.
현재 공개 엔드포인트를 사용하고 있으며, 향후 API Gateway 또는 CloudFront와 Route 53을 사용하여 개인 엔드포인트를 생성할 예정입니다.
AI 레이어 통합을 고려할 수 있습니다.
Delta를 Athena 및 Glue Catalog와 통합하는 데 어려움이 있으며, AWS와 협력하여 해결 방안을 모색 중입니다.
결론
서버리스 레이크하우스 아키텍처는 효율적이고 빠르며 비용 효율적인 데이터 분석 환경을 제공합니다. 이 아키텍처는 시간, 예산 또는 복잡성에 대한 부담 없이 결과를 얻을 수 있도록 지원합니다.

統計資料

처리 시간: 1.5GB의 뉴욕 택시 JSON 데이터 세트를 처리하는 데 평균 18~21초 소요.
개발 비용: 무료 티어 제한에 도달하지 않아 총 개발 비용은 $0.23.

從以下內容提煉的關鍵洞見

Serverless Lakehouse with DuckDB, Polars, and Delta-rs on AWS

by Marco Andrad... 於 medium.com 10-10-2024

https://medium.com/@marcaoandradenogueira/serverless-lakehouse-with-duckdb-polars-and-delta-rs-on-aws-a38d0864fbef

深入探究

서버리스 레이크하우스 아키텍처가 데이터 보안 및 개인 정보 보호 측면에서 기존 데이터 웨어하우스 솔루션과 비교하여 어떤 장단점을 가지고 있을까요?

서버리스 레이크하우스 아키텍처는 데이터 보안 및 개인 정보 보호 측면에서 기존 데이터 웨어하우스 솔루션과 비교하여 다음과 같은 장단점을 가지고 있습니다.
장점:

세분화된 접근 제어: 서버리스 환경에서는 스토리지, 컴퓨팅, 네트워크 계층을 포함한 모든 리소스에 대해 세분화된 접근 제어를 설정할 수 있습니다. 이를 통해 데이터에 대한 접근 권한을 사용자, 역할, 애플리케이션 별로 세밀하게 제어하여 무단 접근 및 데이터 유출 위험을 줄일 수 있습니다.
데이터 암호화: 서버리스 플랫폼은 데이터 암호화 기능을 기본적으로 제공하는 경우가 많습니다. 저장 데이터 암호화, 전송 중 암호화 등을 통해 데이터를 항상 안전하게 보호할 수 있습니다.
감사 및 로깅: 서버리스 환경에서는 모든 작업에 대한 자
세한 감사 로그가 생성됩니다. 이러한 로그는 데이터 접근, 수정, 삭제 등 모든 활동을 추적하고 모니터링하여 보안 사고 발생 시 신속한 원인 파악 및 대응을 가능하게 합니다.
최신 보안 업데이트: 서버리스 플랫폼 제공업체는 보안 취약점 패치 및 업데이트를 정기적으로 제공합니다. 따라서 사용자는 최신 보안 위협으로부터 시스템을 보호하기 위해 복잡한 패치 관리 작업을 수행할 필요가 없습니다.
단점:

벤더 종속성: 서버리스 환경은 특정 클라우드 제공업체에 종속될 수 있습니다. 따라서 보안 정책 및 규정 준수 요구 사항을 충족하기 위해 해당 제공업체의 보안 기능 및 제한 사항을 신중하게 고려해야 합니다.
새로운 기술에 대한 이해 필요: 서버리스 아키텍처는 비교적 새로운 기술이기 때문에 기존 데이터 웨어하우스 솔루션과는 다른 보안 고려 사항이 필요합니다. 따라서 서버리스 환경의 보안을 효과적으로 관리하려면 새로운 기술에 대한 이해와 전문 지식을 갖추는 것이 중요합니다.
통합된 보안 모니터링의 어려움: 서버리스 아키텍처는 여러 서비스가 통합되어 동작하기 때문에 보안 이벤트를 중앙 집중식으로 모니터링하고 분석하는 것이 어려울 수 있습니다. 따라서 서버리스 환경의 보안 상태를 효과적으로 파악하고 관리하기 위해서는 통합된 보안 모니터링 시스템 구축이 필요합니다.
전반적으로 서버리스 레이크하우스 아키텍처는 기존 데이터 웨어하우스 솔루션에 비해 향상된 보안 및 개인 정보 보호 기능을 제공할 수 있습니다. 그러나 서버리스 환경의 특성상 발생할 수 있는 새로운 보안 위협 요소를 인지하고 적
절한 보안 조치를 구

서버리스 아키텍처의 특성상 콜드 스타트 문제가 발생할 수 있는데, 이러한 문제가 데이터 분석 쿼리 성능에 미치는 영향은 무엇이며 어떻게 완화할 수 있을까요?

서버리스 아키텍처에서 콜드 스타트는 유휴 상태의 함수가 호출될 때 초기화 및 실행 준비 시간으로 인해 발생하는 지연 시간을 의미합니다. 데이터 분석 쿼리 성능에 미치는 영향은 다음과 같습니다.
데이터 분석 쿼리 성능에 미치는 영향:

쿼리 응답 시간 증가: 콜드 스타트 발생 시 쿼리 실행 전 함수 초기화에 시간이 소요되어 전체 응답 시간이 증가합니다. 특히 실시간 분석 또는 대
화형 쿼리 처리 시 사용자 경험을 저하시킬 수 있습니다.
비일측적인 성능 저하: 콜드 스타트는 간헐적으로 발생하며 그 지연 시간 또한 예측하기 어렵습니다. 따라서 일정한 성능 유지가 중요한 분석 작업에서 예측 불가능한 성능 저하를 야기할 수 있습니다.
리소스 낭비: 콜드 스타트를 위해 리소스가 할당되고 초기화되지만 실제 쿼리 실행 시간은 짧을 수 있습니다. 이는 불필요한 리소스 낭비로 이어져 비
용 증가를 초래할 수 있습니다.
콜드 스타트 완화 방안:

함수 warming up: 주기적으로 함수를 호출하여 활성 상태를 유지함으로써 콜드 스타트를 방지할 수 있습니다. 예를 들어 cron 작업이나 CloudWatch Events를 사용하여 일정 간격으로 함수를 호출하여 미리 로드해 둘 수 있습니다.
최적화된 함수 패키징: 함수 패키지 크기를 줄이면 초기화 시간을 단축할 수 있습니다. 불필요한 라이브러리나 종속성을 제거하고 코드를 최적화하여 패키지 크기를 최소화해야 합니다.
적절한 메모리 및 CPU 할당: 함수에 충분한 메모리와 CPU를 할당하면 초기화 및 실행 속도를 향상시킬 수 있습니다. 워크로드 특성을 고려하여 적절한 리소스를 할당하고 자동 스케일링 기능을 활용하는 것이 좋습니다.
연결 풀링: 데이터베이스 연결과 같은 비용이 많이 드는 작업을 미리 수행하고 재사용하는 연결 풀링을 사용하면 콜드 스타트 시 초기화 시간을 줄일 수 있습니다.
지속적인 환경 활용: 서버리스 함수가 실행되는 컨테이너 인스턴스를 일정 시간 동안 유지하는 지속적인 환경을 활용하면 콜드 스타트를 최소화할 수 있습니다.
콜드 스타트는 서버리스 아키텍처의 특성상 완전히 제거하기 어려운 문제이지만, 위와 같은 방법들을 통해 그 영향을 최소화하고 데이터 분석 쿼리 성능을 향상시킬 수 있습니다.

데이터 분석 환경의 발전과 더불어 데이터 분석가의 역할은 어떻게 변화해야 하며, 앞으로 어떤 새로운 역량이 요구될까요?

데이터 분석 환경의 발전은 데이터 분석가의 역할에도 큰 영향을 미치고 있습니다. 과거에는 단순 데이터 추출 및 보고서 작성에 집중했다면, 이제는 능동적인 인사이트 발굴 및 비즈니스 전략 수립에 참여하는 등 더욱 중요한 역할을 담당하게 되었습니다. 앞으로 데이터 분석가에게 요구되는 새로운 역량은 다음과 같습니다.
1. 끊임없는 학습 및 적응력:

새로운 기술 및 도구 습득: 서버리스 아키텍처, 머신러닝, 딥러닝 등 데이터 분석 환경은 끊임없이 진화하고 있습니다. 데이터 분석가는 최신 기술 트렌드를 따라잡고 새로운 도구를 능숙하게 활용할 수 있는 능력을 갖춰야 합니다.
비즈니스 변화에 대한 이해: 데이터 분석은 비즈니스 목표 달성을 위한 도구입니다. 데이터 분석가는 변화하는 비즈니스 환경과 요구사항을 빠르게 이해하고 이에 맞춰 분석 전략을 수정하고 발전시킬 수 있어야 합니다.
2. 고급 분석 및 모델링 역량:

머신러닝 및 딥러닝 활용: 예측 모델링, 이상 탐지, 개인화 등 고급 분석 기법을 통해 데이터에서 더욱 가치 있는 인사이트를 도출할 수 있어야 합니다. 머신러닝 및 딥러닝 알고리즘에 대한 이해와 활용 능력은 필수입니다.
데이터 시각화 및 스토리텔링: 분석 결과를 효과적으로 전달하고 설득력 있는 스토리텔링을 통해 의사 결정권자의 이해와 실행을 이끌어낼 수 있어야 합니다. 다양한 데이터 시각화 도구 활용 능력과 스토리텔링 역량이 중요합니다.
3. 비즈니스 감각 및 커뮤니케이션 능력:

데이터 기반 의사 결정 지원: 분석 결과를 바탕으로 비즈니스 문제 해결 방안을 제시하고 의사 결정을 지원할 수 있어야 합니다. 데이터 분석 결과를 비즈니스 언어로 번역하고 이해 관계자들에게 효과적으로 전달하는 능력이 중요합니다.
협업 및 소통 능력: 데이터 분석가는 개발자, 비즈니스 사용자 등 다양한 이해 관계자들과 협업해야 합니다. 원활한 소통 능력과 협업 능력을 바탕으로 공동의 목표 달성을 위해 노력해야 합니다.
결론적으로 미래의 데이터 분석가는 단순히 데이터를 분석하는 것을 넘어, 끊임없이 변화하는 환경 속에서 비즈니스 가치를 창출하는 핵심 인력으로 자리매김할 것입니다. 끊임없는 학습과 새로운 기술에 대한 적응력을 바탕으로 고급 분석 및 모델링 역량을 강화하고, 비즈니스 감각과 커뮤니케이션 능력을 함양해야 합니다.