레거시 데이터 형식은 AI용으로 빌드되지 않았습니다.

ACID 트랜잭션, 스키마 진화, 스냅샷 격리 및 내장형 타임 트래블과 같은 기능은 모든 쿼리가 데이터에 대한 완전하고 일관된 뷰를 확인할 수 있도록 보장합니다.

Iceberg를 사용하면 스키마를 유연하게 발전시키고 필요에 따라 파티셔닝 전략을 변경할 수 있습니다. Iceberg는 100% 오픈 소스, 커뮤니티 기반 테이블 형식이므로 단일 공급업체의 로드맵에 종속되지 않습니다. 

거버넌스가 적용된 단일 데이터 사본에 워크로드를 통합하고, 중복 ETL 파이프라인을 제거하고, 사일로화된 시스템에서 중복 데이터세트를 제거하여 스토리지 비용을 절감합니다. 

Iceberg는 Apache Spark, Apache Flink, Presto와 같은 널리 사용되는 프레임워크에서 기본적으로 지원되므로 각 작업에 가장 성능이 뛰어난 도구를 선택할 수 있습니다. 

Amazon S3는 호환되는 모든 엔진에서 액세스할 수 있는 개방형 형식으로 사용자의 자체 계정에 데이터를 저장합니다. 데이터가 정확히 어디에 저장되어 있는지 파악하고, 상세한 요청 수준 로깅을 통해 액세스 패턴을 감사하며, 데이터에 대한 완전한 소유권을 유지할 수 있습니다. Amazon S3는 고객이 완전한 제어권과 가시성을 유지하는 동시에, 업계 최고 수준의 내구성, 가용성, 보안 및 성능을 제공합니다.

Amazon S3에서 데이터 레이크를 빌드하는 방법에 대해 자세히 알아보기

Apache Iceberg는 데이터 레이크에 신뢰성과 단순성을 제공하지만, Iceberg 테이블을 관리하는 데는 수 시간의 엔지니어링 작업이 소요될 수 있습니다. Amazon S3 Tables는 테이블은 거버넌스를 간소화하고 컴팩션(Compaction) 및 스냅샷 관리와 같은 반복적인 작업을 자동화하는 목적별 구축형 Iceberg 스토리지를 제공하여, 귀사의 팀에 수 시간의 생산성을 돌려줍니다.

Apache Iceberg를 위한 Amazon S3 Tables 자동 유지 관리에 대해 자세히 알아보기

AWS 엔진을 사용하면 비용을 위해 성능을 희생할 필요가 없습니다 AWS Glue의 Iceberg 구체화된 뷰는 Apache Spark에서 쿼리 성능을 최대 8배 가속화하고, Amazon EMR은 오픈 소스에 상응하는 것보다 2배 이상 빠른 속도로 Apache Iceberg 쓰기 작업을 실행하며, Amazon Redshift RG 인스턴스는 최대 30% 낮은 비용으로 이전 세대보다 최대 2.4배 빠른 속도로 Apache Iceberg 워크로드를 실행합니다.

AWS 엔진 및 서비스를 사용하여 Apache Iceberg를 활용하는 방법에 대해 자세히 알아보세요

개방성을 확보한다고 해서 거버넌스를 포기해야 하는 것은 아닙니다. AWS를 사용하면 모든 엔진과 사용자에게 어떤 테이블이 존재하고, 어디에 저장되어 있으며, 어떻게 구조화되어 있는지에 대한 일관된 뷰를 제공할 수 있습니다. AWS Lake Formation을 사용하여 세분화된 액세스 정책을 한 번 정의하면 AWS 서비스 전반에 일관되게 적용됩니다.

AWS Lake Formation for Apache Iceberg 테이블에 대해 자세히 알아보기

AWS Glue Data Catalog 및 Amazon S3 Tables은 Iceberg REST 카탈로그 엔드포인트를 제공하므로, S3의 Iceberg 테이블은 호환되는 모든 카탈로그와 연동될 수 있습니다. AWS Glue의 카탈로그 페더레이션은 Amazon Redshift, Amazon Athena 및 Amazon EMR 등 AWS 엔진이 데이터 복사 없이 원격 Iceberg 카탈로그의 테이블을 쿼리할 수 있도록 지원하여, 데이터 위치에 상관없이 모든 데이터에 대한 통합 뷰를 제공합니다.

원격 Iceberg 카탈로그에 대한 카탈로그 페더레이션에 대해 자세히 알아보기