Amazon S3 Metadata, 기존 객체 지원 및 가격 최대 33% 인하
Amazon S3 Metadata는 S3에 저장된 데이터세트에 대한 정보를 제공하는 메타데이터를 생성하고 관리하여 사용자가 S3 데이터를 더 쉽게 검색하고 사용할 수 있도록 지원합니다. 기존에는 S3 Metadata가 새로운 객체와 업데이트된 객체만 지원했습니다. 이제는 모든 기존 S3 데이터에 대한 메타데이터도 생성하고 관리하므로, 사용자는 S3 스토리지 규모에 관계없이 메타데이터에 대해 SQL 쿼리를 작성할 수 있습니다.
S3 Metadata는 두 개의 Apache Iceberg 테이블을 생성하고 유지 관리하여 S3 버킷과 연결된 메타데이터의 쿼리 가능하고 지속적으로 업데이트되는 뷰를 제공합니다. 저널 테이블은 데이터의 변경 사항을 거의 실시간으로 기록하여 버킷에 업로드된 새로운 데이터 파악, 최근에 삭제된 객체 추적, 수명 주기 전환 모니터링 등을 수행할 수 있도록 지원합니다. 새로운 실시간 인벤토리 테이블은 버킷에 있는 모든 객체의 최신 뷰를 제공하고 유지합니다. 두 S3 Metadata 테이블 모두 계정의 AWS 관리형 Iceberg 테이블 버킷에 저장되며, AWS 분석 서비스(Amazon Athena, Amazon EMR 등)와 오픈 소스 도구(DuckDB, PyIceberg 등)를 통해 표준 SQL을 사용하여 쿼리할 수 있습니다.
S3 Metadata는 현재 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건) 리전에서 사용할 수 있습니다. S3 Metadata 저널 테이블에 기록되는 기본 데이터세트를 변경할 때마다 소액의 수수료가 부과됩니다. 오늘부터 저널 테이블 가격을 33% 인하하여 대규모 데이터세트에서 실시간 변경 추적 및 백필을 더 비용 효율적으로 수행할 수 있도록 하고 있습니다. 아울러 기존 S3 데이터세트에 대한 정보로 라이브 인벤토리 테이블을 채우는 데에는 객체당 소액의 요금이 부과됩니다. 요금에 대한 자세한 내용은 Amazon S3 요금 페이지를 참조하세요. 자세히 알아보고 시작하려면 제품 페이지, 설명서, AWS 뉴스 블로그를 살펴보세요.