Amazon S3 Storage Lens, 성능 지표, 수십억 개의 접두사 지원, S3 테이블 내보내기 지원

오늘 Amazon S3 Storage Lens의 세 가지 새로운 기능을 발표합니다. 이러한 기능을 통해 스토리지 성능 및 사용 패턴에 대한 심층적인 인사이트를 얻을 수 있습니다. 성능 지표 추가, 수십억 개의 접두사 분석 지원, Amazon S3 Tables 테이블로의 직접 내보내기 기능을 통해 애플리케이션 성능을 최적화하고, 비용을 절감하고, Amazon S3 스토리지 전략에 대한 데이터 기반 의사 결정을 내리는 데 필요한 도구를 갖추게 됩니다.

새로운 성능 지표 범주
S3 Storage Lens에는 이제 조직 전체의 성능 제약을 식별하고 해결하는 데 도움이 되는 8개의 새로운 성능 지표 범주가 포함됩니다. 이러한 범주는 조직, 계정, 버킷 및 접두사 수준에서 사용할 수 있습니다. 예를 들어, 이 서비스는 버킷이나 접두사에서 애플리케이션 성능을 저하시킬 수 있는 소형 객체를 식별하는 데 도움이 됩니다. 더 높은 성능의 소규모 객체 워크로드를 위해 Amazon S3 Express One Zone 스토리지 클래스를 사용하여 소규모 객체를 일괄 처리하면 이 문제를 완화할 수 있습니다.

새 성능 지표에 액세스하려면 새 Storage Lens 대시보드를 생성하거나 기존 구성을 편집할 때 S3 Storage Lens 고급 계층에서 성능 지표를 활성화해야 합니다.

작동 방식
Amazon S3 콘솔에서 Storage Lens 대시보드 생성을 선택하여 새 대시보드를 생성합니다. 기존 대시보드 구성을 편집할 수도 있습니다. 그런 다음 대시보드 이름, 상태 및 선택 가능한 태그 등 일반 설정을 구성합니다. 그런 후 다음을 선택합니다.

다음으로, 모든 리전 포함 및 모든 버킷 포함을 선택하고 포함할 리전과 버킷을 지정하여 대시보드의 범위를 정의합니다.

Storage Lens 대시보드 구성에서 고급 티어를 선택하고 성능 지표, 다음을 차례로 선택합니다.

다음으로 접두사 집계를 추가 지표 집계로 선택하고 나머지 정보는 기본값으로 둔 후 다음을 선택합니다.

기본 지표 보고서를 선택한 다음, 버킷 유형으로 범용 버킷을 선택하고, 대상 버킷으로 AWS 계정의 Amazon S3 버킷을 선택합니다. 나머지 정보는 기본값으로 두고 다음을 선택합니다.

제출을 선택하여 프로세스를 마무리하기 전에 모든 정보를 검토합니다.

활성화한 후에는 Storage Lens 콘솔 대시보드에서 일일 성능 지표를 직접 받게 됩니다. CSV 또는 Parquet 형식의 보고서를 계정의 모든 버킷으로 내보내거나 Amazon CloudWatch에 게시하도록 선택할 수도 있습니다. 성능 지표는 매일 집계 및 게시되며 조직, 계정, 버킷, 접두사 등 여러 수준에서 사용할 수 있습니다. 이 드롭다운 메뉴에서 지표로 동시 PUT 503 오류 비율(%)을, 날짜 범위로 지난 30일을, 상위 N개 버킷으로 10을 선택합니다.

동시 PUT 503 오류 수 지표는 동일한 객체에 대한 동시 PUT 작업으로 생성된 503 오류 수를 추적합니다. 스로틀링 오류는 애플리케이션 성능을 저하시킬 수 있습니다. 단일 작성자의 경우 재시도 동작을 수정하거나 Amazon S3 Express One Zone과 같은 고성능 스토리지 계층을 사용하여 동시 PUT 503 오류를 줄일 수 있습니다. 작성자가 여러 개인 시나리오의 경우 합의 메커니즘을 사용하여 동시 PUT 503 오류를 방지하거나 Amazon S3 Express One Zone과 같은 고성능 스토리지 계층을 사용하세요.

S3 버킷의 모든 접두사에 대한 완벽한 분석
S3 Storage Lens는 이제 새로운 확장된 접두사 지표 보고서를 통해 S3 버킷의 모든 접두사에 대한 분석을 지원합니다. 이 기능은 1% 크기 임계값과 최대 10단계의 깊이를 충족하는 접두사로 분석을 제한했던 이전의 제한 사항을 제거합니다. 이제 크기나 깊이에 관계없이 버킷당 최대 수십억 개의 접두사를 추적하여 가장 세부적인 접두사 수준에서 분석할 수 있습니다.

확장된 접두사 지표 보고서에는 스토리지 사용량, 활동 지표(요청 및 전송된 바이트), 데이터 보호 지표, 상세 상태 코드 지표 등 기존의 모든 S3 Storage Lens 지표 범주가 포함됩니다.

시작하는 방법
작동 방식 섹션에서 설명한 것과 동일한 단계에 따라 Storage Lens 대시보드를 생성하거나 업데이트합니다. 콘솔의 4단계에서 내보내기 옵션을 선택하면 새로운 확장된 접두사 지표 보고서를 선택할 수 있습니다. 그런 다음 확장된 접두사 지표 보고서를 CSV 또는 Parquet 형식으로 내 계정의 범용 버킷으로 내보내 Storage Lens 데이터를 효율적으로 쿼리할 수 있습니다.

알아두면 좋은 정보
이 향상된 기능은 조직에서 전체 접두사 구조에 대한 세분화된 가시성이 필요한 시나리오를 해결합니다. 예를 들어 불완전한 멀티파트 업로드가 있는 접두사를 식별하여 비용을 절감하고, 전체 접두사 구조에서 암호화 및 복제 요구 사항의 규정 준수를 추적하고, 가장 세분화된 수준에서 성능 문제를 감지할 수 있습니다.

S3 Tables로 S3 Storage Lens 지표 내보내기
S3 Storage Lens 지표는 이제 Apache Iceberg를 기본으로 지원하는 AWS의 완전 관리형 기능인 S3 Tables로 자동으로 내보낼 수 있습니다. 이 통합을 통해 추가 처리 인프라 없이도 즉각적인 쿼리를 위해 AWS 관리형 S3 테이블에 매일 자동으로 지표를 전송할 수 있습니다.

시작하는 방법
먼저 콘솔의 5단계에 설명된 프로세스를 따라 내보내기 대상을 선택합니다. 이번에는 확장된 접두사 지표 보고서를 선택합니다. 범용 버킷 외에도 테이블 버킷을 선택합니다.

새로운 Storage Lens 지표는 AWS 관리형 버킷 aws-s3의 새 테이블로 내보내집니다.

expanded_prefixes_activity_metrics 테이블을 선택하여 확장된 접두사 보고서의 API 사용 지표를 확인합니다.

Amazon S3 콘솔에서 테이블을 미리 보거나 Amazon Athena를 사용하여 테이블을 쿼리할 수 있습니다.

알아두면 좋은 정보
S3 Tables와 S3 Storage Lens를 통합하면 데이터 파이프라인 없이도 Amazon Athena, Amazon QuickSight, Amazon EMR, Amazon Redshift 등의 AWS 분석 서비스와 익숙한 SQL 도구를 사용하여 지표 분석을 간소화합니다. 최적의 쿼리를 위해 지표가 자동으로 구성되고, 사용자 요구 사항에 맞춰 보존 및 암호화 옵션도 사용자 지정할 수 있습니다.

이러한 통합을 통해 계정 및 리전 간 분석, 사용자 지정 대시보드 생성, 다른 AWS 서비스와의 데이터 상관 관계가 가능합니다. 예를 들어, Storage Lens 지표를 S3 메타데이터와 결합하여 접두사 수준의 활동 패턴을 분석하고 저렴한 스토리지 계층으로 전환할 수 있는 콜드 데이터가 있는 접두사의 객체를 식별할 수 있습니다.

에이전트 AI 워크플로의 경우 자연어를 사용하여 S3 Tables MCP Server로 S3 Tables에서 S3 Storage Lens 지표를 쿼리할 수 있습니다. 에이전트는 ‘지난달 가장 많이 증가한 버킷은 무엇인가요?’ 또는 ‘스토리지 클래스별 스토리지 비용을 보여주세요.’와 같은 질문을 하고 관찰성 데이터에서 즉각적인 인사이트를 얻을 수 있습니다.

정식 출시
세 가지 향상된 기능은 현재 S3 Storage Lens가 제공되는 모든 AWS 리전(중국 리전 및 AWS GovCloud(미국) 제외)에서 사용할 수 있습니다.

이러한 기능은 Amazon S3 Storage Lens 고급 티어에 표준 고급 티어 요금 외에 추가 비용 없이 포함됩니다. S3 Tables 내보내기의 경우 S3 Tables 저장, 유지 관리 및 쿼리에 대해서만 비용을 지불하면 됩니다. 내보내기 기능 자체에는 추가 요금이 부과되지 않습니다.

Amazon S3 Storage Lens 성능 지표, 수십억 개의 접두사 지원, S3 Tables로 내보내기에 대해 자세히 알아보려면 Amazon S3 사용 설명서를 참조하세요. 요금 세부 정보는 Amazon S3 요금 페이지를 참조하세요.

Veliswa Boya