메인 콘텐츠로 건너뛰기

Amazon S3

Amazon S3 Metadata

실시간에 가까운 객체 메타데이터를 사용하여 데이터 검색을 가속화

Amazon S3에서 필요한 데이터 탐색 및 구성

Amazon S3 Metadata를 사용하면 객체 메타데이터에 간편하게 액세스하고 보다 용이하게 쿼리할 수 있어 Amazon S3 데이터의 잠재력을 최대한 활용할 수 있습니다. Amazon S3에 저장된 모든 객체의 풍부한 메타데이터를 표시, 저장, 쿼리하여 비즈니스 분석, 실시간 추론 애플리케이션 등에 필요한 데이터를 빠르게 찾을 수 있습니다. S3 Metadata는 크기, 객체의 소스 등 시스템 정의 세부 정보가 포함된 객체 메타데이터와 사용자 지정 메타데이터를 지원합니다. 따라서 태그를 사용하여 제품 SKU, 트랜잭션 ID, 콘텐츠 등급 등의 정보로 객체에 주석을 달 수 있습니다. S3 Metadata는 새 객체와 기존 객체 모두에 대한 메타데이터를 자동으로 채워서 포괄적이고 쿼리 가능한 데이터 뷰를 제공합니다. 자세한 내용은 블로그를 참조하세요.

장점

S3 버킷의 모든 객체(기존 객체 및 신규 업로드)에 대한 메타데이터를 생성하고 관리하도록 설계되어 데이터를 종합적으로 볼 수 있습니다.

Amazon S3에 있는 수조 개의 객체에서 필요한 데이터를 빠르게 찾고 검색할 수 있습니다. 최신 스토리지 환경을 쉽게 이해할 수 있도록 매시간 메타데이터를 업데이트합니다.

객체 태그를 사용하여 비즈니스별 메타데이터로 객체에 주석을 달면 데이터 구성 및 검색 용이성을 향상시킬 수 있습니다.

Apache Iceberg에 대한 지원이 기본적으로 제공되는 관리형 S3 테이블의 라이브 인벤토리 테이블 및 저널 테이블을 통해 메타데이터에 액세스할 수 있습니다.

Amazon SageMaker Lakehouse와의 S3 Tables를 통합함으로써 Amazon Athena, Redshift, EMR과 같은 친숙한 AWS 서비스를 사용하여 메타데이터를 분석할 수 있습니다. S3 Metadata는 인기 있는 오픈 소스 도구와 호환됩니다.

사용 사례

풍부한 메타데이터를 사용하여 모든 데이터를 카탈로그화하여 더 쉽게 검색하고 활용할 수 있습니다. S3 버킷의 모든 객체를 전체적으로 파악하여 데이터 스토리지를 추적하고 이해할 수 있습니다.

출처, 제작 시간, Amazon Bedrock에서 사용한 AI 모델을 포함하여 AI 생성 동영상을 추적하고 관리합니다.

전체 스토리지 풋프린트에 걸친 객체 메타데이터를 분석하여 비용 절감 및 성능 개선 기회를 식별합니다.

비즈니스 인텔리전스 및 의사 결정을 위해 관련 데이터세트를 신속하게 식별하고 분석합니다.

사용자 지정 메타데이터 주석을 사용하여 데이터 구성 및 규정 준수를 개선합니다.

고객

캠브리지 모바일 텔레매틱스

Cambridge Mobile Telematics(CMT)는 세계 최대의 텔레매틱스 서비스 제공업체입니다. 기업 사명은 세계의 도로와 운전자를 더 안전하게 만드는 것입니다. 이 회사의 AI 기반 플랫폼인 DriveWell Fusion®은 스마트폰, 전용 태그, 커넥티드 카, 대시캠, 서드 파티 디바이스 등 수백만 개의 IoT 디바이스에서 센서 데이터를 수집하고 이를 컨텍스트 데이터와 결합하여 차량 및 운전자 행동에 대한 통합된 뷰를 생성합니다.

“CMT에서는 전 세계 모바일 IoT 장치의 수 페타바이트 데이터를 저장하고 분석하여 운전자와 도로 안전을 강화합니다. 당사는 규모가 확장됨에 따라 새로운 인사이트와 모델을 개발하기 위한 데이터를 찾는 것이 점점 더 어려워지고 있습니다. S3 Metadata, 특히 사용자 지정 메타데이터 기능을 사용하면 모든 데이터에 주석을 달고 쿼리 가능한 관리형 테이블에 메타데이터를 유지할 수 있습니다. 이제 효율적이고 경제적인 SQL 쿼리 하나만 있으면 관련 데이터를 찾을 수 있습니다. 이를 통해 S3 Metadata는 판도를 바꿀 수 있으며, 이를 통해 고객에게 새로운 기능을 제공할 수 있습니다.”

Tim Vogel, Cambridge Mobile Telematics Chief Information Officer

Missing alt text value

PayPal

PayPal은 25년 이상 전 세계 상거래에 혁명을 일으켰습니다. 자금 이동, 판매, 쇼핑을 간편하고 개인화되고 안전하게 만드는 혁신적인 경험을 창출하는 PayPal은 약 200개 시장의 소비자 및 기업이 글로벌 경제에 참여하고 성장할 수 있도록 지원합니다.

“S3 메타데이터는 Amazon Athena 및 Amazon QuickSight와 같은 표준 도구를 사용하여 수조 개의 S3 객체를 분석할 수 있는 간단하고 간단한 메커니즘을 제공합니다. 이 기능을 사용하면 S3 객체 메타데이터에 액세스하고 쿼리하기 위한 복잡한 데이터 파이프라인을 구축하는 대신 의사 결정에 시간을 할애할 수 있습니다.”

Jon Southall, PayPal VP Engineering, Large Enterprise Platforms

Missing alt text value

Roche

Roche는 약품과 진단을 결합하여 개인화된 의료 분야의 발전을 달성하고 사람들의 삶을 개선하는 생명공학 회사입니다.

“S3 메타데이터는 제너레이티브 AI 이니셔티브를 가속화합니다. 당사는 팀을 위해 내부 챗봇과 같은 LLM 애플리케이션을 구축하기 때문에 PDF와 같은 비정형 데이터의 가치가 점점 더 커지고 있습니다. 챗봇이 Roche의 특정 비즈니스 컨텍스트에 맞게 조정할 수 있도록 대량의 도메인별 문서를 검색 증강 생성(RAG) 애플리케이션에 수집해야 합니다. 하지만 이는 관리해야 하는 비정형 데이터가 점점 많아진다는 의미이기도 합니다. 그래서 사용자가 대규모 데이터 레이크를 빠르게 탐색하여 구축 중인 특정 생성형 AI 애플리케이션에 대한 관련 데이터세트를 식별할 수 있도록 비정형 데이터를 효율적으로 설명할 수 있는 메타데이터 시스템이 필요합니다. S3 Metadata를 사용하면 AWS Management Console에서 클릭 몇 번으로 강력한 메타데이터 시스템을 간단하게 구축할 수 있습니다. 계속해서 더 많은 비정형 데이터가 수집됨에 따라 S3 Metadata가 자동으로 메타데이터를 표시하고 메타데이터를 최신 상태로 유지합니다. 또한 자체 Lambda를 사용하여 Roche와 관련된 분류 체계를 기반으로 문서를 분류하는 등 비즈니스별 메타데이터를 추출하고 이 메타데이터를 S3 Metadata 테이블과 함께 동일한 글루 카탈로그에 저장하므로 간단한 SQL 조인으로 필요한 모든 메타데이터를 확보할 수 있습니다. S3 메타데이터를 사용하면 제너레이티브 AI 애플리케이션을 더 빠르게 구축할 수 있으므로 데이터를 정리하는 대신 구축에 집중할 수 있습니다.”

Yannick Misteli, Roche Head of Pharma Commercial Engineering

The Roche logo in blue text inside a blue hexagon outline on a transparent background.

스머그머그/플리커

SmugMug와 Flickr는 사진 작가가 사진과 동영상을 업로드하고 공유할 수 있는 온라인 플랫폼을 제공합니다. 이 회사는 자사 애플리케이션에 수십억 개의 사진과 비디오를 저장합니다.

“Amazon S3 데이터를 통해 타임머신을 날리는 것을 상상해 보십시오. SmugMug와 Flickr에서는 22년 이상 고객의 사진과 수천억 개의 객체를 S3에 저장하고 있습니다. 새로운 S3 Metadata 기능을 사용하면 S3 객체 메타데이터를 쉽고 경제적으로 탐색할 수 있습니다. 시간 경과에 따른 객체 크기 등 메타데이터 전체를 쿼리하여 데이터가 어떻게 진화했는지 파악할 수 있습니다. 이전에는 이를 위해 값비싼 데이터베이스 쿼리를 객체 인벤토리와 결합해야 했습니다. 포토그래퍼들이 스토리지를 어떻게 사용하는지 이해하면 사진의 힘을 통해 더 나은 세상을 만들겠다는 우리의 약속을 더욱 발전시킬 수 있습니다.”

Andrew Shieh, SmugMug 위탁자 엔지니어

Missing alt text value

객체 메타데이터를 사용하여 데이터 검색 가속화

Amazon S3 Metadata는 S3 객체에 대한 풍부한 메타데이터를 거의 실시간으로 자동 생성합니다. 객체 태그를 사용하여 사용자 지정 메타데이터를 기반으로 객체를 탐색하고 쿼리하는 과정을 살펴보세요. 대규모 데이터 레이크를 관리하는 경우든 데이터 검색을 최적화하는 경우든, 메타데이터 기반 데이터 관리에 대한 유용한 인사이트를 얻을 수 있습니다.