Amazon SageMaker Catalog

데이터 및 AI를 안전하게 검색, 관리 및 협업

개요

차세대 Amazon SageMaker는 정형/비정형 데이터, AI 모델, 비즈니스 인텔리전스 대시보드, 애플리케이션 전반에서 데이터 및 AI에 대한 검색, 거버넌스, 협업을 간소화합니다. Amazon SageMaker Catalog를 사용하면 생성형 AI가 생성한 메타데이터를 사용하는 시맨틱 검색으로 승인된 데이터 및 모델을 안전하게 검색하고 액세스할 수 있습니다. 아니면 그냥 Amazon Q Developer에 자연어로 질문하여 원하는 데이터를 찾을 수도 있습니다. 사용자는 Amazon SageMaker Unified Studio에서 중앙 집중식으로 세분화된 액세스 제어가 포함된 단일 권한 모델을 사용하여 액세스 정책을 일관되게 정의하고 적용할 수 있습니다. 간편한 게시/구독 워크플로를 통해 데이터 및 AI 자산을 원활하게 공유하고 협업합니다. 데이터 품질 모니터링, 데이터 분류, 데이터 및 기계 학습(ML) 계보를 통해 조직 전체에 신뢰를 구축합니다.

Amazon SageMaker Catalog의 실제 사례 보기

데모 사용해 보기

장점

Amazon DataZone에 구축된 SageMaker Catalog를 사용하여 대규모로 데이터 및 AI 자산을 검색합니다. 비즈니스 컨텍스트에 맞게 데이터 및 메타데이터를 자동으로 보강하도록 생성형 AI로 데이터 검색을 개선합니다. 그러면 모든 사용자가 데이터를 더 쉽게 찾고 이해하고 사용할 수 있습니다. 테이블 및 열 이름 또는 비즈니스 용어집 용어로 필터링하여 데이터, AI 모델, 프롬프트, 생성형 AI 자산을 공유할 수 있습니다. 각 데이터세트에 대해 중요한 열 및 관련 분석 애플리케이션을 자동으로 추천하므로 적합한 데이터를 사용하여 적합한 모델을 신속하게 구축할 수 있습니다. 프로젝트를 통해 단일 경험에서 게시/구독 워크플로를 통한 원활한 데이터 및 AI 공유로 중앙 집중식 및 분산형 거버넌스 모델이 모두 지원됩니다.

SageMaker의 데이터 품질, 데이터 계보, ML 계보에 대한 실시간 가시성을 통해 신뢰를 확보합니다. 데이터 프로파일링 및 데이터 품질 권장 사항을 자동화하고, 데이터 품질 규칙을 모니터링하고, 경고를 수신합니다. 규칙 기반 및 ML 접근 방식을 사용하여 엔터티를 조정함으로써 발견하기 어려운 데이터 품질 문제를 해결합니다. 그러면 고품질 데이터를 기반으로 자신 있는 비즈니스 의사 결정을 내릴 수 있습니다. 편향을 감지하거나 특성이 모델 예측에 어떻게 기여하는지 보고하는 내장된 모델 모니터링이 데이터 파이프라인 및 AI 프로젝트의 투명성을 향상합니다.

데이터, 분석, AI 모델이 적절하게 사용되도록 SageMaker에서 세분화된 액세스 제어, 데이터 분류, 가드레일을 통해 데이터 및 AI 보안을 중앙 집중화합니다. 권한을 한 번 정의하고 데이터 및 모델 전체에 적용합니다. Amazon Bedrock이 기본적으로 통합되어 있으므로 고객은 유해 콘텐츠를 차단하고 할루시네이션을 필터링하고 개인 정보 보호, 안전성, 정확성을 위해 사용자 지정 가능한 보호 조치를 활성화하여 생성형 AI 애플리케이션에서 Amazon Bedrock 가드레일을 사용할 수 있습니다. Amazon Comprehend를 사용하여 파이프라인 내에서 민감한 정보를 자동으로 식별합니다.

데이터 사용과 모델 로깅 및 모니터링을 통해 감사 및 규정 준수를 충족할 수 있습니다. 프로젝트 기반 격리를 통해 기업 전체에서 분석 및 AI 자산의 적절한 사용을 지원합니다. 레이크하우스 전반의 데이터 및 모델 사용을 이해하여 보안을 강화할 수 있습니다. Amazon SageMaker Clarify를 사용하여 책임 있는 AI 표준에 따라 모델의 편향, 정확성, 강건성을 모니터링할 수 있습니다. 비즈니스 이니셔티브에 맞게 비용을 조정하고 비즈니스 투자를 명확하게 파악합니다.

기능

컨텍스트 및 검색 가능성을 위해 큐레이션된 데이터

SageMaker Catalog는 기술 메타데이터로 비즈니스 컨텍스트를 가져와 사용자가 비즈니스 컨텍스트로 기술 메타데이터를 강화할 수 있도록 합니다. 모든 사용자가 빠르고 쉽게 데이터를 찾고, 이해하고, 신뢰할 수 있도록 비즈니스 컨텍스트로 데이터를 가시화할 수 있습니다.

자동 메타데이터 추천

데이터에 비즈니스 설명과 이름을 자동으로 추가하므로 컨텍스트를 쉽게 파악할 수 있고 어려운 기술 명칭을 사용하지 않아도 됩니다. 이 자동화는 대규모 언어 모델(LLM)을 기반으로 하여 정확성과 일관성을 향상합니다.

모든 애플리케이션에 일관된 수준의 AI 안전 제공

Amazon Bedrock 가드레일은 사용 사례별 정책을 기반으로 사용자 입력 및 파운데이션 모델(FM) 응답을 평가하는 데 도움이 되며, 기본 FM과 관계없이 추가 계층의 보호를 제공합니다.

모델을 빠르게 감사 및 추적할 수 있습니다.

통합 보기를 통해 모든 모델, 엔드포인트 및 모델 모니터링 작업의 성능을 신속하게 감사하고 문제를 해결합니다. 자동화된 알림을 통해 예상되는 모델 동작과 누락되거나 비활성화된 모니터링 작업의 편차를 추적합니다.

데이터 품질

데이터 소비자는 데이터 품질 통계를 통해 AWS 또는 서드 파티 시스템의 데이터 품질 지표를 볼 수 있습니다. 데이터 소비자는 의사 결정에 사용하는 데이터 소스를 신뢰할 수 있고 자산을 검색할 때 데이터 품질 컨텍스트를 파악할 수 있습니다. 데이터 생산자와 IT 팀은 API를 사용하여 서드 파티 시스템의 데이터 품질 통계를 콘솔 외부의 통합 포털에 통합할 수도 있습니다.

데이터 및 ML 계보

시간 경과에 따른 데이터 및 모델의 이동을 이해합니다. 계보는 데이터 소비자가 데이터의 출처, 변경 사항, 사용을 파악하는 데 도움을 주어 조직의 데이터 및 AI 리터러시를 향상시키고 신뢰를 높일 수 있습니다. 데이터 및 AI 자산과 자산 관계 매핑, 파이프라인 문제 해결 및 개발, 데이터 및 AI 거버넌스 사례 적용에 소요되는 시간을 줄일 수 있습니다.

고객

Natera, Inc.

"Amazon QuickSight를 Amazon SageMaker와 통합함으로써, 저희 연구소 운영팀과 과학자들은 이제 모든 사이트의 임상 테스트 성능을 실시간으로 모니터링할 수 있습니다. 처리량, 품질 관리 지표, 처리 시간 등을 통합하는 대시보드를 개발하여 상세한 추세 분석과 지속적인 성능 최적화가 가능해졌습니다. 이제 과학자들은 탐색적 검토부터 모델 개발에 이르기까지 모든 포괄적인 데이터 분석을 단일 통합 환경 내에서 수행할 수 있습니다."

Mirko Buholzer, Natera, Inc., Software Engineering VP

Natera가 Amazon SageMaker 카탈로그를 활용하여 유전체학 규모를 확장하는 방법

Cisco

"우리는 데이터를 검색하고, 공유하고, 관리해야 합니다. 데이터 메시 또는 데이터 패브릭으로 불리는 이 데이터라는 것이 여러 팀의 여러 사일로에 존재하므로, 하나로 통합해야 합니다. Amazon SageMaker Catalog는 데이터 생산자와 소비자를 연결하므로 생산자는 내장된 제어 및 데이터 계약을 통해 데이터를 공유할 수 있는 동시에, 소비자가 원하는 도구를 사용하여 데이터에 액세스할 수 있습니다."

Shaja Arul Selvamani, Cisco AI/ML, Sr. Director

NatWest

"저희 데이터 플랫폼 엔지니어링 팀은 데이터 엔지니어링, ML, SQL, 생성형 AI 태스크를 위한 최종 사용자 도구를 여럿 배포해 왔습니다. 은행 전반의 프로세스를 단순화하기 위해 사용자 인증 및 데이터 액세스 권한 부여를 간소화하는 방안을 모색하고 있습니다. Amazon SageMaker는 바로 사용 가능한 사용자 경험을 제공하여 조직 전체에 단일 환경을 배포하여 데이터 사용자가 새 도구에 액세스하는 데 필요한 시간을 약 50% 단축합니다."

Zachery Anderson, NatWest Group CDAO