Amazon OpenSearch Ingestion

데이터를 대규모로 수집 및 변환하고 Amazon OpenSearch 도메인 및 Serverless 컬렉션으로 라우팅

Amazon OpenSearch Service 데이터 수집을 사용해야 하는 이유

Amazon OpenSearch Ingestion은 데이터를 수집, 필터링, 변환, 보강하고 Amazon OpenSearch 도메인 또는 Serverless 컬렉션으로 라우팅할 수 있는, Amazon OpenSearch Service의 기능입니다. Amazon OpenSearch Ingestion은 다양한 소스의 데이터를 수집할 수 있으며, 가장 복잡한 데이터 변환 요구 사항을 처리할 수 있는 풍부한 내장 프로세서의 에코시스템을 갖추고 있습니다. Amazon OpenSearch Ingestion은 기본적으로 서버리스 서비스이고 가장 까다로운 워크로드의 요구 사항을 충족하도록 자동으로 확장되므로, 고객이 가시성 및 보안 사용 사례의 복잡한 데이터 파이프라인을 관리하는 데 따른 번거로움 없이 비즈니스 로직에 집중할 수 있습니다.

Amazon OpenSearch Service의 이점

노이즈가 많은 데이터를 중복 제거하고 샘플링하며 저렴한 스토리지로 라우팅하여 스토리지 비용을 절감합니다.
내장 프로세서로 데이터를 변환, 필터링, 보강하는 한편, 가시성을 높이고 보안 조사 시간을 단축하는 스키마를 도입하여 데이터 품질을 보장합니다.
민감한 정보가 대상에 도달하기 전에 교정하고 난독화하여 민감한 데이터를 보호합니다.
조건부 로직을 사용하여 데이터를 라우팅함으로써 데이터 레지던시 법률을 준수합니다.

주요 기능

AWS는 많은 고객이 사용하는 OpenSearch 프로젝트의 주요 기여자입니다. 이 관리형 서비스를 통해 OpenSearch Data Prepper의 모든 새로운 혁신 기술을 활용할 수 있습니다. 커뮤니티가 주도하고 기여하는 이러한 기능 외에, Amazon OpenSearch Ingestion 서비스는 다음과 같은 기능을 제공합니다.

  • AWS 관리형 소프트웨어 설치 및 패치 적용
  • AWS는 서비스를 연중무휴로 모니터링하고 복구함
  • AWS는 버전을 업그레이드함
  • 업데이트 및 업그레이드를 위한 가동 중단 없음
  • 가용성 SLA: 99.9%
  • 수집 워크로드에 대한 Auto Scaling 기능이 포함된 서버리스 서비스

고객과 파트너

CyberArk 고객 리뷰

“클라우드 기반 멀티 테넌트 시스템인 CyberArk EPM(Endpoint Privilege Manager)에서는 AWS OpenSearch를 사용하여 수백만 개의 엔드포인트를 관리하고 트래픽이 많은 데이터 이벤트를 수집합니다. Amazon OpenSearch Ingetion을 활용하여 이전의 자체 관리형 Logstash 파이프라인을 AWS 관리형 파이프라인으로 교체했습니다. 그 결과 자체 인프라를 관리해야 하는 부담이 사라지고 데이터 모으기를 위한 확장 가능하고 비용 효율적이며 안정적이고 안전한 아키텍처를 얻을 수 있었습니다. 이 결정은 CyberArk EPM이 FedRAMP High InProcess 등급을 획득하게 되는 한편, Amazon OpenSearch Ingestion이 이미 FedRAMP 규정을 준수하므로 높은 수준의 보안을 유지할 수 있다는 추가 이점을 바탕으로 내려졌습니다.“

Ori Doolman, CyberArk EPM, Senior Software Architect

CyberArk 로고

Calyptia 고객 리뷰

“Calyptia에서는 Cloud Native Computing Foundation 프로젝트, Fluentd 및 Fluent Bit의 제작사이자 유지 관리 업체로서 12년 이상 데이터 모으기 작업을 해왔습니다. 이들 프로젝트의 최신 버전에서 Fluent 프로젝트와 OpenSearch Ingestion Service가 결합되면서 처음부터 사용자에게 더 많은 제어 권한을 부여할 수 있게 되어 기쁩니다. 이 수집 서비스를 통해 사용자는 인프라 관리 및 유지 관리에 대해 걱정할 필요 없이 에이전트와 처리 능력을 계속 확장할 수 있습니다.”

Anurag Gupta, Calyptia 공동 설립자

Calyptia 로고

Confluent 고객 리뷰

“Apache Kafka 및 Confluent와의 기본 통합을 제공하는 OpenSearch Ingestion 서비스를 구축하는 Amazon OpenSearch 팀과 협력하게 되어 매우 기쁩니다. 이번 통합 덕분에 두 회사의 공동 고객은 OpenSearch 내에서 Apache Kafka를 통해 실시간 데이터에 액세스하여 고객 경험을 혁신하고, 실시간 백엔드 운영을 구축하거나 새로운 제품과 서비스를 출시할 수 있습니다. Apache Kafka의 주요 기여자인 Confluent는 완전한 클라우드 네이티브 데이터 스트리밍 플랫폼을 구축하여 Kafka를 10배 향상시켰습니다. 이 플랫폼은 데이터를 생성 위치에서 기업이 그 데이터를 사용하여 작업을 수행할 수 있는 멀티 SaaS 환경이 구축된 곳으로 이동할 수 있습니다. 결과적으로 OpenSearch 사용자는 Confluent와 통합된 100여 개의 데이터 소스를 활용할 수 있게 됩니다. 공동 고객이 Confluent와 OpenSearch로 데이터를 활용하면서 어떤 것들을 구축해나갈지 기대됩니다.”

Paul Mac Farland, Confluent, Partner & Innovation Ecosystem 부문 VP

Confluent 로고