게시된 날짜: Aug 31, 2023
이제 Amazon OpenSearch Ingestion을 사용하면 Amazon Managed Streaming for Apache Kafka(Amazon MSK)에서 스트리밍 데이터를 수집할 수 있습니다. 따라서 서드 파티 데이터 커넥터 없이도 Amazon OpenSearch Service 관리형 도메인 또는 서버리스 컬렉션에서 Amazon MSK의 데이터를 원활하게 인덱싱할 수 있습니다. 이번 통합을 통해 이제 Amazon OpenSearch Ingestion을 사용하여 Amazon MSK에서 수집한 데이터에 대해 거의 실시간으로 집계, 샘플링 및 이상 탐지를 수행할 수 있으므로, 효율적인 데이터 파이프라인을 구축하여 복잡한 관찰성 사용 사례를 지원할 수 있습니다.
Amazon OpenSearch Ingestion 파이프라인은 Amazon MSK 클러스터에서 주제 하나 이상의 데이터를 소비하고 Amazon OpenSearch Service 또는 Amazon S3에 데이터를 쓰기 전에 데이터를 변환할 수 있습니다. Amazon OpenSearch Ingestion을 통해 Amazon MSK에서 데이터를 읽는 동안 주제별 소비자 수를 구성하고 우선 순위가 높은 데이터와 낮은 데이터에 대해 다양한 가져오기 파라미터를 조정할 수 있습니다. 또한 선택적으로 AWS Glue 스키마 레지스트리를 사용하여 수집 시 데이터를 동적으로 읽도록 데이터 스키마를 지정할 수도 있습니다. 아울러 이번 출시의 일환으로 Amazon OpenSearch Ingestion은 이제 Data Prepper 2.4.0을 지원하여 S3 배치 처리, 싱크 필터링, S3 싱크용 Avro 및 Parquet 코덱, 이상 탐지 기능 개선과 같은 새로운 기능을 도입합니다. 이 블로그 게시물에서 전체 기능 목록을 확인할 수 있습니다.
이 기능은 현재 Amazon OpenSearch Ingestion이 제공되는 모든 AWS 상용 리전전에서 사용할 수 있습니다.
자세히 알아보려면 Amazon OpenSearch Ingestion 웹 페이지와 Amazon OpenSearch Service 개발자 안내서를 살펴보세요.