Veröffentlicht am: Aug 31, 2023
Mit Amazon OpenSearch Ingestion können Sie jetzt Streaming-Daten aus Amazon Managed Streaming für Apache Kafka (MSK) aufnehmen, sodass Sie die Daten von Amazon MSK in von Amazon OpenSearch Service verwalteten Domains oder Serverless-Sammlungen nahtlos indizieren können, ohne dass Datenkonnektoren von Drittanbietern erforderlich sind. Mit dieser Integration können Sie jetzt Amazon OpenSearch Ingestion verwenden, um Aggregationen, Stichproben und Anomalieerkennung von Daten, die aus Amazon MSK aufgenommen wurden, nahezu in Echtzeit durchzuführen und so effiziente Daten-Pipelines für Ihre komplexen Anwendungsfälle im Bereich Beobachtbarkeit aufzubauen.
Amazon-OpenSearch-Ingestion-Pipelines können Daten aus einem oder mehreren Themen in einem Amazon-MSK-Cluster verarbeiten und die Daten transformieren, bevor sie in Amazon OpenSearch Service oder Amazon S3 geschrieben werden. Beim Lesen von Daten aus Amazon MSK über Amazon OpenSearch Ingestion können Sie die Anzahl der Verbraucher pro Thema konfigurieren und verschiedene Abrufparameter für Daten mit hoher und niedriger Priorität einstellen. Darüber hinaus können Sie optional auch AWS Glue Schema Registry verwenden, um Ihr Datenschema so zu spezifizieren, dass Daten bei der Aufnahme dynamisch gelesen werden. Im Rahmen dieser Einführung unterstützt Amazon OpenSearch Ingestion jetzt auch Data Prepper 2.4.0, das neue Features wie S3-Batch-Verarbeitung, Filterung in Sinks, Avro- und Parquet-Codecs für S3-Sinks und Verbesserungen bei der Erkennung von Anomalien einführt. Die vollständige Liste der Features finden Sie in diesem Beitrag.
Dieses Feature ist in allen kommerziellen AWS-Regionen verfügbar, in denen Amazon OpenSearch Ingestion derzeit verfügbar ist.
Weitere Informationen finden Sie auf der Website Amazon OpenSearch Ingestion und im Entwicklerhandbuch für Amazon OpenSearch Service.