Publié le: Aug 31, 2023
Amazon OpenSearch Ingestion vous permet désormais d'ingérer des données de streaming depuis Amazon Managed Streaming for Apache Kafka (MSK), ce qui vous permet d'indexer facilement les données d'Amazon MSK dans des domaines gérés ou des collections sans serveur Amazon OpenSearch Service sans avoir besoin de connecteurs de données tiers. Grâce à cette intégration, vous pouvez désormais utiliser Amazon OpenSearch Ingestion pour effectuer des agrégations, des échantillonnages et des détections d'anomalies en temps quasi réel sur les données ingérées depuis Amazon MSK, ce qui vous aide à créer des pipelines de données efficaces pour répondre à vos cas d'utilisation complexes de l'observabilité.
Les pipelines d'ingestion d'Amazon OpenSearch peuvent consommer des données provenant d'un ou de plusieurs sujets d'un cluster Amazon MSK et transformer les données avant de les écrire dans Amazon OpenSearch Service ou Amazon S3. Lorsque vous lisez les données d'Amazon MSK via Amazon OpenSearch Ingestion, vous pouvez configurer le nombre de consommateurs par sujet et régler les différents paramètres de récupération pour les données à haute et faible priorité. En outre, vous pouvez également éventuellement utiliser AWS Glue Schema Registry pour spécifier votre schéma de données afin de lire les données de manière dynamique au moment de l'ingestion. Dans le cadre de ce lancement, Amazon OpenSearch Ingestion prend désormais en charge Data Prepper 2.4.0, qui introduit de nouvelles fonctionnalités telles que le traitement par lots S3, le filtrage dans les puits, les codecs Avro et Parquet pour les récepteurs S3 et des améliorations en matière de détection des anomalies. Vous pouvez consulter la liste complète des fonctionnalités dans cet article de blog.
Cette fonctionnalité est disponible dans toutes les régions commerciales AWS où Amazon OpenSearch Ingestion est actuellement disponible.
Pour en savoir plus, consultez la page Web Amazon OpenSearch Ingestion et le manuel du développeur Amazon OpenSearch Service.