Publié le: Nov 17, 2023
Amazon OpenSearch Ingestion propose désormais une mise en mémoire tampon persistante lors de l'ingestion de données en streaming à partir de sources basées sur le mode push, ce qui garantit la durabilité des données et simplifie l'architecture d'ingestion des données. Les clients peuvent désormais utiliser la mise en mémoire tampon persistante pour ingérer des données provenant de sources http telles que FluentD, FluentBit et les collecteurs OpenTelemetry sans avoir à configurer une mémoire tampon autonome. La mise en mémoire tampon persistante dans Amazon OpenSearch Ingestion fonctionne sans serveur et s'adapte de manière élastique pour répondre aux besoins de débit des charges de travail les plus exigeantes.
Les clients peuvent activer la mise en mémoire tampon persistante pour leurs pipelines existants ou créer de nouveaux pipelines avec la mise en mémoire tampon persistante activée. Amazon OpenSearch Ingestion veillera ensuite à ce que toutes les données ingérées soient conservées dans une mémoire tampon sur disque qui est répliquée sur plusieurs zones de disponibilité pour des raisons de durabilité avant d'être acheminées vers une destination. Le stockage sur disque grâce à la mise en mémoire tampon persistante évite qu'il ne soit surchargé lorsque les données s'accumulent en raison de l'impossibilité d'atteindre des destinations, ce qui permet d'éviter toute contre-pression sur la source. Outre l'accusé de réception de bout en bout qui est déjà proposé pour les sources basées sur des pulls, Amazon OpenSearch Ingestion offre désormais une durabilité complète des données pour toutes ses sources.
Cette fonctionnalité est disponible dans toutes les régions commerciales AWS où Amazon OpenSearch Ingestion est actuellement disponible.
Pour en savoir plus, consultez la page Web Amazon OpenSearch Ingestion et le manuel du développeur Amazon OpenSearch Service.