Publié le: Apr 27, 2023
Amazon OpenSearch Service annonce aujourd'hui Amazon OpenSearch Ingestion, un nouveau niveau d'ingestion de données entièrement géré qui vous permet d'ingérer et de traiter des données de plusieurs pétaoctets avant de les indexer dans des clusters gérés par OpenSearch ou des collections sans serveur. OpenSearch Ingestion fournit une fonctionnalité sans code permettant de filtrer, de transformer, de rédiger et d'acheminer les données avant de les indexer dans OpenSearch. OpenSearch Ingestion provisionne et adapte automatiquement les ressources sous-jacentes, même pour les charges de travail les plus exigeantes et les plus imprévisibles.
OpenSearch Ingestion est alimenté par OpenSearch Data Prepper, un pipeline de données open source destiné au prétraitement des données de télémétrie (journaux, traces distribuées et métriques) afin de les préparer à l'analyse et à la visualisation dans OpenSearch. OpenSearch Ingestion peut être utilisé comme alternative à la gestion automatique de Logstash ou à d'autres pipelines de données en streaming. Comme OpenSearch Ingestion est un service sans serveur entièrement géré, il élimine les complexités liées à la gestion d'un cluster multi-nœuds pour l'ingestion de données, comme le choix des bons types d'instances, l'application de correctifs de sécurité et l'ajout ou la suppression de nœuds pour optimiser les fluctuations du volume de données, permettant ainsi à votre équipe de se concentrer sur des tâches plus critiques.
Pour commencer à utiliser OpenSearch Ingestion, vous pouvez créer un pipeline dans la console de gestion AWS et définir votre source, vos processeurs ainsi que le cluster ou la collection de destination. Vous pouvez également partir d'un plan pour les cas d'utilisation les plus courants en cas d'ingestion.
OpenSearch Ingestion est désormais disponible dans les régions AWS suivantes : USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Californie du Nord), USA Ouest (Oregon), Europe (Irlande), Europe (Londres), Europe (Francfort), Asie-Pacifique (Tokyo), Asie-Pacifique (Sydney) et Asie-Pacifique (Singapour).
Pour en savoir plus, consultez la page web Amazon OpenSearch Ingestion et le Guide du développeur Amazon OpenSearch Service.