Présentation d’Amazon EMR sans serveur Streaming jobs pour le traitement continu des données de streaming
Amazon EMR sans serveur est une option sans serveur d'Amazon EMR qui permet aux ingénieurs et aux spécialistes des données d'exécuter facilement des cadres d'analytique du big data open source sans avoir à configurer, gérer ni dimensionner des clusters ou des serveurs. Nous sommes ravis d'annoncer un nouveau mode de tâche de streaming sur Amazon EMR sans serveur, qui vous permet d'analyser et de traiter en continu les données de streaming.
Le streaming est devenu vital pour les entreprises qui souhaitent obtenir des informations continues à partir de sources de données telles que les capteurs, les appareils IoT et les journaux web. Cependant, le traitement des données en streaming peut s'avérer difficile en raison d'exigences telles que la haute disponibilité, la résilience aux pannes et l'intégration aux services de streaming. Amazon EMR sans serveur Streaming jobs intègre des fonctionnalités permettant de relever ces défis. Il offre une haute disponibilité grâce à une résilience multi-AZ (zone de disponibilité) en basculant automatiquement vers des zones de disponibilité saines. Il offre également une résilience accrue grâce à de nouvelles tentatives automatiques de tâches en cas de défaillance, mais aussi à des fonctionnalités de gestion des journaux telles que la rotation et le compactage des journaux, empêchant ainsi l'accumulation de fichiers journaux susceptibles d'entraîner des échecs de tâches. En outre, Amazon EMR sans serveur Streaming jobs prend en charge le traitement des données provenant de services de streaming tels que les clusters Apache Kafka autogérés, Amazon Managed Streaming for Apache Kafka, et la fonctionnalité s’intègre désormais à Amazon Kinesis Data Streams à l'aide d'un nouveau connecteur Amazon Kinesis Data Streams intégré, ce qui facilite la création de pipelines de streaming de bout en bout.
Amazon EMR sans serveur Streaming jobs est généralement disponible sur les versions 7.1.0 et ultérieures d'EMR et dans les régions AWS suivantes : USA Est (Virginie du Nord, Ohio), USA Ouest (Oregon), Europe (Stockholm, Paris, Francfort, Irlande, Londres), Amérique du Sud (São Paulo) et Asie-Pacifique (Tokyo, Séoul, Singapour, Mumbai, Sydney). Pour commencer, consultez la section Amazon EMR sans serveur Streaming jobs du Guide de l'utilisateur d’Amazon EMR sans serveur.