AWS Data Pipeline est un service Web qui vous permet de traiter et de transférer des données de manière fiable entre différents services AWS de stockage et de calcul et vos sources de données sur site, selon des intervalles définis. Avec AWS Data Pipeline, vous pouvez accéder de manière régulière à vos données stockées, les transformer et les traiter à l'échelle, et en transférer efficacement les résultats vers des services AWS tels qu'Amazon S3, Amazon RDS, Amazon DynamoDB et Amazon EMR.
AWS Data Pipeline vous permet de créer facilement des charges de travail qui traitent les données complexes et sont à la fois tolérantes aux pannes, réitérables et hautement disponibles. Vous n'avez pas à vous soucier de la disponibilité des ressources, des liens de dépendance entre les tâches, des nouvelles tentatives en cas d'échec provisoire ou de l'expiration des délais pour les tâches individuelles, ni même de la création d'un système de notification des échecs. AWS Data Pipeline vous permet également de transférer et de traiter des données qui étaient auparavant enfermées dans des silos de données sur site.
3 conditions préalables gratuites pour les activités à faible fréquence
par mois pendant les 12 premiers mois grâce à l’offre gratuite AWS
Fiabilité
AWS Data Pipeline repose sur une infrastructure distribuée hautement disponible, conçue pour exécuter vos activités en tolérant les pannes. Si une erreur survient au niveau de la logique de l'activité ou des sources de données, AWS Data Pipeline relance automatiquement l'activité. Si l'erreur persiste, AWS Data Pipeline vous envoie une notification d'échec via Amazon Simple Notification Service (Amazon SNS). Vous pouvez configurer vos notifications pour des exécutions réussies, des retards dans les activités planifiées ou des échecs.
Facilité d'utilisation
Vous créez facilement et rapidement un pipeline via les fonctions de glisser-déposer de notre console. Les conditions préalables courantes sont intégrées au service, vous n'avez donc pas à écrire une logique supplémentaire pour les utiliser. Par exemple, pour vérifier l'existence d'un fichier Amazon S3 donné, vous indiquez simplement le nom du compartiment Amazon S3 et le chemin du fichier en question, et AWS Data Pipeline se charge du reste.
En plus de son outil graphique de création de pipeline facile à utiliser, AWS Data Pipeline fournit une bibliothèque de modèles de pipeline. Ces modèles simplifient la création de pipelines pour un certain nombre de cas d'utilisation plus complexes, notamment pour le traitement régulier de vos fichiers journaux, l'archivage des données dans Amazon S3 ou l'exécution périodique de requêtes SQL.
Flexibilité
AWS Data Pipeline vous permet d'exploiter un certain nombre de fonctionnalités telles que la planification, le suivi des liens de dépendance et le traitement des erreurs. Vous pouvez utiliser les activités et conditions préalables fournies par AWS et/ou écrire vos propres activités et conditions préalables personnalisées. Vous pouvez donc configurer un pipeline AWS Data Pipeline afin de réaliser des actions telles que lancer des tâches Amazon EMR, exécuter des requêtes SQL directement sur les bases de données ou lancer des applications personnalisées s'exécutant sur Amazon EC2 ou dans votre propre centre de données. Vous créez ainsi de puissants pipelines personnalisés qui analysent et traitent vos données, sans avoir à vous soucier des tâches complexes relatives à la fiabilité de la planification et de l'exécution de votre logique applicative
Scalabilité
AWS Data Pipeline facilite également la répartition de la charge de travail sur une ou plusieurs machines, en série ou en parallèle. Avec la conception flexible d'AWS Data Pipeline, traiter un million de fichiers est aussi facile que de traiter un seul fichier.
Faible coût
AWS Data Pipeline est un service peu onéreux dont le tarif mensuel est faible. Vous pouvez essayer ce service gratuitement dans le cadre de l'essai gratuit d'AWS. En savoir plus.
Transparence
Vous avez la maîtrise totale des ressources de calcul qui exécutent votre logique métier ; ainsi, vous pouvez aisément améliorer ou déboguer votre logique. De plus, des fichiers journaux d'exécution complets sont automatiquement transmis à Amazon S3, vous permettant de consulter un enregistrement détaillé et continu des événements qui se sont produits dans votre pipeline.