Questions d'ordre général

Q : Qu’est-ce qu’AWS DataSync ?

R : AWS DataSync est un service de transfert de données en ligne qui simplifie, automatise et accélère la copie via Internet ou AWS Direct Connect d’importants volumes de données entre des systèmes de stockage et les services de stockage AWS tels qu’Amazon S3 et Amazon EFS.

Q : Quels sont les avantages d’AWS DataSync ?

R : AWS DataSync permet de transférer, copier et synchroniser de grands ensembles de données comportant des millions de fichiers, sans avoir à créer des solutions sur mesure avec des outils à code source libre ou à acquérir une licence et gérer des logiciels commerciaux d’accélération réseau onéreux. Vous pouvez utiliser DataSync pour une migration ponctuelle de données actives, une répartition périodique des flux de travail de traitement de données ou une réplication continue à des fins de continuité des activités.

Q : Quelle est l’utilité de DataSync ?

R : DataSync réduit la complexité et le coût du transfert des données en ligne, ce qui simplifie le transfert d’ensembles de données entre les systèmes de stockage de données sur site et Amazon S3 ou Amazon Elastic File System (EFS). DataSync se connecte aux systèmes de stockage et aux sources de données existants via un protocole de stockage standard (NFS). Il utilise un protocole réseau dédié et met l’architecture à l’échelle pour accélérer le transfert de données vers et depuis AWS. DataSync se met automatiquement à l’échelle et gère toutes les tâches relatives au transfert de données. Il surveille la progression du transfert, ainsi que le chiffrement et la validation de ce dernier et informe le client de toute défaillance constatée. Avec DataSync, vous ne payez que pour le volume de données copiées, sans engagement minimal ni frais initiaux.

Q : Depuis et vers quels systèmes puis-je transférer des données ?

R : DataSync permet de copier des données entre des serveurs NFS, des compartiments Amazon S3 et des systèmes de fichiers Amazon EFS.

Configuration

Q : Comment démarrer avec DataSync ?

R : Vous pouvez transférer des données avec DataSync en quelques clics dans AWS Management Console ou via l’interface de ligne de commande (CLI) AWS. Pour démarrer, déployez un agent DataSync, configurez les emplacements de stockage source et cible, puis lancez la copie.

Q : Comment déployer un agent DataSync ?

R : Le déploiement d’un agent DataSync se fait sur VMWare ESXi Hypervisor ou dans Amazon EC2. Pour copier des données de ou vers un serveur NFS sur site, vous devez télécharger l’OVA à partir de la console AWS et effectuer le déploiement vers une version de VMWare ESXi Hypervisor sur site. Pour copier des données de ou vers un serveur NFS cloud, vous pouvez créer une instance Amazon EC2 à partir de l’AMI fournie. Dans les deux cas, l’agent doit être déployé de façon à pouvoir accéder à votre serveur NFS.

Q : Quelles sont les exigences en matière de ressources requises pour l’agent DataSync ?

R : Le nombre minimum de ressources requises pour l’exécution de l’agent est disponible ici.

Utilisation

Q : Comment utiliser DataSync ?

R : Pour utiliser DataSync, suivez ces trois étapes :

1. Déployer un agent – déployez un agent DataSync et associez-le à votre compte AWS via l’API ou AWS Management Console. L'agent sera utilisé pour accéder à votre serveur NFS et lire ou écrire les données qu'il contient.

2. Créer une tâche de transfert de données – Créez une tâche en précisant l'endroit de vos source et destination de données et toute option que vous souhaitez utiliser pour configurer le transfert, par exemple la copie de métadonnées de fichiers.

3. Démarrer le transfert – Démarrez la tâche et surveillez les déplacements de données dans la console ou avec Amazon CloudWatch.

Q : Comment démarrer une tâche DataSync ?

R : DataSync copie les données lorsque vous initiez une tâche via AWS Management Console ou l’interface de ligne de commande AWS (CLI). Chaque fois qu’une tâche est exécutée, DataSync recherche dans la source toute modification et copie toutes les différences entre la source vers la destination. Vous pouvez configurer les caractéristiques de la source à utiliser pour déterminer ce qui a changé, définir les filtres pour inclure et exclure des fichiers ou dossiers spécifiques et contrôler si les fichiers ou les objets dans la destination doivent être supprimés lorsqu’ils sont présents dans la source.

Q : Comment DataSync effectue-t-il la validation de l’intégrité des données ?

R : DataSync vérifie l’intégrité des données aussi bien pendant le transfert qu’à la fin de celui-ci (comparaison du total de contrôle entre les fichiers source et de destination et comparaison des métadonnées de fichiers).

Q : Comment surveiller le statut des données transférées par DataSync ?

R : Vous pouvez utiliser AWS Management Console ou l’interface de ligne de commande pour surveiller le statut des données transférées. Les métriques Amazon CloudWatch vous permettent de connaître le nombre de fichiers et le volume des données copiées. Pour obtenir les détails sur les informations d’erreur, utilisez Amazon CloudWatch Logs. Par ailleurs, les événements CloudWatch sont déclenchés dès que démarre la transition de vos tâches, ce qui permet l’automatisation des flux de travail dépendants. Pour plus d’informations sur la progression du transfert, veuillez consulter AWS Management Console ou l’interface de ligne de commande (CLI).

Q : Lors du transfert de fichiers vers ou depuis Amazon S3, comment DataSync établit-il la correspondance entre les fichiers et les objets ?

R : Lors de la copie de fichiers vers des objets, une relation « un à un » s’établit entre un fichier et un objet. Les métadonnées du système de fichiers sont stockées dans les métadonnées utilisateur S3. Les métadonnées sont restaurées lorsque les objets contenant les métadonnées du système de fichiers sont copiés en retour vers les fichiers.

Q : Quelles métadonnées DataSync préserve-t-il lors du transfert de données ?

R : DataSync préserve les métadonnées POSIX telles que l’identifiant utilisateur, l’identifiant de groupe et les autorisations, ce qui garantit la possibilité de restaurer les fichiers dans leur emplacement initial sans perdre lesdites métadonnées. Par ailleurs, lors du stockage des métadonnées POSIX depuis des fichiers pour des objets dans S3, ces métadonnées peuvent être interpolées grâce à la passerelle de fichier.

Q : Puis-je utiliser le contrôle de version, le cycle de vie, la réplication entre régions et la notification d'événements S3 sur DataSync ?

R : Oui. Vos politiques de compartiment en matière de contrôle de version, de gestion du cycle de vie, de réplication entre régions et de notification d'événements S3 s'appliquent directement aux objets transférés dans votre compartiment via DataSync.

Lors de l’utilisation du contrôle de version, sachez que les modifications apportées aux métadonnées d’objets créeront une nouvelle version de l’objet.

Vous pouvez utiliser les politiques de cycle de vie S3 pour modifier le niveau de stockage d'un objet ou supprimer d'anciens objets ou d'anciennes versions d'objet.

Q : Que se passe-t-il en cas d’interruption d’une tâche DataSync ?

R : En cas d’interruption d’une tâche DataSync, par exemple si la connexion réseau s’arrête ou si l’agent DataSync est redémarré, les fichiers manquants seront transférés lors de la prochaine exécution de la tâche, et les données seront ainsi complètes et cohérentes à la fin de l’opération. À chaque redémarrage d’une tâche, le système effectue une copie incrémentielle, ne transférant que les modifications de la source vers la destination.

Q :Puis-je utiliser DataSync avec AWS Direct Connect ?

R. : Oui. Vous pouvez utiliser DataSync avec votre lien Direct Connect pour accéder à des points de terminaison de service public ou à des points de terminaison d'un VPC privé en utilisant AWS PrivateLink.

Q. : DataSync préserve-t-il la structure du répertoire source lors du transfert de fichiers ?

R. : Oui. Lors du transfert de fichiers, DataSync crée une structure de répertoire sur l'emplacement de destination similaire à celle de l'emplacement source.

Q. : DataSync prend-il en charge AWS PrivateLink ?

R. : Oui. Vous pouvez déployer DataSync dans votre Amazon Virtual Private Cloud (Amazon VPC) à l'aide des points de terminaison d'un VPC. Grâce à cette fonctionnalité, les données transférées entre l'agent DataSync et le service AWS n'ont plus à transiter par l'Internet public et n'ont plus besoin d'adresses IP publiques, ce qui améliore la sécurité des données lorsqu'elles sont copiées sur le réseau. Les points de terminaison d'un VPC pour DataSync sont à technologie AWS PrivateLink, une technologie évolutive hautement disponible qui vous permet de connecter de manière privée votre VPC aux services AWS pris en charge.

Q. : Comment configurer DataSync pour utiliser des points de terminaison d'un VPC ?

R. : Pour utiliser les points de terminaison d'un VPC avec DataSync, commencez par créer une interface de point de terminaison AWS PrivateLink pour le service AWS DataSync dans le VPC de votre choix, puis sélectionnez l'interface réseau Elastic (ENI) de ce point de terminaison lors de la création de votre agent DataSync. Ce dernier se connectera à l'ENI pour s'activer et par la suite, toutes les données transférées par l'agent resteront dans votre VPC configuré. Pour la configuration de vos points de terminaison d'un VPC, vous avez le choix entre AWS DataSync Console, l'Interface de ligne de commande AWS (AWS CLI), et le kit SDK AWS. Pour en savoir plus, consultez Using AWS DataSync in a Virtual Private Cloud (Utilisation d’AWS DataSync dans un Virtual Private Cloud).

Performances

Q : Quelle est la vitesse de copie de mon système de fichiers vers AWS via DataSync ?

R : La vitesse de copie d’un ensemble de données via DataSync est fonction du volume des données, de la bande passante E/S pouvant être atteinte entre le stockage source et celui cible, de la bande passante réseau disponible et des caractéristiques du réseau. Un seul agent DataSync peut saturer une liaison réseau de 10 Go/s.

Q : Puis-je contrôler le volume de bande passante utilisé par une tâche DataSync ?

R : Oui. Vous pouvez contrôler le volume de bande passante consommé par DataSync en configurant le système de limitation de bande passante intégré. Cela permet de minimiser l’impact de cette consommation sur les autres utilisateurs ou applications utilisant la même connexion réseau.

Q : DataSync affecte-t-il les performances de mon système de fichiers source ?

R : En fonction de la capacité de votre stockage sur site et de la quantité et de la taille des fichiers à transférer, DataSync peut affecter le délai de réponse des autres clients ayant accès au même stockage de données, car l’agent effectue la lecture ou l’écriture des données depuis ce système de stockage. Configurer la limite de bande passante pour une tâche permet de réduire cet impact en limitant les E/S de votre système de stockage.

Sécurité et conformité

Q : Mes données sont-elles chiffrées durant leur transfert et leur stockage ?

R : Oui. Toutes les données transférées entre la source et la destination sont chiffrées via Transport Layer Security (TLS, qui remplace Secure Sockets Layer, SSL). Les données ne sont pas conservées au sein de DataSync. Le service prend en charge le chiffrement par défaut pour les compartiments S3 et le chiffrement des systèmes de fichiers Amazon EFS pour les données au repos.

Q : Comment DataSync accède-t-il à mon système de fichiers Amazon EFS ?

R : DataSync utilise un agent que vous déployez dans votre environnement informatique ou dans Amazon EC2 pour accéder à vos systèmes de fichiers via le protocole NFS. Ces agents se connectent aux points de terminaison du service DataSync dans AWS. Une fois activés, ils sont géré de manière sécurisée à partir d’AWS Management Console ou la CLI. Lorsque vous copiez des données de ou vers vos locaux, vous n'avez pas besoin de configurer un VPN ou un tunnel, ni d'autoriser les connexions entrantes ; les agents peuvent être configurés pour contourner les pare-feu en utilisant des ports réseau standard.

Q. : Comment mes agents DataSync se connectent-ils à AWS ?

R. : Vos agents DataSync se connectent aux points de terminaison de service dans la région AWS que vous avez choisie. Lors de la création d'un agent, vous pouvez choisir de le connecter a) à des points de terminaison publics orientés Internet, b) à des points de terminaison validés par les standards FIPS (Federal Information Processing Standards) ou c) à des points de terminaison situés dans l'un de vos VPC. Pour en savoir plus, consultez Choose a Service Endpoint (Choisir un point de terminaison de service).

Q. : Comment DataSync accède-t-il à mon compartiment Amazon S3 ?

R : DataSync accède à votre compartiment Amazon S3 à l’aide du rôle IAM que vous avez configuré.

Q : Comment DataSync accède-t-il à mon système de fichiers Amazon EFS ?

R : DataSync accède à votre système de fichiers Amazon EFS via le protocole NFS. Pour ce faire, il monte votre système de fichiers à partir de l’intérieur de votre VPC à partir des interfaces réseau Elastic (ENI) gérées par le service DataSync. DataSync gère entièrement la création, l’utilisation et la suppression de ces ENI en vos lieu et place.

Q : Quels sont les programmes de conformité pris en charge par DataSync ?

R : AWS possède le programme de conformité le plus long du cloud, et a à cœur d’aider les clients à répondre à leurs besoins. DataSync a été évalué conforme aux normes de sécurité mondiale et du secteur. Il satisfait aux normes PCI DSS, ISO 9001, 27001, 27017 et 27018, ainsi que SOC 1, 2 et 3, et est éligible pour la loi HIPAA. Vous pouvez ainsi vérifier votre sécurité et satisfaire à vos propres exigences en toute simplicité. Pour plus d'informations, consultez nos pages sur la conformité. Vous pouvez également consulter la page Services concernés par le programme de conformité pour voir la liste complète des services et certifications.

Q : DataSync est-il conforme à la norme PCI ?

R : Oui. DataSync est conforme à la norme PCI-DSS, ce qui signifie que vous pouvez l’utiliser pour transférer des informations de paiement. Vous pouvez télécharger le package de conformité PCI sur AWS Artefact pour en savoir plus sur comment obtenir la conformité PCI sur AWS.

Q : DataSync est-il éligible à l’HIPAA ?

R : Oui. DataSync est éligible à l’HIPAA. En d’autres termes, si vous possédez un HIPAA BAA sur AWS, vous pouvez utiliser DataSync pour transférer des informations protégées relatives à la santé (PHI).

Quand choisir AWS DataSync

Q : En quoi DataSync diffère par rapport à l’utilisation d’outils de ligne de commande comme rsync ou S3 sync ?

R : Par rapport aux solutions d’amateur créées autour des outils de ligne de commande, DataSync propose des transferts de données automatisés et entièrement gérés. Le service utilise un protocole réseau dédié ainsi qu’une architecture évolutive pour transférer des données jusqu’à 10 fois plus rapidement.

Concrètement, DataSync automatise entièrement le transfert de données. Il inclut des mécanismes de résilience réseau et de relance intégrés, une surveillance via l’API et la console de DataSync, ainsi que les métriques, événements et journaux CloudWatch offrant une visibilité précise sur le processus de transfert. DataSync vérifie l’intégrité des données pendant et à la fin du transfert. Le service prend également en charge une configuration flexible qui permet de répondre à vos besoins spécifiques, notamment l’accélération de la bande passante, la copie d’autorisations de la source, les métadonnées etc.

DataSync offre une sécurité de bout en bout : toutes les donénes trasnférées entre la source et la destination sont chiffrées par TLS, et l’accès à votre stockage AWS est assuré par des mécanismes de sécurité intégrée, tels que les rôles IAM.

Q : Comment choisir entre AWS DataSync et la famille AWS Snowball Edge ?

R : AWS Snowball Edge est recommandé pour les clients qui n’ont pas besoin de leurs données dans AWS dans l’immédiat, qui ont des contraintes de bande passante, ainsi que pour le transfert de données depuis des environnements distants, déconnectés ou austères. DataSync est indiqué pour les clients en quête de migrations en ligne d’ensemble de données actives, pour les transferts rapides de données générées en continu ou pour la réplication à des fins de continuité des activités.

Q : Comment choisir entre AWS DataSync et AWS Storage Gateway ?

R : Si vous cherchez à transférer des données entre vos locaux et un stockage AWS tel que S3 ou EFS, vous pouvez utiliser DataSync. Ce service est généralement utilisé pour la migration de stockage ou pour des transferts récurrents de données depuis des appareils sur site tels que des caméras ou des instruments de traitement vers AWS. Si vous cherchez un accès à latence faible depuis vos locaux vers des données dans AWS, AWS Storage Gateway est préférable. Storage Gateway est généralement utilisé pour la sauvegarde, les charges de travail hybrides, les applications sur site pour lesquelles la latence est importante, la diffusion de contenu entre les bureaux et l’accès en fonction des fichiers à des objets dans S3.

En combinant DataSync et la configuration File Gateway de Storage Gateway, vous pouvez rapidement déplacer votre stockage sur site vers AWS tout en conservant un accès sur site pour les applications sensibles à la latence.

Q : Comment choisir entre AWS DataSync et Amazon S3 Transfer Acceleration ?

R : Si vos applications intègrent déjà l’API Amazon S3 et que vous avez besoin d’un débit plus élevé pour transférer de grands volumes de fichiers vers S3, vous pouvez opter pour S3 Transfer Acceleration. DataSync est recommandé si vous souhaitez transférer des données depuis des systèmes de stockage existants, par exemple un stockage en réseau, ou des instruments immuables, par exemple les séquenceurs d’ADN et les caméras vidéo, ou si vous souhaitez transférer des données vers plusieurs destinations. DataSync automatise et simplifie également le transfert de données en apportant des fonctionnalités supplémentaires, comme des mécanismes de résilience réseau et de relance intégrés, la vérification de l’intégrité des données et la configuration flexible, ce qui permet de répondre à vos besoins propres, notamment l’accélération de bande passante, la copie d’autorisations de la source, les métadonnées etc.

Q : Comment choisir entre AWS DataSync et AWS Transfer for SFTP ?

R : Si vous utilisez actuellement SFTP pour échanger des données avec des tiers, Transfer for SFTP propose un transfert SFTP entièrement géré directement de et vers Amazon S3 tout en réduisant la charge opérationnelle.

Si vous souhaitez profiter d’une transfert de données accéléré et automatisé entre NFS, Amazon S3 et Amazon EFS, vous pouvez utilisez DataSync. DataSync est indiqué pour les clients en quête de migrations en ligne d’ensemble de données actives, pour les transferts rapides de données générées en continu ou pour la réplication à des fins de continuité des activités. 

Utilisation de DataSync pour les migrations

Q. : Comment utiliser DataSync pour les migrations ?

R : Vous pouvez utiliser DataSync pour effectuer une migration depuis un stockage sur site vers Amazon S3, Amazon EFS et WorkDocs. Pour en savoir plus sur le flux recommandé de migration, rendez-vous ici.

Q : Comment utiliser DataSync pour effectuer une migration vers WorkDocs ?

R : DataSync fait partie de WorkDocs Migration Service. DataSync simplifie et accélère la migration de directeurs locaux et de parts de services vers WorkDocs.

En savoir plus sur la tarification de DataSync
En savoir plus sur la tarification

AWS DataSync utilise une tarification simple, prévisible et basée sur l’utilisation. Vous ne payez que pour le volume de données que vous copiez.  

En savoir plus 
Créez un compte AWS
Créer gratuitement un compte

Obtenez un accès instantané à l'offre gratuite d'AWS. 

S'inscrire 
Premiers pas avec DataSync dans la console
Commencer le transfert de données dans la console

Commencez à créer avec AWS DataSync dans la console AWS.

Se connecter