Généralités

Q : Qu'est-ce qu'AWS DataSync ?

R : AWS DataSync est un service de transfert de données en ligne qui simplifie, automatise et accélère le déplacement de grands volumes de données entre des systèmes de stockage sur site et des services AWS Storage, mais aussi entre les services AWS Storage. DataSync peut copier des données entre les serveurs de fichiers Network File System (NFS), Server Message Block (SMB), le stockage d'objets autogéré ou AWS Snowcone, les compartiments Amazon Simple Storage Service (Amazon S3), les systèmes de fichiers Amazon Elastic File System (Amazon EFS) et les systèmes de fichiers Amazon FSx for Windows File Server.

Q : Quels sont les avantages d'AWS DataSync ?

R : AWS DataSync permet de copier de grands ensembles de données avec des milliards de fichiers, sans avoir à créer des solutions personnalisées avec des outils open source, ou à acheter des licences et gérer des logiciels commerciaux coûteux d'accélération réseau. Vous pouvez utiliser DataSync pour migrer des données actives vers AWS, archiver des données pour libérer de la capacité de stockage sur site ou répliquer des données vers AWS pour la continuité des activités ou encore pour transférer des données vers le cloud pour analyse et traitement.

Q : En quoi AWS DataSync peut-il m'être utile ?

R : AWS DataSync réduit la complexité et le coût du transfert des données en ligne, ce qui simplifie le transfert d'ensembles de données entre les systèmes de stockage de données sur site et les services de AWS Storage, et entre les services AWS Storage. DataSync se connecte aux systèmes de stockage et aux sources de données existants avec des protocoles de stockage standard (NFS, SMB), ou en utilisant l'API Amazon S3. Il utilise un protocole réseau dédié, ainsi qu’une architecture évolutive pour transférer des données entre les systèmes de stockage et les services AWS. DataSync se met à l'échelle automatiquement et gère le mouvement des fichiers et des objets ; la planification, la surveillance, le chiffrement et la vérification des transferts de données et le signalement aux clients des problèmes éventuels. Avec DataSync, vous ne payez que pour le volume de données copiées, sans engagement minimal ni frais initiaux.

Q : Quelles sont les sources et destinations possibles de transfert de données ?
R : AWS DataSync peut transférer des données entre des serveurs de fichiers NFS (Network File System), SMB (Server Message Block), le stockage d'objets autogéré, AWS Snowcone, les compartiments Amazon Simple Storage Service (Amazon S3), et les systèmes de fichiers Amazon Elastic File System (Amazon EFS) et Amazon FSx for Windows File Server.

Q : Comment utiliser AWS DataSync pour migrer des données vers AWS ?

R : Vous pouvez utiliser AWS DataSync pour migrer des données sur site vers Amazon S3, Amazon EFS et Amazon FSx for Windows File Server. Configurez DataSync pour créer une copie initiale de l'intégralité de votre ensemble de données et planifiez les transferts incrémentiels ultérieurs des données changeantes jusqu'au basculement final de l'emplacement sur site vers AWS. DataSync inclut également le chiffrement et la validation d'intégrité afin de garantir que vos données soient transférées en toute sécurité et arrivent intactes, prêtes à l'emploi. Pour réduire l'impact sur les charges de travail qui dépendent de votre connexion réseau, vous pouvez programmer votre migration pour qu'elle se déroule en dehors des heures de travail, ou limiter la quantité de bande passante réseau que DataSync utilise en configurant l'accélérateur de bande passante intégré. DataSync conserve les métadonnées entre les systèmes de stockage qui ont des structures de métadonnées similaires, permettant une transition en douceur des utilisateurs finaux et des applications vers l'utilisation de votre service AWS Storage cible. Lisez le blog sur le stockage « Migrating storage with AWS DataSync » qui explique les bonnes pratiques de migration et fournit des conseils.

Q : Comment utiliser AWS DataSync pour archiver des données statiques ?

R : Vous pouvez utiliser AWS DataSync pour transférer les données statiques depuis des systèmes de stockage sur site directement vers des solutions de stockage durable et sécurisé dans la durée comme Amazon S3 Glacier ou Amazon S3 Glacier Deep Archive. Utilisez la fonctionnalité de filtrage de DataSync pour exclure la copie de fichiers et dossiers temporaires. Puis, copiez exclusivement un sous-ensemble de fichiers à partir de votre emplacement source ou répartissez un système de fichiers unique entre plusieurs destinations. Vous pouvez choisir le service de stockage le plus économique pour vos besoins : transférer les données vers n'importe quelle classe de stockage S3 ou utiliser DataSync avec EFS Lifecycle Management pour stocker les données dans la classe de stockage en accès peu fréquent Amazon EFS (EFS IA). Utilisez la fonctionnalité intégrée de planification des tâches pour archiver régulièrement les données qui doivent être conservées à des fins de conformité ou d'audit, telles que les journaux, les séquences vidéo ou les dossiers médicaux électroniques. 

Q : Comment utiliser AWS DataSync pour répliquer des données vers AWS pour assurer la continuité des activités ?

R : Avec AWS DataSync, vous pouvez répliquer régulièrement des fichiers dans toutes les classes de stockage Amazon S3. Vous pouvez également envoyer les données à Amazon EFS ou Amazon FSx for Windows File Server pour alimenter un système de fichiers de secours. Utilisez la fonctionnalité intégrée de planification des tâches pour que les modifications apportées à votre ensemble de données soient régulièrement copiées vers votre stockage de destination. Lisez ce blog sur le stockage AWS pour en savoir plus sur la protection des données avec AWS DataSync.

Q : Comment utiliser AWS DataSync pour les transferts récurrents entre les emplacements sur site et AWS pour les flux de travail en cours ?

R : Vous pouvez utiliser AWS DataSync pour les transferts depuis des systèmes sur site vers ou hors d’AWS pour traitement. DataSync peut vous aider à accélérer vos flux de travail cloud hybrides critiques pour les activités qui nécessitent de déplacer rapidement des fichiers actifs vers AWS. Cela concerne le machine learning dans le secteur des sciences de la vie, la production de vidéos dans le secteur multimédia et de divertissement, l'analyse des Big Data dans les services financiers et la recherche sismique dans l'industrie pétrolière et gazière. DataSync assure une diffusion opportune afin de ne pas retarder les processus dépendants. Vous pouvez spécifier des filtres d'inclusion, des filtres d'exclusion ou les deux pour déterminer les fichiers, dossiers ou objets qui sont transférés à chaque exécution de votre tâche.

Q : Puis-je utiliser AWS DataSync pour créer mon lac de données ?

R : Oui. Avec AWS DataSync, vous pouvez facilement créer votre lac de données en automatisant le transfert d’ensembles de données sur site vers Amazon S3. DataSync transfère simplement et rapidement l'ensemble de données complet à l’aide de protocoles de stockage standard (NFS ou SMB) ou de l'API Amazon S3. Après le transfert de l'ensemble de données initial, vous pouvez programmer des transferts supplémentaires ultérieurs de nouvelles données sur site vers AWS. DataSync inclut également le chiffrement et la validation d'intégrité afin de garantir que vos données soient transférées en toute sécurité et arrivent intactes, prêtes à l'emploi. L'impact sur les charges de travail qui dépendent de votre connexion réseau peut être atténué en programmant l’exécution des tâches de transfert en dehors des heures d'ouverture, ou en limitant la taille de la bande passante de réseau qu’utilise DataSync en configurant le limiteur intégré de bande passante. Une fois que vos données sont dans Amazon S3, vous pouvez utiliser les services AWS natifs pour exécuter des applications d’analyse Big Data, d’intelligence artificielle (IA), de machine learning (ML), de calcul haute performance (HPC) et de traitement de données médias pour extraire des informations de vos ensembles de données non structurées. Consultez la page Web sur le stockage de lac de données AWS pour en savoir plus sur la création et l'exploitation de votre lac de données.

Q : Comment puis-je utiliser AWS DataSync pour transférer des données entre les services AWS Storage ?

R : Vous pouvez utiliser DataSync pour transférer des fichiers ou objets entre Amazon S3, Amazon EFS et Amazon FSx for Windows File Server au sein du même compte AWS. Vous pouvez transférer des données entre les services d'une même région AWS, entre services dans différentes régions AWS commerciales à l'exception de la Chine, ou entre régions AWS GovCloud (USA Est et USA Ouest). Cela ne nécessite pas de déployer d'agent DataSync et peut être configuré de bout en bout à l'aide de la console AWS DataSync, de l'interface de ligne de commande AWS (CLI) ou d'un kit SDK (Software Development Kit) AWS.

Q : Puis-je utiliser AWS DataSync pour migrer vers Amazon WorkDocs ?

R : Oui. AWS DataSync accélère une étape accomplie par Amazon WorkDocs Migration Service en automatisant le chargement de fichiers vers le compartiment Amazon S3 utilisé pour la migration. DataSync simplifie et accélère la migration de répertoires de base et de partages de services vers WorkDocs. Pour en savoir plus sur l’utilisation de DataSync pour les migrations vers WorkDocs, lisez le billet de blogMigrating network file shares to Amazon WorkDocs using AWS DataSync(Migration des partages de fichiers de réseau vers Amazon WorkDocs avec AWS DataSync).

Utilisation

Q : Comment puis-je démarrer avec AWS DataSync ?

R : Vous pouvez transférer des données avec AWS DataSync en quelques clics dans AWS Management Console ou via l'interface de ligne de commande AWS (AWS CLI). Suivez les trois étapes suivantes pour démarrer :

1. Pour transférer des données entre des systèmes de stockage sur site et des services AWS Storage, déployer un agent – Déployez un agent DataSync et associez-le à votre compte AWS via l’API ou Management Console. L'agent sera utilisé pour accéder à votre serveur NFS, votre partage de fichier SMB ou votre stockage d'objets autogéré pour lire ou écrire les données qu'il contient ou pour y écrire des données. Le déploiement d'un agent n'est pas requis pour transférer des données entre les services AWS Storage d'un même compte AWS.

2. Créer une tâche de transfert de données – Créez une tâche en précisant l'emplacement de vos source et destination de données ainsi que toute option que vous souhaitez utiliser pour configurer le transfert, comme le calendrier des tâches souhaité.

3. Démarrer le transfert – Démarrez la tâche et surveillez les déplacements de données dans la console ou avec Amazon CloudWatch.

Q : Comment puis-je déployer un agent AWS DataSync ?

R : Le déploiement d'un agent AWS DataSync se fait sur votre hyperviseur sur site ou dans Amazon EC2. Pour copier des données vers ou depuis un serveur de fichiers sur site, vous devez télécharger l'image de machine virtuelle de l'agent à partir de la console AWS et procéder au déploiement vers votre hyperviseur VMware ESXi, KVM (Kernel-based Virtual Machine) Linux ou Microsoft Hyper-V sur site. En cas d'utilisation d'un agent DataSync, l'agent doit être déployé afin qu'il puisse accéder à votre serveur de fichiers en utilisant les protocoles NFS ou SMB ou l'API Amazon S3. Pour configurer des transferts entre vos compartiments S3 sur AWS Outposts et des compartiments S3 au sein des régions AWS, déployez l'agent sur votre Outpost. Pour configurer des transferts entre votre appareil AWS Snowcone et AWS Storage, utilisez l’agent AMI DataSync qui est pré-installé sur votre appareil.

Le déploiement d'un agent n'est pas requis pour transférer des données entre les services AWS Storage d'un même compte AWS. Pour copier des données vers ou à partir d'un serveur de fichier sur le cloud autogéré, ou entre les services AWS Storage dans différentes régions AWS, lancez une instance Amazon EC2 en utilisant une AMI d'agent DataSync.

Q : Quelles sont les exigences en matière de ressources pour l'agent AWS DataSync ?

R : Le nombre minimum de ressources requises pour l'exécution de l'agent est disponible ici.

Q: Comment puis-je démarrer une tâche de transfert de données AWS DataSync ?

R : AWS DataSync copie les données lorsque vous initiez une tâche via AWS Management Console ou l'interface de ligne de commande AWS (AWS CLI). Chaque fois qu'une tâche est exécutée, AWS DataSync compare la source et la destination à la recherche de modifications et copie toutes les différences de données et de métadonnées de la source vers la destination. Vous pouvez configurer les caractéristiques de la source à utiliser pour déterminer ce qui a changé, définir les filtres pour inclure et exclure des fichiers ou dossiers spécifiques et vérifier si les fichiers ou les objets dans la destination doivent être écrasés lorsqu'ils sont modifiés dans la source ou supprimés lorsqu'ils sont introuvables dans la source.

Q : Comment AWS DataSync s'assure-t-il que mes données sont copiées correctement ?

R : Lors du transfert et du stockage des données, AWS DataSync effectue des contrôles d'intégrité destinés à s'assurer que les données écrites vers la destination correspondent aux données lues dans la source. De plus, un contrôle de vérification optionnel peut être effectué à la fin du transfert pour comparer la source et la destination. DataSync calculera et comparera les totaux de contrôle intégral des fichiers des données stockées dans la source et dans la destination. Vous pouvez vérifier l'ensemble des données ou vous limiter aux fichiers ou objets que DataSync a transférés.

Q : Comment puis-je surveiller le statut des données transférées par AWS DataSync ?

R : Vous pouvez utiliser AWS Management Console ou l'interface de ligne de commande pour surveiller le statut des données transférées. Les métriques Amazon CloudWatch vous permettent de connaître le nombre de fichiers et le volume des données copiées. Vous pouvez également activer la journalisation de fichiers individuels vers CloudWatch Logs pour identifier ce qui a été transféré à un moment donné, ainsi que les résultats de la vérification de l'intégrité du contenu réalisé par DataSync. Ce procédé simplifie la surveillance, le signalement et la résolution des problèmes. Il vous permet également de fournir des mises à jour en temps opportun aux parties prenantes. Pour plus d'informations, en particulier sur la progression du transfert, veuillez consulter AWS Management Console ou l'interface de ligne de commande (CLI).

Q : Puis-je filtrer les fichiers et dossiers transférés par AWS DataSync ?

R : Oui. Vous pouvez spécifier un filtre d'exclusion, un filtre d'inclusion ou les deux pour limiter les fichiers, dossiers ou objets transférés à chaque exécution d'une tâche. Lors de la création d'une tâche, vous configurez les chemins de fichier ou les clés d'objet qui doivent toujours échapper à la copie. Ensuite, lorsque vous démarrez une tâche, vous configurez les chemins de fichier ou les clés d'objet à inclure pour l'exécution de la tâche. Si aucun filtre n'est configuré, toutes les modifications de la source vers la destination seront transférées chaque fois qu'une tâche est exécutée. Lisez ce billet de blog consacré au service de stockage AWS pour en savoir plus sur l’utilisation de filtres courants avec DataSync.

Q : Puis-je configurer AWS DataSync de sorte à programmer des transferts ?

R : Oui. Vous pouvez planifier vos tâches à l'aide de la console AWS DataSync ou de l'interface de ligne de commande AWS (AWS CLI) sans avoir à écrire et exécuter de scripts pour gérer les transferts répétés. La planification des tâches exécute automatiquement les tâches selon le temps que vous configurez en utilisant les options horaires, quotidiennes ou hebdomadaires fournies directement dans la Console. Grâce à la planification, vous êtes sûr que les modifications apportées à votre ensemble de données sont automatiquement détectées et copiées dans votre stockage de destination.

Q : AWS DataSync conserve-t-il la structure des répertoires lors de la copie de fichiers ?

R : Oui. Lors du transfert de fichiers, AWS DataSync crée une structure de répertoire sur l'emplacement de destination similaire à celle de l'emplacement source.

Q : Que se passe-t-il en cas d'interruption d'une tâche AWS DataSync ?

R : En cas d'interruption d'une tâche, par exemple si la connexion réseau s'arrête ou si l'agent AWS DataSync est redémarré, les fichiers manquants seront transférés lors de la prochaine exécution de la tâche et les données seront ainsi complètes et cohérentes à la fin de l'opération. À chaque redémarrage d'une tâche, le système effectue une copie incrémentielle et ne transfère que les modifications de la source vers la destination.

Q :Puis-je utiliser AWS DataSync avec AWS Direct Connect ?

R : Oui. Vous pouvez utiliser AWS DataSync avec votre lien Direct Connect pour accéder à des points de terminaison de service public ou à des points de terminaison d'un VPC. Lorsque des points de terminaison d'un VPC sont utilisés, les données transférées entre l'agent DataSync et le service AWS ne transitent pas par l'Internet public et n'ont plus besoin d'adresses IP publiques, ce qui améliore la sécurité des données lorsqu'elles sont copiées sur le réseau.

Q : AWS DataSync prend-il en charge les points de terminaison d'un VPC ou AWS PrivateLink ?

R : Oui. Vous pouvez utiliser les points de terminaison d'un VPC pour vous assurer que les données transférées entre votre agent AWS DataSync déployé sur site ou dans le cloud ne passent pas par l'Internet public ou n'ont pas besoin d'adresses IP publiques. L'utilisation des points de terminaison d'un VPC augmente la sécurité de vos données sans nuire au trafic réseau au sein d'Amazon Virtual Private Cloud (Amazon VPC). Les points de terminaison d'un VPC pour DataSync sont à technologie AWS PrivateLink. Il s’agit d’une technologie évolutive hautement disponible qui vous permet de connecter de manière privée votre VPC aux services AWS pris en charge.

Q : Puis-je configurer AWS DataSync pour utiliser des points de terminaison d'un VPC ?

R : Pour utiliser les points de terminaison d'un VPC avec AWS DataSync, commencez par créer une interface de point de terminaison AWS PrivateLink pour le service DataSync dans le VPC de votre choix, puis sélectionnez l'interface réseau Elastic (ENI) de ce point de terminaison lors de la création de votre agent DataSync. Ce dernier se connectera à l'ENI pour s'activer et par la suite, toutes les données transférées par l'agent resteront dans votre VPC configuré. Pour la configuration de vos points de terminaison d'un VPC, vous avez le choix entre AWS DataSync Console, l'Interface de ligne de commande AWS (AWS CLI), et le kit SDK AWS. Pour en savoir plus, consultez Using AWS DataSync in a Virtual Private Cloud (Utilisation d’AWS DataSync dans un virtual private cloud).

Transfert vers et depuis Amazon S3

Q : Puis-je copier mes données dans Amazon S3 Glacier, Amazon S3 Glacier Deep Archive ou dans d'autres classes de stockage S3 ?

R : Oui. Lors de la configuration d'un compartiment S3 en vue d'une utilisation avec AWS DataSync, vous pouvez sélectionner la classe de stockage S3 que DataSync utilise pour stocker les objets. DataSync prend en charge le stockage de données directement dans S3 Standard, S3 Intelligent-Tiering, S3 Standard – Accès peu fréquent, S3 Unizone–Accès peu fréquent, Amazon S3 Glacier (S3 Glacier) et Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive). Des informations complémentaires sur les classes de stockage Amazon S3 sont disponibles dans le Manuel du développeur d'Amazon Simple Storage Service.

Les objets dont la capacité de charge est inférieure à la capacité de charge minimale par objet seront stockés dans S3 standard. À titre d'exemple, les objets de dossier dont la taille est de zéro octet et qui ne contiennent que des métadonnées seront stockés dans S3 standard. Lisez notre documentation pour en savoir plus sur les éléments à prendre en compte lors de l'utilisation des classes de stockage Amazon S3. Pour en savoir plus sur les capacités de charge minimales, consultez Tarification d'Amazon S3.

Q : Puis-je copier des données à partir des classes de stockage S3 Standard – Accès peu fréquent et S3 Unizone – Accès peu fréquent ?

R : Oui. Si vous utilisez S3 comme emplacement source pour une tâche AWS DataSync, le service récupérera tous les objets du compartiment qui doivent être copiés vers la destination. L'extraction d'objets du stockage S3 Standard – Accès peu fréquent et S3 Unizone – Accès peu fréquent entraîne des frais d'extraction calculés en fonction de la taille des objets. Lisez notre documentation pour connaître les éléments à prendre en compte lors de l'utilisation des classes de stockage Amazon S3.

Q : Puis-je copier et déplacer des données hors de S3 Glacier et Amazon S3 Glacier Deep Archive ?

R : Si vous utilisez S3 comme emplacement source pour une tâche AWS DataSync, le service récupérera tous les objets du compartiment qui doivent être copiés vers la destination. La récupération d'objets archivés dans la classe de stockage S3 Glacier ou S3 Glacier Deep Archive entraîne une erreur. Toute erreur de récupération des objets archivés sera enregistrée par DataSync et entraînera l'échec de l'exécution de la tâche. Lisez notre documentation pour connaître les éléments à prendre en compte lors de l'utilisation des classes de stockage Amazon S3.

Q : Comment AWS DataSync accède-t-il à mon compartiment Amazon S3 ?

R : AWS DataSync joue un rôle IAM que vous lui assignez. Les actions que le rôle peut exécuter dépendent de la stratégie que vous attachez à ce dernier. DataSync peut générer automatiquement ce rôle pour vous. Vous pouvez aussi configurer manuellement le rôle.

Q : Comment AWS DataSync convertit-il les fichiers et dossiers vers ou depuis des objets dans Amazon S3 ?

R : Lorsque des fichiers ou des dossiers sont copiés vers Amazon S3, il existe une relation de un-à-un entre un fichier ou un dossier et un objet. Les horodatages de fichiers et de dossiers ainsi que les autorisations POSIX (y compris l'ID utilisateur, l'ID de groupe et les autorisations) sont stockés dans les métadonnées de l'utilisateur de S3. Pour les partages NFS, les métadonnées de fichiers stockées dans les métadonnées de l'utilisateur de S3 interagissent avecla passerelle de fichiers, ce qui rend possible un accès sur site aux données stockées dans Amazon S3 par AWS DataSync.

Les métadonnées du fichier sont restaurées lorsque DataSync recopie vers un serveur NFS des objets contenant ces métadonnées de l'utilisateur. Les liens symboliques et les liens physiques sont également restaurés lors de la copie de NFS vers S3.

Lors de la copie à partir d’un partage de fichiers SMB, les autorisations POSIX par défaut sont stockées dans les métadonnées de l'utilisateur dans S3. Lors de la recopie vers un partage de fichiers SMB, le propriétaire est défini en fonction de l'utilisateur qui a été configuré dans DataSync pour accéder à ce partage de fichiers et des autorisations par défaut sont attribuées.

Pour en savoir plus sur le stockage des fichiers et des métadonnées par DataSync, reportez-vous à notre documentation.

Q : Quelles métadonnées d'objet sont conservées lors du transfert d'objets entre le stockage d'objets autogéré et Amazon S3 ?

R : Lors du transfert d'objets entre le stockage d'objets autogéré et Amazon S3, DataSync copie les objets avec les métadonnées et les balises d'objet.

Q : Quelles métadonnées d'objet sont conservées lors du transfert d'objets entre compartiments Amazon S3 ?

R : Lors du transfert d'objets entre compartiments Amazon S3, DataSync copie les objets avec les métadonnées et les balises d'objet. DataSync ne copie pas les autres informations, telles que les listes de contrôle d'accès (ACL) d'objet ou leurs versions antérieures.

Q : Quels sont les coûts de requête et de stockage Amazon S3 applicables lors de l'utilisation des classes de stockage S3 avec AWS DataSync ?

R : Certaines classes de stockage S3 ont des comportements qui sont susceptibles d'affecter votre coût. Exemple : récupération de données ; capacités minimales de stockage ; durées minimales de stockage. DataSync automatise la gestion des données pour tenir compte de ces facteurs. Il fournit aussi des paramètres destinés à minimiser l'extraction des données.

AWS DataSync stocke automatiquement les petits objets dans S3 Standard afin d'éviter une charge minimale par objet. Vous pouvez minimiser les frais d'extraction de données en configurant DataSync pour ne vérifier que les fichiers qui ont été transférés par une tâche donnée. DataSync dispose de commandes pour écraser et supprimer des objets afin d'éviter des frais de durée de stockage minimale. Lisez notre documentation pour connaître les éléments à prendre en compte lors de l'utilisation des classes de stockage Amazon S3.

Q : Puis-je copier des données d’objet vers et depuis des compartiments Amazon S3 sur AWS Outposts ?

R : Oui. Vous pouvez copier des objets entre des compartiments Amazon S3 sur AWS Outposts et Amazon S3 dans des régions AWS. AWS DataSync copie les objets avec les métadonnées et les balises d’objet. Pour que DataSync accède à vos compartiments Amazon S3 sur Outposts, déployez un agent EC2 DataSync sur votre Outpost.

Lors de l’utilisation de DataSync avec Amazon S3 sur Outposts, vous ne pouvez transférer des données que vers et depuis des compartiments Amazon S3 dans des régions AWS. Vous pouvez en apprendre davantage sur les sources et les destinations prises en charge pour les tâches DataSync dans notre documentation.

Transfert depuis et vers Amazon EFS

Q : Comment AWS DataSync accède-t-il à mon système de fichiers Amazon EFS ?

R : AWS DataSync accède à votre système de fichiers Amazon EFS via le protocole NFS. Le service DataSync monte votre système de fichiers à partir de l'intérieur de votre VPC depuis des interfaces réseau Elastic (ENI) gérées par le service DataSync. DataSync gère entièrement pour vous la création, l'utilisation et la suppression de ces interfaces ENI.

Q : Puis-je utiliser AWS DataSync avec toutes les classes de stockage EFS ?

R : Oui. Vous pouvez utiliser AWS DataSync pour copier des fichiers vers Amazon EFS et configurer EFS Lifecycle Management pour migrer les fichiers qui n'ont pas été utilisés depuis un certain temps vers la classe de stockage avec accès peu fréquent.

Q : Puis-je utiliser AWS DataSync pour répliquer mon système de fichiers Amazon EFS vers une autre région AWS ?

R : Oui. Vous pouvez utiliser AWS DataSync pour planifier la réplication périodique de votre système de fichiers Amazon EFS vers un autre système de fichiers Amazon EFS au sein du même compte AWS. Cette fonctionnalité est disponible pour les déploiements au sein d'une région ou sur plusieurs régions et ne requiert pas l'utilisation d'un agent DataSync.

Q : Quelles métadonnées sont conservées lors de la copie de données entre un partage NFS et Amazon EFS, ou entre deux systèmes de fichiers Amazon EFS ?

R : AWS DataSync copie les horodatages de fichiers et de dossiers ainsi que les autorisations POSIX (y compris l'ID utilisateur, l'ID de groupe et les autorisations). Vous pouvez en savoir plus et voir la liste complète des métadonnées copiées dans notre documentation.

Transfert vers et depuis Amazon FSx for Windows File Server

Q : Comment AWS DataSync accède-t-il à mon système de fichiers Amazon FSx ?

R : AWS DataSync accède à votre système de fichiers Amazon FSx à l'aide du protocole SMB, en s'authentifiant avec le nom d'utilisateur et le mot de passe que vous définissez dans la console AWS ou l'interface de ligne de commande (CLI). Le service DataSync monte votre système de fichiers depuis votre VPC à partir des interfaces réseau Elastic (ENI) gérées par le service DataSync. DataSync gère entièrement pour vous la création, l'utilisation et la suppression de ces interfaces ENI.

Q : Quelles métadonnées Windows sont transférées lors d'une copie entre un partage SMB et un système de fichiers Amazon FSx for Windows File Server, ou entre deux systèmes de fichiers Amazon EFS ?

R : AWS DataSync copie les métadonnées Windows, y compris les horodatages des fichiers, le propriétaire du fichier, les attributs de fichier standard et les listes d'accès discrétionnaire NTFS (DACL). Vous pouvez en savoir plus et voir la liste complète des métadonnées copiées dans notre documentation.

Q : Puis-je utiliser AWS DataSync pour répliquer mon système de fichiers Amazon FSx for Windows File Server vers une autre région AWS ?

R : Oui. Vous pouvez utiliser AWS DataSync pour planifier la réplication périodique de votre système de fichiers Amazon FSx for Windows File Server vers un autre système de fichiers Amazon FSx for Windows File Server au sein du même compte AWS. Cette fonctionnalité est disponible pour les déploiements au sein d'une région ou sur plusieurs régions et ne requiert pas l'utilisation d'un agent DataSync.

Transfert depuis et vers AWS Snowcone

Q : Comment transférer des données entre AWS Snowcone et les services de stockage AWS ?

R : L’agent DataSync est pré-installé sur votre appareil Snowcone en tant qu'AMI. Pour transférer en ligne des données vers AWS, connectez l’appareil AWS Snowcone au réseau externe et utilisez AWS OpsHub ou l’interface de ligne de commande (CLI) pour lancer l’AMI de l’agent DataSync. Activez l’agent à l’aide de AWS Management Console ou de l’interface de ligne de commande (CLI), et paramétrez votre tâche de transfert de données en ligne entre le stockage NFS d’AWS Snowcone et Amazon S3, Amazon EFS, ou Amazon FSx for Windows File Server.

Performances

Q : Quelle est la vitesse de copie de mon système de fichiers vers AWS via AWS DataSync ?

R : La vitesse de copie d'un ensemble de données par AWS DataSync dépend du volume des données, de la bande passante E/S pouvant être atteinte entre les stockages source et cible, de la bande passante réseau disponible et des conditions du réseau. Pour les transferts de données entre les services sur site et AWS Storage, une simple tâche DataSync peut totalement exploiter une liaison réseau de 10 Gbits/s.

Q : Puis-je contrôler la quantité de bande passante consommée par une tâche AWS DataSync ?

R : Oui. Vous pouvez contrôler le volume de bande passante consommé par AWS DataSync en configurant le système de limitation de bande passante intégré. Vous pouvez augmenter ou diminuer cette limite pendant l'exécution de votre tâche de transfert de données. Cela permet de minimiser l'impact de cette consommation sur les autres utilisateurs ou applications utilisant la même connexion réseau.

Q : Comment puis-je surveiller la performance d'AWS DataSync ?

A : AWS DataSync génère des métriques Amazon CloudWatch destinées à garantir une visibilité détaillée du processus de transfert. Grâce à ces paramètres, vous pouvez voir le nombre de fichiers et la quantité de données qui ont été copiés, ainsi que l'avancement de la recherche et de la vérification des fichiers. Vous pouvez voir des graphiques CloudWatch avec ces métriques directement dans la console de DataSync.

Q : AWS DataSync affecte-t-il les performances de mon système de fichiers source ?

R : En fonction de la capacité de votre stockage sur site et de la quantité et de la taille des fichiers à transférer, AWS DataSync peut affecter le délai de réponse des autres clients ayant accès au même stockage de données car l'agent effectue la lecture ou l'écriture des données depuis ce système de stockage. Configurer la limite de bande passante pour une tâche permet de réduire cet impact en limitant les E/S de votre système de stockage.

Sécurité et conformité

Q : Mes données sont-elles chiffrées durant leur transfert et leur stockage ?

R : Oui. Toutes les données transférées entre la source et la destination sont chiffrées via TLS (Transport Layer Security) qui remplace le SSL (Secure Sockets Layer). Les données ne sont pas conservées au sein même d'AWS DataSync. Le service prend en charge le chiffrement par défaut pour les compartiments S3,le chiffrement des systèmes de fichiers Amazon EFS des données au repos et le chiffrement Amazon FSx For Windows File Server des données au repos et en transit.

Q : Comment AWS DataSync accède-t-il à mon serveur NFS ou à mon partage de fichiers SMB ?

R : AWS DataSync utilise un agent que vous déployez dans votre environnement informatique ou dans Amazon EC2 pour accéder à vos fichiers via le protocole NFS ou le protocole SMB. Cet agent se connecte aux points de terminaison du service DataSync dans AWS et est géré de manière sécurisée à partir d'AWS Management Console ou de l'interface de ligne de commande (CLI).

Q : Comment AWS DataSync accède-t-il à mon stockage d'objets autogéré ?

R : AWS DataSync utilise un agent que vous déployez dans votre environnement informatique ou dans Amazon EC2 pour accéder à vos objets en utilisant l'API Amazon S3. Cet agent se connecte aux points de terminaison du service DataSync dans AWS et est géré de manière sécurisée à partir d'AWS Management Console ou de l'interface de ligne de commande (CLI).

Q : Est-il nécessaire de configurer un VPN pour qu'AWS DataSync se connecte à mon stockage de destination ?

R : Non. Lorsque vous copiez des données vers ou depuis vos emplacements sur site, la configuration d’un VPN/tunnel n’est pas nécessaire. De même, vous n’avez pas besoin d’autoriser les connexions entrantes. Votre agent AWS DataSync peut être configuré pour passer par un pare-feu à l'aide de ports réseau standard. Vous pouvez également déployer DataSync dans votre Amazon Virtual Private Cloud (Amazon VPC) à l'aide des points de terminaison d'un VPC. Lors de l'utilisation des points de terminaison d'un VPC, les données transférées entre l'agent DataSync et les services AWS n'ont pas besoin de passer par l'Internet public. Elles n'ont pas non plus besoin d'adresses IP publiques.

Q : Comment mes agents AWS DataSync se connectent-ils en toute sécurité à AWS ?

R : Votre agent AWS DataSync se connecte aux points de terminaison du service DataSync de la région AWS de votre choix. Vous pouvez choisir de connecter l'agent à des points de terminaison publics orientés Internet, à des points de terminaison validés par les standards FIPS (Federal Information Processing Standards), ou à des points de terminaison situés dans l'un de vos VPC. L'activation de votre agent l'associe de façon sécurisée à votre compte AWS. Pour en savoir plus, consultez Choisir un point de terminaison de service et Activation de votre agent.

Q : Comment mon agent AWS DataSync est-il corrigé et mise à jour ?

R : Les mises à jour de l'agent installé sur une machine virtuelle (VM), y compris le système d'exploitation sous-jacent et les progiciels AWS DataSync, sont automatiquement appliquées par AWS lorsque l'agent est activé. Les mises à jour sont appliquées sans interruption lorsque l'agent est inactif et n'exécute pas une tâche de transfert de données.

Q : Quels sont les programmes de conformité pris en charge par AWS DataSync ?

R : AWS a le programme de conformité le plus ancien dans le cloud. AWS est résolu à aider ses clients à répondre à leurs besoins. AWS DataSync a été évalué et jugé conforme aux normes de sécurité mondiale et du secteur. DataSync satisfait aux normes PCI DSS, ISO 9001, 27001, 27017 et 27018, à SOC 1, 2 et 3. Il est conforme à la loi HIPAA. DataSync est également autorisé dans les régions AWS Est/Ouest (US) sous FedRAMP Moderate et dans les régions AWS GovCloud (US) sous FedRamp High. Cela vous permet de vérifier plus facilement notre sécurité et de remplir vos propres obligations. Pour plus d'informations et de ressources, consultez nos pages sur la conformité. Vous pouvez également consulter la page Services concernés par le programme de conformité pour voir la liste complète des services et certifications.

Q : AWS DataSync est-il conforme à la norme PCI ?

R : Oui. AWS DataSync est conforme à la norme PCI-DSS, ce qui signifie que vous pouvez l'utiliser pour transférer des informations de paiement. Vous pouvez télécharger le package de conformité PCI sur AWS Artefact pour en savoir plus sur la procédure à suivre pour obtenir la conformité PCI sur AWS.

Q : AWS DataSync est-il conforme à la loi HIPAA ?

R : Oui. AWS DataSync est conforme à la loi HIPAA. En d'autres termes, si vous avez mis en place un Accord d'associé d'affaires (HIPAA BAA) avec AWS, vous pouvez utiliser DataSync pour transférer des informations protégées relatives à la santé (PHI).

Q : AWS DataSync dispose-t-il d'une FedRAMP JAB Moderate Provisional Authorization dans les régions AWS Est/Ouest (US) ?

R : Oui. AWS DataSync a reçu une Provisional Authority to Operate (P-ATO) du Joint Authorization Board (JAB) en vertu d'une base de référence d'impact modéré dans le cadre du Federal Risk and Authorization Management Program (FedRAMP) dans les régions Est/Ouest (US). Si vous êtes un client fédéral ou commercial, vous pouvez utiliser AWS DataSync dans la limite d'autorisation des régions AWS Est/Ouest avec des données jusqu'au niveau d'impact modéré.

Q : AWS DataSync dispose-t-il d'une FedRAMP JAB High Provisional Authorization dans les régions AWS GovCloud (US) ?

R : Oui. AWS DataSync a reçu une Provisional Authority to Operate (P-ATO) du Joint Authorization Board (JAB) en vertu d'une base de référence d'impact élevé dans le cadre du Federal Risk and Authorization Management Program (FedRAMP) dans les régions US GovCloud. Si vous êtes un client fédéral ou commercial, vous pouvez utiliser AWS DataSync dans la limite d'autorisation des régions AWS GovCloud (US) avec des données jusqu'au niveau d'impact élevé.

Quand choisir AWS DataSync

Q : En quoi AWS DataSync est-il différent des outils de ligne de commande tels que rsync ou l'interface de ligne de commande Amazon S3 ?

R : AWS DataSync automatise et accélère entièrement le transfert de grands ensembles de données actives vers AWS. Il est intégré de manière native à Amazon S3, Amazon EFS, Amazon FSx for Windows File Server, Amazon CloudWatch et AWS CloudTrail, ce qui garantit un accès fluide et sécurisé à vos services de stockage, ainsi qu'un suivi détaillé du transfert.

DataSync utilise un protocole réseau dédié ainsi qu'une architecture évolutive pour transférer des données. Pour les transferts de données entre les services sur site et AWS Storage, une simple tâche DataSync peut totalement exploiter une liaison réseau de 10 Gbits/s.

DataSync automatise entièrement le transfert de données. Il inclut des mécanismes de relance, de résilience réseau et de planification intégrée des tâches, des organisations réseau, une surveillance via l'API et la console de DataSync, ainsi que les métriques, événements et journaux CloudWatch qui assurent une visibilité précise sur le processus de transfert. DataSync vérifie l'intégrité des données pendant le transfert et à la fin de celui-ci.

DataSync assure une sécurité de bout en bout et s'intègre directement aux services de stockage AWS. Toutes les données transférées entre la source et la destination sont chiffrées par TLS et l'accès à votre stockage AWS est assuré par des mécanismes de sécurité intégrée tels que les rôles IAM. Sur DataSync, les points de terminaison d'un VPC sont activés pour s'assurer que les données transférées entre une organisation et AWS ne transitent pas sur l'Internet public, ce qui augmente encore la sécurité des données lorsqu'elles sont copiées sur le réseau.

Q : Si je souhaite transférer des objets entre mes compartiments, quand utiliser AWS DataSync, quand utiliser S3 Replication et quand utiliser S3 Batch Operations ?

R : AWS fournit plusieurs outils de copie d'objets entre vos compartiments.

Utilisez AWS DataSync pour la distribution de données continue, les pipelines de données, l'ingestion de lac de données, ainsi que pour consolider ou répartir des données entre plusieurs compartiments.

Utilisez S3 Replication pour la réplication continue de données vers un compartiment de destination spécifique.

Utilisez S3 Batch Operations pour des opérations par lots à grande échelle sur des objets S3, comme la copie d'objets, la définition de balises ou de listes de contrôle d'accès (ACL) d'objet, l'initialisation de restaurations d'objets à partir d'Amazon S3 Glacier, l'appel d'une fonction AWS Lambda pour exécuter des actions personnalisées en utilisant vos objets, la gestion de la détention légale ou encore des dates de rétention S3 Object Lock.

Q : Quand dois-je utiliser AWS DataSync et quand dois-je utiliser AWS Snowball Edge ?

A :AWS DataSync est parfait pour les transferts de données en ligne. Vous pouvez utiliser DataSync pour migrer des données actives vers AWS, transférer des données vers le cloud pour analyse et traitement, archiver des données pour libérer de la capacité de stockage sur site ou répliquer des données vers AWS pour la continuité des activités.

AWS Snowball Edge est recommandé pour les transferts de données hors ligne et pour les clients qui ont des contraintes de bande passante, ainsi que pour le transfert de données depuis des environnements distants, déconnectés ou austères. 

Q : Quand dois-je utiliser AWS DataSync et quand dois-je utiliser AWS Storage Gateway ?

R : Utilisez AWS DataSync pour migrer les données existantes vers Amazon S3, puis utilisez la configuration de la passerelle de fichier d’AWS Storage Gateway pour conserver l'accès aux données migrées ainsi que pour les mises à jour continues de vos applications sur site.

En combinant DataSync et la passerelle de fichiers, vous pouvez minimiser votre infrastructure sur site tout en connectant de manière fluide les applications sur site à votre stockage dans le cloud. AWS DataSync vous permet d'automatiser et d'accélérer les transferts de données en ligne vers les services AWS Storage. Après la phase de transfert initiale à l'aide d'AWS DataSync, la passerelle de fichiers fournit à vos applications sur site un accès à faible latence aux données migrées. Lors de l'utilisation d'AWS DataSync avec des partages NFS, les métadonnées POSIX de votre stockage sur site source sont conservées et les autorisations de ce stockage source sont appliquées lors de l'accès aux fichiers à l'aide de la passerelle de fichiers.

Q : Quand dois-je utiliser AWS DataSync et quand dois-je utiliser Amazon S3 Transfer Acceleration ?

R : Si vos applications intègrent déjà l'API Amazon S3 et que vous avez besoin d'un débit plus élevé pour transférer de grands volumes de fichiers vers S3, vous pouvez opter pour S3 Transfer Acceleration. AWS DataSync est recommandé si vous souhaitez transférer des données depuis des systèmes de stockage existants, par exemple un stockage en réseau, ou des instruments immuables, par exemple les séquenceurs d'ADN et les caméras vidéo, ou si vous souhaitez transférer des données vers plusieurs destinations. DataSync automatise et simplifie également le transfert de données en apportant des fonctionnalités supplémentaires comme des mécanismes de résilience réseau et de relance intégrés, la vérification de l'intégrité des données et la configuration flexible, ce qui permet de répondre à vos besoins propres, notamment l'accélération de bande passante, etc.

Q : Quand dois-je utiliser AWS DataSync et quand dois-je utiliser AWS Transfer Family ?

R : Si vous utilisez actuellement SFTP pour échanger des données avec des tiers, AWS Transfer Family propose un transfert SFTP, FTPS et FTP entièrement géré directement depuis et vers Amazon S3, tout en réduisant la charge opérationnelle.

Vous pouvez utiliser AWS DataSync si vous souhaitez tirer parti d'un transfert de données accéléré et automatisé entre des serveurs NFS, des partages de fichiers SMB, le stockage d'objets autogéré, AWS Snowcone, Amazon S3, Amazon EFS et Amazon FSx for Windows File Server. DataSync est idéal pour les clients qui ont besoin d'effectuer des migrations en ligne pour les ensembles de données actifs, les transferts en temps opportun pour les données générées en continu ou la réplication pour la continuité des activités. 

En savoir plus sur la tarification de DataSync
En savoir plus sur la tarification

AWS DataSync utilise une tarification simple, prévisible et basée sur l’utilisation. Vous ne payez que pour le volume de données que vous copiez.  

En savoir plus 
Créez un compte AWS
Créer gratuitement un compte

Obtenez un accès instantané à l'offre gratuite d'AWS. 

 

S'inscrire 
Premiers pas avec DataSync dans la console
Commencer à déplacer des données dans la console

Commencez à créer avec AWS DataSync dans la console AWS.

Se connecter