Fonctions d'AWS DataSync

AWS DataSync est un service de déplacement de données et de découverte qui simplifie et accélère les migrations de données vers AWS et vous aide à déplacer vos données rapidement en toute sécurité entre les stockages sur site, les emplacements périphériques, les autres clouds et AWS Storage.

AWS DataSync Discovery (version préliminaire) vous aide à simplifier votre plan de migration et à accélérer la migration de données vers AWS en vous donnant de la visibilité sur les performances et l’utilisation de vos stockages sur site, et en vous proposant des recommandations pour la migration de vos données vers les services AWS Storage comme Amazon FSx pour NetApp ONTAP, Amazon FSx for Windows File Server et Amazon Elastic File System (EFS). DataSync Discovery vous offre une meilleure compréhension des performances et de l’exploitation de la capacité de vos stockages sur site grâce aux collectes et analyses de données automatisées, qui vous permettent d’identifier rapidement les données devant migrer et d’utiliser les recommandations générées pour choisir les services AWS Storage qui harmonisent vos performances et vos besoins budgétaires.

En ce qui concerne le transfert de données en ligne, AWS DataSync simplifie, automatise et accélère la copie de grandes quantités de données entre les stockages sur site, les emplacements périphériques, les autres clouds, les services AWS Storage, ainsi qu'entre les services AWS Storage. DataSync peut copier des données entre les partages NFS (Network File System), les partages SMB (Server Message Block), les systèmes de fichiers distribués Hadoop (HDFS), le stockage d'objets autogéré, Google Cloud Storage, AWS Snowcone, les systèmes de fichiers Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS), les systèmes de fichiers Amazon FSx for Windows File Server, les systèmes de fichiers Amazon FSx pour Lustre, les systèmes de fichiers Amazon FSx pour OpenZFS et les systèmes de fichiers Amazon FSx pour NetApp ONTAP.

AWS DataSync fournit les fonctions suivantes pour le déplacement de données.

AWS DataSync utilise un protocole de transfert conçu par AWS et découplé du protocole de stockage pour accélérer le déplacement des données. Ce protocole optimise la manière dont les données sont envoyées sur le réseau, le moment de l'envoi et la nature des données envoyées. Les optimisations de réseau effectuées par DataSync comprennent les transferts incrémentiels, la compression en ligne et la détection de fichiers épars, ainsi que la validation et le chiffrement de données en ligne.

Les connexions entre l'agent local DataSync et les composants du service en cloud sont multithread, ce qui maximise les performances au niveau de votre réseau étendu (WAN). Une tâche DataSync unique est capable d'utiliser entièrement 10 Go/s sur une liaison réseau entre environnement sur site et AWS.

Le transfert de données à chaud ou à froid ne doit pas compromettre votre activité. DataSync est équipé de contrôles détaillés permettant d'optimiser les consommations de bande passante. Accélère le transfert à des vitesses allant jusqu'à 10 Go pendant les heures d'inactivité et définit des limites lorsque la disponibilité réseau est requise ailleurs.

DataSync dispose d'un mécanisme de planification intégré qui vous permet d'exécuter régulièrement des tâches de transfert de données pour détecter et copier les modifications de votre système de stockage source vers la destination. Vous pouvez planifier vos tâches à l'aide de la console AWS DataSync ou de l'AWS Command Line Interface (CLI) sans avoir à écrire de scripts pour gérer les transferts répétitifs. La planification des tâches exécute automatiquement les tâches selon le temps que vous configurez en utilisant les options horaires, quotidiennes ou hebdomadaires fournies directement dans la console AWS.

Toutes vos données sont cryptées en transit entre l'agent DataSync et le service DataSync à l'aide du protocole TLS (Transport Layer Security). DataSync permet d'utiliser le chiffrement au repos par défaut pour les compartiments Amazon S3. Il prend également en charge le chiffrement des données au repos et en transit pour Amazon EFS et Amazon FSx.

DataSync permet à vos données d'arriver intactes. Lors de chaque transfert, le service effectue des vérifications d'intégrité des données tant en transit qu'au repos. Ces contrôles permettent d'assurer la cohérence et de garantir que les données écrites dans votre destination correspondent aux données lues dans la source.

L'agent DataSync se connecte à vos systèmes de stockage existants à l'aide des protocoles NFS et SMB standard, à votre cluster Hadoop en tant que client HDFS ou à votre stockage d'objets autogéré ou dans le cloud à l'aide de l'interface de programmation d'applications(API) Amazon S3. Il transfère rapidement les données et les écrit dans le compartiment Amazon S3, le système de fichiers Amazon EFS, le système de fichiers Amazon FSx for Windows File Server ou le système de fichiers Amazon FSx que vous avez désigné.

Les autorisations de fichiers et les métadonnées sont préservées lors de la copie des objets ou des données entre Simple Storage Service (Amazon S3), Amazon EFS, Amazon FSx for Windows File Server, Amazon FSx pour Lustre, Amazon FSx pour OpenZFS, or Amazon FSx pour NetApp ONTAP.

Lors de la copie des données vers Simple Storage Service (Amazon S3), DataSync convertit automatiquement chaque fichier en objet S3 unique dans une relation individuelle et préserve les métadonnées POSIX des partages NFS ou de HDFS sous forme de métadonnées d'objets Simple Storage Service (Amazon S3). Lors du renvoi d'objets contenant des métadonnées du système de fichiers vers les formats de fichier, les métadonnées des fichiers originaux copiées par DataSync dans S3 sont restaurées.

DataSync fonctionne en natif avec les services de sécurité, de surveillance et d'audit d'AWS pour simplifier le mouvement des données et offrir une expérience de gestion cohérente à vos équipes informatiques, de stockage et DevOps. Outre les intégrations avec Simple Storage Service (Amazon S3), Amazon EFS et Amazon FSx for Windows File Server, DataSync prend en charge les points de terminaison de cloud privé virtuel (VPC) (à technologie AWS PrivateLink) afin de déplacer les fichiers directement vers votre VPC Amazon. Comme pour les autres services AWS, vous pouvez utiliser AWS Identity and Access Management (IAM) pour gérer de façon sécurisée l'accès à DataSync. Pareillement, vous pouvez configurer un rôle IAM pour contrôler les services ayant accès à votre compartiment Amazon S3.

Grâce à Amazon CloudWatch, surveillez le statut de tous vos transferts DataSync en cours et consultez l'historique des transferts précédents. Les métriques CloudWatch vous permettent de connaître le nombre de fichiers et le volume de données copiés. Vous pouvez également consulter les CloudWatch Logs pour obtenir des informations sur les fichiers individuels transférés à un moment donné, ainsi que les résultats de la vérification de l'intégrité réalisée par DataSync. Ce procédé simplifie la surveillance, le signalement et la résolution des problèmes. Il vous permet également de fournir des mises à jour en temps opportun aux parties prenantes. Par ailleurs, les CloudWatch Events peuvent être déclenchés dès que le transfert de vos tâches est terminé, ce qui permet d'automatiser les flux dépendants. Vous pouvez, à des fins d'audit, consulter AWS CloudTrail où sont consignées toutes les actions de DataSync.

Avec AWS DataSync, vous payez uniquement pour les données copiées par le service vers un appartement,et ce à un débit par gigaoctets. Cela ne nécessite aucune licence logicielle, aucun contrat, aucuns frais de maintenance, aucuns cycles de développement ni matériel. Cela permet d'obtenir un coût total de possession (TCO) inférieur à celui de la création, de l'exploitation et de l'optimisation manuelle de vos propres transferts scriptés à haute performance, ainsi qu'un coût total inférieur à celui de l'achat ou de l'exécution d'outils de transfert commerciaux.

Grâce à AWS DataSync Discovery, vous pouvez exécuter des tâches de découverte pendant jusqu’à 31 jours et recevoir des recommandations gratuitement. DataSync Discovery conserve les données collectées et les recommandions correspondantes pendant 60 jours après la fin de la tâche.