Migration des données dans le cloud

Migrer les données sur site vers AWS pour les migrations ou les flux de travail en continu

Les données sont la pierre angulaire des déploiements d'applications, des flux de travail d'analyse et des innovations en matière de machine learning. Lorsque vous migrez vos données dans le cloud, vous devez, par exemple, connaître leurs destinations en fonction de vos différents cas d’utilisation, les types de données migrées et les ressources réseau disponibles. AWS offre une large gamme de services et d’outils de partenaires pour vous aider à migrer vos ensembles de données, sous forme de fichiers, de bases de données, d’images machines, de volumes par bloc, voire de sauvegardes sur bande.

Stockage dans le cloud en quelques minutes avec AWS Storage Gateway (6:38)

Services de migration de données dans le Cloud AWS

AWS propose une gamme de services de transfert de données fournissant la solution adaptée à tout projet de migration. Ce niveau de connectivité est un facteur de taille dans la migration des données et AWS dispose d'offres pour vos besoins en matière de stockage cloud hybride et de transfert de donnée en ligne et hors ligne.

Stockage hybride dans le cloud

De nombreux clients souhaitent profiter des avantages du stockage dans le cloud et disposent d'applications exécutées sur site qui requièrent un accès à faible latence à leurs données, ou bien nécessitent un transfert de données rapide dans le cloud. Les architectures de stockage hybride dans le cloud d'AWS se connectent à vos applications et systèmes sur site afin de vous aider à réduire vos coûts et le fardeau des tâches administratives, tout en proposant des solutions innovantes pour vos données.

AWS Storage Gateway

AWS Storage Gateway simplifie l'adoption sur site du stockage AWS. Storage Gateway vous permet de connecter et d'étendre en toute simplicité vos applications sur site vers le stockage AWS. Les clients utilisent Storage Gateway pour remplacer facilement les bibliothèques de bandes par un stockage dans le cloud, partager des fichiers stockés et sauvegardés dans le cloud ou effectuer une mise en cache afin d'accéder sans latence aux données AWS pour les applications sur site. Le service offre trois types de passerelle : la passerelle de fichiers, la passerelle de bande et la passerelle de volume.

  • Passerelle de fichiers : les données des fichiers sont stockées dans Amazon S3 en tant qu'objets durables à l'aide d'Amazon S3 File Gateway ou dans des partages de fichiers entièrement gérés à l'aide d'Amazon FSx File Gateway.
  • Passerelle de bande : la Virtual Tape Library (VTL) s'intègre de façon transparente à votre logiciel de sauvegarde existant pour un remplacement de bande économique dans Amazon S3 et un archivage à long terme dans S3 Glacier et S3 Glacier Deep Archive.
  • La passerelle de volumes stocke ou met en cache les volumes par bloc en local, avec des sauvegardes à un instant passé sous forme d’instantanés EBS. Ces instantanés peuvent être récupérés dans le cloud.

AWS Direct Connect

Le client choisit une connexion physique Direct Connect dédiée pour accélérer les transferts réseau entre ses centres de données et ceux d'AWS.

AWS Direct Connect vous permet d’établir une connexion réseau dédiée entre votre réseau et l'un des emplacements d'AWS Direct Connect. Utilisant des VLAN 802.1q aux normes du secteur, cette connexion dédiée peut être partitionnée en plusieurs interfaces virtuelles. Cela vous permet d'utiliser la même connexion pour accéder aux ressources publiques telles que les objets stockés dans Amazon S3 en utilisant l'espace d'adresse IP publique et les ressources privées telles que les instances Amazon EC2 s'exécutant dans Amazon Virtual Private Cloud (VPC) en utilisant l'espace d'adresse IP privée, tout en maintenant la séparation du réseau entre les environnements publics et privés. Les interfaces virtuelles peuvent être reconfigurées à n'importe quel moment pour répondre à l'évolution de vos besoins.

Découvrez nos offres partenaires AWS Direct Connect permettant d'étendre nos technologies sur site vers le cloud. 

Transfert de données en ligne

Ces services simplifient le transfert de données en ligne vers et depuis AWS.

AWS DataSync

AWS DataSync est un service de transfert de données en ligne qui facilite l'automatisation du transfert de données entre le stockage sur site et Amazon S3, Amazon Elastic File System (Amazon EFS) ou Amazon FSx for Windows File Server. DataSync gère automatiquement de nombreuses tâches liées aux transferts de données pouvant ralentir les migrations ou alourdir vos opérations informatiques, comme exécuter vos instances, gérer le chiffrement, gérer les scripts, l'optimisation du réseau et la validation de l'intégrité des données. Vous pouvez utiliser DataSync pour transférer des données 10 fois plus rapidement qu'avec des outils open source. Vous pouvez utiliser DataSync pour copier des données sur AWS Direct Connect ou des liens Internet vers AWS en vue de migrations de données ponctuelles, de flux de traitement de données récurrents et de réplications automatisées aux fins de protection et de restauration des données.

AWS Transfer Family

AWS Transfer Family fournit un support entièrement géré pour le transfert de fichiers directement vers et depuis Amazon S3. Avec la prise en charge des protocoles SFTP (Secure File Transfer Protocol), FTPS (File Transfer Protocol over SSL) et FTP (File Transfer Protocol), AWS Transfer Family vous permet de migrer facilement vos flux de travail de transfert de fichiers vers AWS, en s'intégrant aux systèmes d'authentification existants et en fournissant un routage DNS avec Amazon Route 53, de façon à ce que rien ne change pour vos clients et leurs partenaires, ou leurs applications. Lorsque vos données sont dans Amazon S3, vous pouvez les utiliser avec vos services AWS pour le traitement, l'analyse, le machine learning et l'archivage. Les premiers pas avec AWS Transfer Family sont aisés car il n'est pas nécessaire de créer ou de configurer une infrastructure.

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration accélère les transferts vers Amazon S3 via l'Internet public. Vous pouvez maximiser votre bande passante disponible, quelles que soient la distance ou les conditions variables d'Internet. De plus, il n'existe aucun client spécial ni protocole réseau propriétaire. Modifiez simplement le point de terminaison que vous utilisez avec votre compartiment S3 et l'accélération est automatiquement appliquée.

Cette solution est idéale pour les tâches récurrentes qui voyagent à travers le globe, telles que les chargements de ressources multimédias, les sauvegardes et les tâches de traitement de données locales qui sont régulièrement envoyées vers un emplacement centralisé.

AWS Snowcone

AWS Snowcone est le plus petit membre de la gamme AWS Snow d’appareils de calcul et de transfert de données à la périphérie. Snowcone est portable, robuste et sécurisé. Vous pouvez utiliser Snowcone pour collecter, traiter et déplacer des données vers AWS en ligne avec AWS DataSync. L'exécution d'applications dans des environnements déconnectés et des emplacements périphériques connectés peut être difficile, car souvent, ces emplacements ne disposent pas l'espace, des unités d'alimentation et des systèmes de refroidissement nécessaires pour l'équipement informatique du centre de données. AWS Snowcone stocke les données en toute sécurité dans des emplacements périphériques et peut exécuter des charges de travail de calcul à la périphérie qui utilisent des instances AWS IoT Greengrass ou Amazon EC2. Les appareils Snowcone sont petits et pèsent 4,5 livres (2,1 kg). Ainsi, vous pouvez en transporter un dans un sac à dos ou le ranger dans des espaces restreints pour les cas d'utilisation IoT, dans des véhicules ou même avec des drones.

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose est la solution la plus simple pour charger des données en streaming sur AWS. Les données sont capturées et chargées automatiquement dans Amazon S3 et Amazon Redshift, ce qui permet d'effectuer des analyses quasiment en temps réel avec les tableaux de bord et outils d'informatique décisionnelle existants que vous utilisez habituellement. Amazon Kinesis Firehose est un service entièrement géré qui s'adapte automatiquement au débit de données et ne nécessite pas d'administration continue. Il peut également regrouper, compresser et chiffrer les données avant de les charger, ce qui réduit l'espace de stockage utilisé tout en renforçant la sécurité. En quelques minutes seulement, vous pouvez facilement créer un flux de diffusion Firehose à partir d'AWS Management Console, le configurer en quelques clics, puis commencer à envoyer des données vers ce flux depuis des centaines de milliers de sources de données, afin de les charger en continu dans AWS.

Produits de partenaires APN

AWS a collaboré avec plusieurs fournisseurs du secteur sur les appliances de passerelles physiques permettant de combler l'écart entre la sauvegarde traditionnelle et le cloud. Associez les données sur site existantes au cloud d'Amazon pour franchir le pas sans influencer la performance et pour préserver les catalogues de sauvegarde existants.

  • S'intègre aisément dans l'infrastructure existante
  • Peut prendre en charge la déduplication, la compression, le chiffrement ou l'accélération WAN
  • Mettez en cache les sauvegardes récentes localement, archivez en toute sécurité toutes les données sur le Cloud AWS

Transfert de données hors ligne

AWS Snow Family facilite le transfert de données vers et depuis AWS via des méthodes hors ligne.

AWS Snowcone

AWS Snowcone est le plus petit membre de la gamme AWS Snow d’appareils de calcul et de transfert de données à la périphérie. Snowcone est portable, robuste et sécurisé. Vous pouvez utiliser Snowcone pour collecter, traiter et déplacer des données vers AWS hors ligne en expédiant l'appareil. L'exécution d'applications dans des environnements déconnectés et des emplacements périphériques connectés peut être difficile, car souvent, ces emplacements ne disposent pas l'espace, des unités d'alimentation et des systèmes de refroidissement nécessaires pour l'équipement informatique du centre de données. AWS Snowcone stocke les données en toute sécurité dans des emplacements périphériques et peut exécuter des charges de travail de calcul à la périphérie qui utilisent des instances AWS IoT Greengrass ou Amazon EC2. Les appareils Snowcone sont petits et pèsent 4,5 livres (2,1 kg). Ainsi, vous pouvez en transporter un dans un sac à dos ou le ranger dans des espaces restreints pour les cas d'utilisation IoT, dans des véhicules ou même avec des drones.

AWS Snowball

AWS Snowball est un appareil de transport de données et d'informatique de périphérie (edge computing) à l'échelle du pétaoctet, doté de capacités de stockage et de calcul embarquées. Il est disponible dans deux configurations. Les appareils Snowball Edge Storage Optimized fournissent un stockage par bloc et un stockage d'objets compatibles avec Amazon S3 et 40 vCPU. Ils conviennent parfaitement au stockage local et au transfert de données à grande échelle. Les appareils Snowball Edge Compute Optimized fournissent 52 vCPU, le stockage par bloc et d'objets et une unité GPU en option pour divers cas d'utilisation comme le Machine Learning avancé et l'analyse Full Motion Video dans des environnements déconnectés. Vous pouvez utiliser ces appareils pour la collecte de données, le Machine Learning, le traitement et le stockage de données dans des environnements à connectivité intermittente (comme la fabrication, l'industrie et le transport) ou dans des endroits extrêmement éloignés (comme les opérations militaires ou maritimes) avant de les retourner à AWS. Ces appareils peuvent également être montés en rack et regroupés pour construire de plus grandes installations temporaires.

Outils de migration de données vers le cloud non gérés

AWS offre également des outils de script ou d’interface de ligne de commande simples permettant de migrer les données sur site vers un service de stockage dans le cloud d’AWS.

rsync

Les clients utilisent rsync, un outil open source avec des outils de système de fichiers tiers pour copier des données directement sur des compartiments S3.

Interface de ligne de commande S3

Les clients utilisent la CLI Amazon S3 pour rédiger des commandes permettant de déplacer des données directement vers des compartiments S3.

Interface de ligne de commande S3 Glacier

Les clients utilisent la CLI Amazon S3 Glacier pour déplacer des données dans des coffres-forts S3 Glacier.

Défis communs de la migration de données vers le cloud

Les défis décourageants liés au transfert de données s'appliquent à la plupart des projets. Comment déplacer sans heurts les données de leur emplacement actuel vers votre nouveau cloud, le tout en évitant les interruptions, les coûts et la perte de temps ? Quel est le moyen le plus judicieux de déplacer réellement vos Go, To ou Po de données ?

Il s'agit d'un problème sous-jacent classique : quel volume de données peut être déplacé, jusqu'où, à quelle vitesse ? Pour le meilleur des cas, utilisez cette formule :

Nombre de jours = (octets totaux)/(mégabits par seconde x 125 x 1000 x utilisation réseau x 60 secondes x 60 minutes x 24 heures)

Par exemple, si vous avez une connexion T1 (1,544 Mb/s) et 1 To (1 024 x 1 024 x 1 024 x 1 024 octets) à déplacer dans ou hors d'AWS, le temps minimum théorique qu'il faudrait pour charger par le biais de votre connexion réseau avec une utilisation réseau de 80 % est de 82 jours.

Détendez-vous. Nous l'avons déjà fait. Nous avons constaté que les clients voient cela de deux façons : ils utilisent des outils de migration non gérés très basiques pour déplacer leurs données, ou ils choisissent un des services de la suite AWS ci-dessus.

En règle générale, pour obtenir les meilleurs résultats, nous proposons :

Connexion Évolutivité des données Méthode
Moins de 10 Mb/s Moins de 500 Go Non géré
Plus de 10 Mb/s Plus de 500 Go Service géré