FAQ à propos d'Amazon EFS

Questions d'ordre général

Amazon Elastic File System (EFS) est conçu pour fournir un stockage de fichiers sans serveur, entièrement élastique, qui vous permet de partager des données de fichiers sans provisionner ou gérer la capacité et les performances de stockage. Grâce à quelques sélections dans la console de gestion AWS, vous pouvez créer des systèmes de fichiers accessibles aux instances Amazon Elastic Compute Cloud (EC2), aux services de conteneurs Amazon (Amazon Elastic Container Service  [ECS], Amazon Elastic Kubernetes Service  [EKS], et AWS Fargate ), et aux fonctions AWS Lambda via une interface de système de fichiers (utilisant les API d'E/S de fichiers standard du système d'exploitation). Ces systèmes de fichiers prennent en charge une sémantique d'accès complète de système de fichiers (par exemple : forte cohérence des données et verrouillage des fichiers).

Les systèmes de fichiers Amazon EFS peuvent automatiquement passer de quelques gigaoctets à plusieurs pétaoctets de données sans qu'il soit nécessaire de procéder à une allocation du stockage. Des dizaines, des centaines, voire même des milliers d'instances de calcul peuvent accéder simultanément à un système de fichiers Amazon EFS, et Amazon EFS offre à chaque instance de calcul des performances constantes. Amazon EFS est conçu pour être hautement durable et disponible. Avec Amazon EFS, aucun tarif minimal ni aucun frais d'installation ne s'appliquent ; vous ne payez que pour l'espace de stockage utilisé.

Amazon EFS fournit des performances élevées pour un large éventail de charges de travail et d'applications : le big data et les analyses, les flux de travail de traitement de supports, la gestion de contenu, les services Web et les répertoires de base.

Les classes de stockage Amazon EFS Standard sont idéales pour les charges de travail qui nécessitent les niveaux les plus élevés de durabilité et de disponibilité.

Les classes de stockage EFS Unizone sont idéales pour les charges de travail telles que les environnements de développement, de création et de mise en place. Elles sont également idéales pour l'analyse, la simulation et le transcodage de médias, ainsi que pour les sauvegardes ou les répliques de données sur site qui ne nécessitent pas de résilience multi-AZ.

AWS propose des services de stockage dans le cloud qui prennent en charge diverses charges de travail de stockage.

EFS est un service de stockage de fichiers  destiné à être utilisé avec les serveurs de calcul Amazon (EC2, conteneurs, sans serveur) et sur site. EFS fournit une interface de système de fichiers, une sémantique d'accès de système de fichiers (par ex. : forte cohérence des données et verrouillage des fichiers) et un stockage auquel peuvent accéder simultanément des milliers d'instances EC2.

Amazon EBS  est un service de stockage par bloc destiné à être utilisé avec EC2. EBS peut se révéler efficace pour les charges de travail qui doivent profiter de la plus faible latence lorsqu'elles accèdent à des données depuis une seule instance EC2.

Amazon S3  est un service de stockage d’objets. S3 met à disposition des données via une API Internet accessible partout.

En savoir plus  sur les éléments à prendre à compte en envisageant Amazon EFS.

Reportez-vous à la section Produits et services régionaux pour en savoir plus sur la disponibilité des services Amazon EFS par région.

Pour utiliser Amazon EFS, vous devez posséder un compte AWS. Si vous n'en avez pas déjà un, vous pouvez créer un compte AWS et accéder instantanément à l’Offre gratuite d'AWS .

Une fois que vous avez créé un compte AWS, consultez le guide de démarrage EFS pour commencer à utiliser EFS. Vous pouvez créer un système de fichiers grâce à la console, à AWS Command Line Interface (CLI) et à l'API EFS (et différents kits SDK propres à chaque langue).

Pour accéder à votre système de fichiers, vous pouvez le monter sur une instance EC2 basée sur Linux à l'aide de la commande de montage Linux standard et du nom du serveur DNS du système. Afin de simplifier l'accès à votre système de fichiers Amazon EFS, nous vous conseillons d'employer l'utilitaire d'assistance au montage d'Amazon EFS. Une fois le système monté, vous pouvez travailler avec ses fichiers et répertoires comme vous le feriez avec un système de fichiers local.

EFS utilise le protocole NFS v4 (Network File System version 4). Pour obtenir un exemple étape par étape de la procédure d'accès à un système de fichiers depuis une instance EC2, consultez le guide ici.

Amazon EFS étant un service entièrement géré, de sorte que toute l'infrastructure de stockage de fichiers est gérée pour vous. Amazon EFS vous libère des tâches compliquées liées au déploiement et au maintien d'une infrastructure complexe de systèmes de fichiers. La taille d'un système de fichiers Amazon EFS augmente et diminue automatiquement au fur et à mesure que vous ajoutez et supprimez des fichiers. Vous n'avez donc pas à gérer l'achat ou l'approvisionnement du stockage.

Vous pouvez administrer un système de fichiers via la console, CLI ou l'API EFS (et différents kits SDK propres à chaque langage). La console, l'API et le kit SDK offrent la possibilité de créer et de supprimer des systèmes de fichiers, d'en configurer les méthodes d'accès, de créer et de modifier des identifications de système de fichiers, d'activer des fonctions telles que le débit alloué et la gestion du cycle de vie, ainsi que d'afficher des informations détaillées sur les systèmes de fichiers.  

AWS DataSync fournit un moyen rapide de synchroniser en toute sécurité les systèmes de fichiers existants avec Amazon EFS. DataSync fonctionne sur n'importe quelle connexion réseau, y compris avec AWS Direct Connect ou AWS VPN. EFS, DataSync, et Direct Connect sans Amazon ou AWS. Vous pouvez également utiliser les outils de copie Linux standard pour déplacer des fichiers de données vers Amazon EFS.

Pour plus d'informations sur l'accès à un système de fichiers depuis un serveur sur site, consultez la section Accès sur site de cette FAQ.

Pour plus d'informations sur le transfert de données vers le cloud Amazon, consultez la page de migration des données dans le cloud.

Mise à l'échelle et performances

Vous pouvez stocker des pétaoctets de données avec Amazon EFS. Les systèmes de fichiers Amazon EFS sont élastiques : ils s'agrandissent et se réduisent au fur et à mesure que vous ajoutez et supprimez des fichiers. Il n'est pas nécessaire d’allouer un système de fichiers à l'avance, et vous ne payez que pour l'espace de stockage utilisé.

Amazon EFS prend en charge un à plusieurs milliers d'instances Amazon Elastic Compute Cloud (EC2) se connectant simultanément à un système de fichiers.

Consultez la page Limites Amazon EFS pour plus d'informations sur les limites Amazon EFS.

Les performances attendues pour votre système de fichiers Amazon EFS dépendent de sa configuration spécifique (par exemple, la classe de stockage et le mode de débit) et du type d'opération spécifique du système de fichiers (lecture ou écriture). Consultez la documentation relative aux performances du système de fichiers pour plus d'informations sur la latence attendue, le débit maximal et les performances IOPS maximales pour les systèmes de fichiers Amazon EFS.

Le mode de débit par défaut est le débit élastique, qui convient à la plupart des charges de travail liées aux fichiers. Avec le mode de débit élastique par défaut, les performances s’adaptent automatiquement à l’activité de votre charge de travail et vous ne payez que pour le débit que vous utilisez (les données transférées chaque mois pour vos systèmes de fichiers). Le débit élastique est le choix idéal si vous ne connaissez pas exactement les besoins de votre application en matière de débit de pointe, ou si votre application est de nature irrégulière et présente une faible activité de base (par exemple, elle utilise moins de 5 % de la capacité en moyenne lors du provisionnement pour les besoins de pointe).

Vous pouvez aussi passer (si vous le souhaitez) au mode de débit alloué si vous connaissez les exigences de débit de pointe de votre charge de travail et si vous vous attendez à ce que celle-ci consomme une part plus importante (plus de 5 % en moyenne) de la capacité de débit de pointe de votre application.

Le débit que vous pouvez fournir dépend du mode de débit que vous choisissez. Consultez la documentation sur les performances du système de fichiers pour plus d’informations.  Rendez-vous sur la page des Performances du système de fichiers pour plus d’informations.

Vous pouvez surveiller votre système de fichiers à l’aide d’Amazon CloudWatch ou depuis l’onglet Surveillance de la console Amazon EFS. Pour en savoir plus, consultez la documentation sur la Surveillance d’Amazon EFS.

Durability and availability

Amazon EFS propose deux types de systèmes de fichiers parmi lesquels vous pouvez choisir en fonction de vos besoins en termes de durabilité et de disponibilité. Les systèmes de fichiers régionaux EFS (recommandés) offrent les plus hauts niveaux de durabilité et de disponibilité en stockant les données dans et entre plusieurs zones de disponibilité (AZ). Les systèmes de fichiers EFS One Zone stockent les données de manière redondante au sein d'une zone de disponibilité unique, de sorte que les données de ces systèmes de fichiers ne seront pas disponibles et risquent d'être perdues en cas de sinistre ou de toute autre panne au sein de la zone de disponibilité.

Amazon EFS est conçu pour fournir une durabilité de 99,999999999 % (11 neufs) sur une année donnée. Les systèmes de fichiers régionaux EFS sont conçus pour conserver les données en cas de perte d'une AZ. Étant donné que les systèmes de fichiers EFS Unizone stockent des données dans une seule AZ, les données stockées dans ces classes de stockage peuvent être perdues lors d'un sinistre ou d'une autre défaillance au sein de l'AZ.  

Comme dans n'importe quel environnement, la bonne pratique en vigueur est de conserver une sauvegarde et de mettre en place des protections contre les suppressions accidentelles. Pour les données Amazon EFS, une bonne pratique implique la réplication de votre système de fichiers dans les Régions à l'aide de la réplication Amazon EFS ainsi qu'une sauvegarde fonctionnelle et testée régulièrement à l'aide d'AWS Backup. Les systèmes de fichiers utilisant des classes de stockage EFS Unizone sont configurés pour sauvegarder automatiquement les fichiers par défaut lors de la création du système de fichiers.

Chaque objet du système de fichiers régional EFS (par exemple, un répertoire, un fichier ou un lien) est stocké de manière redondante sur plusieurs zones de disponibilité (AZ). Avec les systèmes de fichiers EFS UniZone, vos données sont stockées de manière redondante dans une seule AZ. Amazon EFS est conçu pour prendre en charge des défaillances simultanées de périphériques en détectant et en réparant rapidement toute redondance perdue.  

Les données du système de fichiers EFS sont accessibles à l'aide de cibles de montage EFS spécifiques à une AZ, qui sont conçues pour être hautement disponibles au sein d'une zone de disponibilité. Les systèmes de fichiers régionaux EFS prennent en charge l'accès simultané à partir des cibles de montage EFS dans toutes les zones de disponibilité de la région où elles se trouvent. Cela signifie, que vous pouvez concevoir votre application de manière à ce qu'elle puisse basculer d'une AZ à d'autres AZ de la région, afin d'assurer le plus haut niveau de disponibilité de l'application. Les systèmes de fichiers EFS One Zone ne prennent en charge qu'une seule cible de montage EFS hautement disponible dans une seule zone de disponibilité, ce qui signifie que les données peuvent devenir indisponibles en cas de sinistre ou d'autre panne au sein de cette zone de disponibilité. Pour plus d'informations sur la disponibilité, consultez le contrat de niveau de service Amazon EFS.

Les systèmes de fichiers EFS One Zone ne sont pas résistants à une panne complète de l'AZ. Lors d’une panne de l’AZ, vous subirez une perte de disponibilité, car les données de votre système de fichiers ne sont pas répliquées sur une autre AZ. Lors d'un sinistre ou d'une défaillance au sein d'une AZ affectant toutes les copies de vos données, vous pouvez subir une perte de données qui n'ont pas été protégées à l'aide de Backup EFS ou la réplication EFS. Les backup EFS sont activés par défaut pour tous les systèmes de fichiers EFS One Zone.

Classes de stockage et gestion du cycle de vie

Amazon EFS propose trois classes de stockage : EFS Standard, EFS Infrequent Access et EFS Archive. Les données fréquemment consultées ont tendance à avoir des besoins de performances plus élevés, c'est pourquoi EFS propose une classe EFS Standard alimentée par SSD, conçue pour fournir des latences inférieures à la milliseconde. Pour les données rarement consultées, vous pouvez utiliser les deux classes de stockage d'EFS à coûts optimisés qui offrent de faibles latences à deux chiffres en millisecondes : EFS Infrequent Access (IA), conçue pour les données consultées seulement quelques fois par trimestre, et EFS Archive, conçue pour les données consultées quelques fois par an ou moins. EFS IA offre un coût jusqu'à 95 % inférieur à celui de la norme EFS pour les données peu consultées. Offrant une expérience plus rentable pour des données encore plus froides, EFS Archive offre un coût jusqu'à 50 % inférieur à celui d'EFS Accès peu fréquent, avec des frais de demande plus élevés lors de l'accès à ces données. EFS Archive est optimisé et pris en charge pour les systèmes de fichiers régionaux EFS utilisant le mode Débit élastique par défaut d'EFS. Consultez les classes de stockage EFS et la tarification EFS pour plus d'informations.

En activant la gestion du cycle de vie EFS, vous pouvez automatiquement hiérarchiser les fichiers entre les classes de stockage en fonction de vos modèles d'accès. La politique de cycle de vie recommandée par défaut hiérarchisera les fichiers d'EFS Standard vers EFS IA après 30 jours consécutifs sans accès et vers EFS Archive après 90 jours consécutifs sans accès. Vous pouvez également spécifier une politique personnalisée pour la transition des fichiers entre les classes de stockage en fonction du nombre de jours écoulés depuis le dernier accès à un fichier.

Vous pouvez également activer la hiérarchisation intelligente EFS pour promouvoir les fichiers depuis EFS IA et EFS Archive vers EFS Standard en cas de consultation, ce qui permet des lectures ultérieures de ces fichiers avec les latences les plus rapides, inférieures à la milliseconde, d'EFS Standard. Une fois promus, ces fichiers seront replacés dans la classe de stockage IA ou Archive appropriée en fonction de votre politique de cycle de vie.

Par rapport à la classe EFS Standard, EFS IA et Archive offrent le même débit et la même capacité de mise à l’échelle qu’IOPS, mais avec des latences au premier octet plus élevées (c'est-à-dire de faibles latences de lecture en millisecondes à deux chiffres par rapport à des latences de lecture inférieures à la milliseconde sur EFS Standard). Pour plus d'informations, consultez la documentation sur les performances d'Amazon EFS.

EFS IA n’exige aucune durée minimale de stockage. Les données hiérarchisées vers EFS Archive ont une durée de stockage minimale de 90 jours. Les fichiers supprimés ou tronqués avant la durée minimale seront facturés au prorata pour les jours restants, en fonction de la taille du fichier avant l'action correspondante.

Les classes de stockage optimisées en termes de coûts d'EFS (IA, Archive) sont conçues pour stocker des données inactives et froides, qui sont généralement composées de fichiers plus volumineux. Il n'y a pas de taille de fichier minimale pour IA ou Archive, mais les fichiers classés dans ces classes de stockage inférieures à 128 Ko entraîneront des frais de stockage de 128 Ko.

Protection des données

Amazon EFS Replication copie les données de votre système de fichiers dans un autre système de fichiers, nouveau ou déjà existant, de la région AWS de votre choix. Il permet de synchroniser les deux systèmes de fichiers en transférant automatiquement uniquement les modifications incrémentielles sans avoir besoin d'infrastructure supplémentaire ni de processus personnalisé. EFS Replication est conçu pour offrir un objectif de point de reprise (RPO) et un objectif de délai de reprise (RTO) en minutes, ce qui vous aide à atteindre vos objectifs de conformité et de continuité de votre activité.

Vous devez utiliser EFS Replication pour conserver une réplique de votre système de fichiers à plusieurs kilomètres pour pouvoir la récupérer en cas besoin de reprise après sinistre, de conformité ou de planification de la continuité des activités. En cas de catastrophe, vous pourrez basculer vers votre système de fichiers de réplication et reprendre le fonctionnement de vos applications critiques en quelques minutes. Une fois la catastrophe terminée, vous pourrez revenir en arrière en transférant uniquement les modifications incrémentielles de votre réplique vers votre système de fichiers d'origine. Lorsque EFS Replication est activé, vos applications peuvent utiliser le système de fichiers de réplication en mode lecture seule pour un accès interrégional à faible latence réseau. Avec Amazon EFS Replication, vous pouvez configurer votre système de fichiers de réplication indépendamment de votre système de fichiers d'origine afin d'utiliser des classes de stockage optimisées en termes de coûts et une politique de gestion du cycle de vie plus courte afin d'économiser jusqu'à 92 % sur vos coûts. La réplication EFS facilite également la surveillance et l'alerte sur le statut de votre RPO à l'aide d'Amazon CloudWatch.

Non. La réplication EFS n'offre pas de réplication cohérente par rapport à un instant donné. La réplication EFS publie une métrique d'horodatage sur Amazon CloudWatch, appelée TimeSinceLastSync. Toutes les modifications apportées à votre système de fichiers source, au moins depuis l'heure de publication, seront copiées vers la réplique. Les modifications apportées à votre système de fichiers source après l'heure enregistrée peuvent ne pas être répliquées. Vous pouvez surveiller l'état de votre réplication EFS grâce à Amazon CloudWatch. Si vous interrompez le processus de réplication à cause d'un événement de reprise après sinistre, des fichiers du système de fichiers source auront peut-être été transférés mais pas encore copiés à leur emplacement final. Ces fichiers et leur contenu se trouvent sur votre système de fichiers de réplique dans un répertoire lost+found créé par la réplication EFS, au sein du répertoire racine.

Amazon EFS Backup est alimenté par AWS Backup, un service de sauvegarde entièrement géré qui opère et automatise de manière centralisée les sauvegardes de vos systèmes de fichiers Amazon EFS. Il protège votre système de fichiers contre toute perte de données en effectuant automatiquement des copies incrémentielles de votre système de fichiers dans un emplacement centralisé, de manière programmée. AWS Backup fournit une console centrale dotée de fonctions de planification automatisée de la sauvegarde, de gestion de la conservation des sauvegardes et d’activité de restauration. Pour en savoir plus, consultez la documentation AWS Backupou la FAQ.

Amazon EFS est intégré de manière native à AWS Backup. Vous pouvez utiliser la console EFS, l'API et l'interface de la ligne de commande AWS (AWS CLI) pour activer les sauvegardes automatiques, qui utilisent un plan de sauvegarde par défaut avec les paramètres recommandés par AWS Backup. Lors de la sauvegarde initiale, une copie de l'ensemble du système de fichiers est créée dans le coffre de sauvegarde. Toutes les sauvegardes ultérieures de ce système de fichiers sont de nature incrémentielle, c'est-à-dire que seuls les fichiers et répertoires qui ont été modifiés, ajoutés ou supprimés sont copiés. À chaque sauvegarde incrémentielle, AWS Backup retient les données de référence nécessaires pour permettre une restauration complète. En cas de perte de données, vous pouvez effectuer une restauration complète ou partielle de votre système de fichiers à l'aide de la console AWS Backup ou de l'interface de ligne de commande.   

Sécurité

Vous pouvez contrôler l'accès des instances EC2 à votre système de fichiers à l'aide des règles du groupe de sécurité VPC et des politiques IAM. Utilisez les groupes de sécurité VPC afin de contrôler le trafic réseau depuis et vers votre système de fichiers. Joignez une stratégie IAM à votre système de fichiers afin de contrôler quels clients peuvent monter votre système de fichiers et avec quelles autorisations, et utilisez les points d'accès EFS afin de gérer l'accès aux applications. Contrôlez l'accès aux fichiers et aux répertoires avec des autorisations au niveau de l'utilisateur et du groupe conformes aux normes POSIX.

Dans la console Amazon EFS, vous pouvez appliquer des politiques communes à votre système de fichiers, telles que la désactivation de l'accès racine, l'application de l'accès en lecture seule ou l'application du chiffrement de toutes les connexions à votre système de fichiers. Vous pouvez également appliquer des stratégies plus avancées, comme l'octroi d'accès à des rôles IAM spécifiques, y compris ceux d'autres comptes AWS.

 

Un point d'accès EFS est un point de terminaison réseau que les utilisateurs et les applications peuvent utiliser pour accéder à un système de fichiers EFS et appliquer les autorisations de niveau fichier et dossier (POSIX) en fonction du contrôle d'accès détaillé et des autorisations basées sur des politiques définies dans IAM.

Les points d'accès EFS vous donnent la possibilité de créer et de gérer des environnements à locataires multiples pour vos applications de fichiers dans une optique native cloud, ce qui vous permet de simplifier le partage des données. Contrairement aux traditionnelles listes de contrôle d'accès POSIX pour contrôler l'accès au système de fichiers, ou à Kerberos pour contrôler l'authentification, qui nécessitent tous deux une configuration, une gestion et une maintenance complexes, et qui présentent souvent des risques ; les points d'accès EFS s'intègrent à l'IAM pour permettre aux applications natives cloud d'utiliser un stockage de fichiers partagé basé sur POSIX. Parmi les cas d'utilisation qui peuvent tirer profit des points d'accès Amazon EFS, on compte les environnements basés sur des conteneurs dans lesquels les développeurs élaborent et déploient leurs propres conteneurs, les applications de science des données qui nécessitent un accès aux données de production ainsi que le partage d'un répertoire spécifique dans votre système de fichiers avec d'autres comptes AWS.

Lorsque vous créez un point d'accès Amazon EFS, vous pouvez configurer un utilisateur et un groupe de système d'exploitation ainsi qu'un répertoire racine pour toutes les connexions utilisées. Si vous précisez le propriétaire du répertoire racine, EFS le crée automatiquement avec les autorisations que vous fournissez la première fois qu'un client se connecte au point d'accès. Vous pouvez également mettre à jour la stratégie IAM de votre système de fichiers à appliquer à vos points d'accès. Par exemple, vous pouvez appliquer une politique requérant une identité IAM spécifique pour vous connecter à un point d'accès donné. Pour plus d'informations, veuillez consulter le guide de l'utilisateur Amazon EFS.

Amazon EFS permet de chiffrer des données au repos et en transit.

Les données chiffrées au repos le sont de manière transparente lorsqu'elles sont écrites et déchiffrées de la même manière lorsqu'elles sont lues afin de ne pas avoir à modifier vos applications. Les clés de chiffrement sont gérées par AWS KMS, ce qui élimine le besoin de créer et de maintenir une infrastructure de gestion clé sécurisée.

Le chiffrement des données en transit utilise le protocole TLS (Transport Layer Security) 1.2, la norme dans ce secteur, pour chiffrer les données envoyées entre vos clients et les systèmes de fichiers EFS.

Le chiffrement des données au repos et des données en transit peut être configuré simultanément ou séparément pour vous permettre de répondre à vos besoins propres en matière de sécurité.

Pour plus d'informations, consultez la documentation utilisateur relative au chiffrement.

AWS KMS est un service géré qui facilite la création et le contrôle des clés de chiffrement utilisées pour crypter vos données. AWS KMS est intégré à d'autres services AWS tels qu’EFS, EBS et S3, pour vous permettre de chiffrer facilement vos données à l'aide des clés de chiffrement que vous gérez. AWS KMS est également intégré à AWS CloudTrail pour vous fournir des journaux d’utilisation de toutes les clés, afin de répondre à vos besoins en réglementation et de conformité.

Vous pouvez activer le chiffrement au repos de votre système de fichiers dans la console EFS en utilisant les CLI ou SDK. Lorsque vous créez un nouveau système de fichiers dans la console EFS, sélectionnez « Create File System » (Créer un système de fichiers), puis cochez la case pour activer le chiffrement.

Les données peuvent être chiffrées en transit entre votre système de fichiers Amazon EFS et ses clients grâce à l'assistant de montage d'Amazon EFS.

Le chiffrement des données au repos et des données en transit peut être configuré simultanément ou séparément pour vous permettre de répondre à vos besoins propres en matière de sécurité.

Pour plus d'informations, consultez la documentation utilisateur relative au chiffrement.

Le chiffrement de vos données a une incidence minime sur la latence E/S et le débit.

Accès sur site

Pour accéder à vos systèmes de fichiers EFS depuis vos systèmes sur site, vous devez établir une connexion Direct Connect ou AWS VPN entre votre centre de données sur site et votre Amazon cloud privé virtuel (VPC).

Pour monter un système de fichiers Amazon EFS sur votre serveur Linux sur site, vous utilisez la commande Linux standard permettant de monter un système de fichiers via le protocole NFS v4.1.

Pour savoir plus précisément comment accéder aux systèmes de fichiers Amazon EFS à partir de serveurs sur site, veuillez consulter la documentation .

Vous pouvez monter vos systèmes de fichiers Amazon EFS sur vos serveurs sur site et transférer les données des fichiers depuis et vers Amazon EFS à l'aide des outils et scripts Linux standard ou d'AWS DataSync. Grâce à ce transfert des données des fichiers depuis et vers les systèmes de fichiers Amazon EFS, vous pouvez mettre en place trois cas d'utilisation.

Premièrement, vous pouvez faire migrer des données depuis vos centres de données sur site afin qu'elles résident définitivement dans les systèmes de fichiers EFS.

Deuxièmement, vous pouvez prendre en charge des charges de travail de « cloud bursting » afin de transférer les tâches de traitement de votre application vers le cloud en cas de surcharge. Vous pouvez transférer des données depuis vos serveurs sur site vers vos systèmes de fichiers Amazon EFS, les analyser sur un cluster d'instances Amazon EC2 dans votre Amazon VPC et stocker les résultats de manière permanente sur vos systèmes de fichiers Amazon EFS ou les rebasculer vers vos serveurs sur site.

Troisièmement, vous pouvez régulièrement copier les données de vos fichiers sur site vers Amazon EFS, à des fins de sauvegarde et de reprise après sinistre.

Oui. Vous pouvez accéder à votre système de fichiers Amazon EFS aussi bien depuis les serveurs de votre centre de données sur site que depuis les instances EC2 de votre Amazon VPC. Amazon EFS applique la même sémantique d'accès au système de fichiers, notamment la cohérence forte des données et le verrouillage des fichiers, sur l'ensemble des instances EC2 et des serveurs sur site qui accèdent au système de fichiers.

Il existe plusieurs méthodes pour copier des données locales existantes vers Amazon EFS. AWS DataSync constitue un moyen rapide et simple de synchroniser de manière sécurisée les systèmes de fichiers existants dans EFS et fonctionne sur n'importe quel réseau, y compris AWS Direct Connect

AWS Direct Connect fournit une connexion réseau dédiée à haut débit et à faible latence sur laquelle vous pouvez monter vos systèmes de fichiers EFS. Une fois monté, vous pouvez utiliser DataSync pour copier des données dans Amazon EFS jusqu'à 10 fois plus vite qu'avec les outils de copie Linux standard.

Pour plus d'informations sur AWS DataSync, consultez la section Transfert de données de cette FAQ.

Transfert de données

DataSync est un service de transfert de données en ligne qui accélère et simplifie le transfert de données entre le stockage sur site et Amazon EFS. DataSync utilise un protocole sur mesure pour accélérer et sécuriser le transfert via Internet ou Direct Connect, à une vitesse pouvant être 10 fois supérieure à celle obtenue avec les outils open source. DataSync vous permet d'effectuer des migrations de données ponctuelles, de transférer des données sur site en vue d'une analyse dans le cloud en temps opportun et d'automatiser la réplication sur AWS pour la protection et la récupération des données.

AWS Transfer Family est un service de transfert de fichiers entièrement géré qui fournit une prise en charge pour les protocoles Secure File Transfer Protocol (SFTP), File Transfer Protocol sur SSL (FTPS), ainsi que File Transfer Protocol (FTP). AWS Transfer Family vous fournit un service de transfert de fichiers entièrement géré et hautement disponible, doté de fonctionnalités de scalabilité automatique, vous évitant ainsi de devoir gérer une infrastructure liée au transfert de fichiers. Les flux de travail de vos utilisateurs finaux restent inchangés, et les données téléchargées en amont/aval via les protocoles de votre choix sont stockées dans votre système de fichiers Amazon EFS.

Pour commencer à utiliser DataSync, vous pouvez utiliser la console ou la CLI pour connecter l'agent à vos systèmes de fichiers sur site ou dans le cloud à l'aide du protocole NFS (Network File System), pour sélectionner votre système de fichiers Amazon EFS et pour commencer à copier les données. Vous devez d'abord déployer un agent logiciel disponible au téléchargement depuis la console, sauf lorsque vous copiez des fichiers entre deux systèmes de fichiers Amazon EFS.

Pour commencer à utiliser AWS Transfer Family, commencez par vous assurer que les répertoires de votre système de fichiers sont accessibles par les utilisateurs POSIX que vous prévoyez d'assigner à AWS Transfer. Vous pouvez ensuite créer un point de terminaison Transfer Family et un ou plusieurs utilisateurs avec la console, la CLI ou l'API. Une fois terminé, les utilisateurs finaux peuvent accéder aux données stockées dans votre système de fichiers Amazon EFS à l'aide de leurs clients SFTP, FTP ou FTPS.

Vous pouvez utiliser DataSync pour transférer des fichiers entre deux systèmes de fichiers Amazon EFS, y compris ceux situés dans des Régions AWS différentes. Les points de terminaison AWS Transfer Family doivent se trouver dans la même Région que votre système de fichiers Amazon EFS.

Oui. Vous pouvez copier des fichiers vers un système de fichiers Amazon EFS dans un autre compte AWS à l'aide de DataSync.

Vous pouvez aussi configurer votre système de fichiers Amazon EFS pour le rendre accessible par AWS Transfer Family avec un autre compte, tant que ce compte a obtenu les permissions pour le faire. Pour en savoir plus sur l'octroi d'autorisations Transfer Family à des comptes AWS externes via les politiques relatives aux systèmes de fichiers, consultez la documentation .

Compatibilité

EFS est intégré à un certain nombre de services AWS, dont CloudWatch, AWS CloudFormation, CloudTrail, IAM et AWS Tagging.

CloudWatch vous aide à surveiller l'activité de votre système de fichiers à l'aide de métriques. CloudFormation vous aide à créer et gérer des systèmes de fichiers à l'aide de modèles.

CloudTrail vous aide à enregistrer tous les appels d'API EFS dans des fichiers journaux.

IAM vous aide à contrôler qui peut administrer votre système de fichiers. Les services AWS Tagging vous aident à étiqueter vos systèmes de fichiers avec les métadonnées que vous définissez.

Vous pouvez planifier et gérer votre système de fichiers Amazon EFS au moyen d'AWS Budgets. Vous pouvez utiliser AWS Budgets à partir de la console AWS Billing and Cost Management. Pour utiliser AWS Budgets, vous créez un budget mensuel pour vos systèmes de fichiers Amazon EFS.

La fonction de verrouillage d'Amazon EFS respecte le protocole NFS v4.1 pour le verrouillage consultatif et permet à vos applications d'utiliser des verrous applicables à l'intégralité du fichier et à des plages d'octets.

Chaque système de fichiers possède un numéro d'identification automatiquement généré qui est unique dans le monde entier. Vous pouvez étiqueter votre système de fichiers avec un nom, qui ne doit pas forcément être unique.

Tarification et facturation

Avec Amazon EFS, vous ne payez que pour le stockage principal et de sauvegarde que vous utilisez et pour vos activités de lecture, d'écriture et de hiérarchisation sur votre système de fichiers EFS. Vous payez pour l'accès en lecture et en écriture à l'aide du débit élastique (mais vous pouvez facultativement configurer les performances de débit à l'avance à l'aide du débit provisionné) et pour hiérarchiser les données selon les classes de stockage d'accès peu fréquent et d'archivage d'EFS.

Amazon EFS propose trois classes de stockage : EFS Standard, qui fournit des performances de latence inférieures à la milliseconde pour les données activement utilisées ; EFS Infrequent Access (EFS IA), dont les coûts sont optimisés pour les données consultées seulement quelques fois par trimestre ; et EFS Archive, qui est optimisé en termes de coûts pour les données de longue durée consultées quelques fois par an ou moins.

EFS assure également la protection des données de vos fichiers grâce à la sauvegarde EFS et à la réplication EFS. Avec EFS Backup, vous ne payez que la quantité de stockage de sauvegarde que vous utilisez et la quantité de données de sauvegarde que vous restaurez au cours du mois. Il n'y a pas de tarif minimum ni de frais d'installation. Consultez la page AWS Backup pour en savoir plus. Utilisez la réplication EFS pour répliquer votre système de fichiers vers une région ou une zone de disponibilité (AZ) de votre choix, sans avoir à gérer une infrastructure supplémentaire ou des processus personnalisés.

Vous pouvez estimer votre facture mensuelle à l'aide du Calculateur de prix Amazon EFS.

Aucuns frais d'installation ou engagement ne sont nécessaires pour commencer à utiliser Amazon EFS. À la fin du mois, vous êtes automatiquement facturé en fonction de votre utilisation au cours du mois. Vous pouvez accéder à vos frais pour la période de facturation en cours à tout moment en vous connectant à votre compte Amazon Web Services et en sélectionnant le « Tableau de bord de facturation » associé à votre profil de console.

Avec l’offre d’utilisation gratuite d’AWS, votre utilisation de l'offre gratuite est calculée chaque mois dans toutes les régions AWS, excepté la région AWS GovCloud, et imputée automatiquement à votre facture. Le volume mensuel non utilisé n'est pas reporté le mois suivant. Lors de leur inscription, les nouveaux clients EFS reçoivent 5 Go d'Amazon EFS Standard par mois pendant un an. L'offre gratuite d’AWS ne s'applique pas aux fichiers stockés dans le type de système de fichiers de EFS One Zone. Certaines restrictions s'appliquent : consultez les conditions de l'offre pour plus de détails.

Amazon EFS vous facture les types d'utilisation suivants. Notez que les calculs ci-dessous partent du principe qu'aucune offre gratuite d'AWS n'est en place.

Stockage utilisé :

Le montant d'Amazon EFS facturé par mois est basé sur l'utilisation du stockage, du débit et de la protection des données au cours d'un mois. Les coûts de stockage sont calculés en fonction de l'espace de stockage moyen utilisé tout au long du mois. Votre utilisation du stockage est mesurée en « Go-mois », qui sont additionnés en fin de mois afin de générer vos factures mensuelles. 

L’exemple suivant illustre un scénario dans lequel vos schémas d’accès aux fichiers changent au fil du temps ; il inclut chacun des critères de tarification de la classe IA EFS et Archive EFS. L'exemple suppose que les deux politiques de cycle de vie EFS qui déplacent les fichiers entre EFS Standard, Accès peu fréquent (IA) EFS et Archive EFS sont définies.

Supposons que votre système de fichiers soit situé dans la région USA Est (Virginie du Nord). Au début d'un mois de 31 jours, votre système de fichiers stocke 200 Go de fichiers sur EFS Standard, 500 Go de fichiers sur EFS IA et 2 To de fichiers sur EFS Archive. Au 15 de ce mois, la Gestion de cycle de vie EFS déplace 50 % de vos fichiers standard EFS vers la classe d’Accès peu fréquent EFS et 10 % de vos fichiers Accès peu fréquent EFS vers la classe d’Archive EFS après 14 jours sans aucun accès. Une fois par mois, 10 clients différents lisent 800 Go de fichiers depuis votre EFS IA et 100 Go de fichiers depuis vos classes EFS Archive.

Nous calculons tout d'abord l'utilisation du stockage au prorata :

Stockage standard :
200 Go de stockage Standard EFS pendant 14 jours (Go-heures) : 200 Go x 14 jours x (24 heures/jour) = 67 200 Go-heures
100 Go de stockage Standard EFS pendant 17 jours (Go-heures) : 100 Go x 17 jours x (24 heures/jour) = 40 800 Go-heures
Utilisation totale du stockage Standard EFS (Go-heures) : 67 200 Go-heures + 40 800 Go-heures = 108 000 Go-heures

Stockage IA :
500 Go d’EFS IA pendant 14 jours (Go-heures) : 500 Go x 14 x (24 heures/jour) = 168 000 Go-heures
100 Go de fichiers depuis 'EFS Standard vers EFS IA pendant 17 jours (Go-heures) = 100 Go x 17 x (24 heures/jour) = 40 800 Go-heures
450 Go d'EFS IA (après le transfert de 50 Go vers EFS Archive) = 450 Go x 17 x (24 heures sur 24) = 183 600 Go-heures

Utilisation totale d’EFS IA (Go-heures) : 168 000 Go-heures + 40 800 Go-heures + 326 400 Go-Heures = 392 400 Go-heures

Stockage d'archives :
2 To d’EFS IA pendant 31 jours (Go-heures) : 1,000 Go x 14 x (24 heures/jour) = 1 488 000 Go-heures
50 Go de fichiers depuis EFS IA vers EFS Archive pendant 17 jours (Go-heures) : 50 Go x 17 x (24 heures/jour) = 20 400 Go-heures
Utilisation totale du stockage EFS Archive (Go-heures) : 1 488 000 Go-heures + 20 400 Go-heures = 1 508 400 Go-heures

Nous convertissons ensuite l'utilisation du stockage en Go-mois et calculons les frais de stockage :
Total des frais d’EFS Standard : 108 000 Go-heures x (1 mois/744 heures) x 0,30 USD/Go-mois = 43,55 USD
Total des frais d’EFS IA : 392 400 Go-heures x (1 mois/744 heures) x 0,0165 USD/Go-mois = 8,70 USD
Total des frais d’EFS Archive : 1 508 400 Go-heures x (1 mois/744 heures) x 0,008 USD/Go-mois = 16,22 USD
Total des frais de stockage EFS : 43,55 USD + 8,70 USD + 16,22 USD = 68,47 USD

Nous calculons ensuite les frais d'accès aux fichiers dans la classe EFS IA et EFS Archive :

Hiérarchisation des données IA :
Hiérarchisation des données (fichiers déplacés depuis EFS Standard vers EFS IA) : 100 Go * 0,01 USD/Go = 1,00 USD
Transition du cycle de vie vers EFS Standard en raison des lectures des fichiers dans EFS IA : 800 Go x 0,01 USD/Go = 8,00 USD (une fois pour 10 clients)
Total des frais d’accès IA EFS : 1,00 USD + 8,00 USD = 9,00 USD

Hiérarchisation des données d'archive :
Hiérarchisation des données (fichiers déplacés depuis Accès peu fréquent vers Archive) : 50 Go * 0,03 USD/Go = 1,50 USD
Transition du cycle de vie vers EFS IA en raison de la lecture de fichiers dans EFS Archive : 100 Go * 0,06 USD/Go = 6,00 USD (une fois pour 10 clients)
Total des frais d’accès IA EFS : 1,50 USD + 6,00 USD = 7,50 USD
Total de frais d'accès EFS : 9,00 USD + 7,50 USD = 16,50 USD

Enfin, nous calculons le total des frais EFS pour le mois :

Total des frais mensuels = Total des frais de stockage + Total des frais d'accès = 68,47 USD + 16,50 USD = 84,97 USD (TCO - 0,0315 USD/Go)

Vous pouvez accéder à vos données pour les opérations de lecture et d'écriture à l'aide du débit élastique. Avec le débit élastique, les performances s’adaptent automatiquement à l’activité de votre charge de travail et vous ne payez que pour le débit que vous utilisez (les données transférées chaque mois pour vos systèmes de fichiers). Le montant du débit élastique facturé par mois est basé sur les données de lecture et d'écriture transférées au cours d'un mois et mesuré en « Go transférés ».

Vous pouvez utiliser l’option de débit alloué si vous connaissez l'utilisation du débit et les exigences de débit de pointe de votre application. Le montant du débit alloué facturé en un mois est basé sur le débit moyen alloué dépassant votre EFS Standard autorise pour le mois, jusqu'aux limites de débit de base de Bursting en vigueur dans la région AWS, et mesuré en « Mo/s-mois ».

Exemple de débit élastique :

Supposons que votre système de fichiers se trouve dans la région USA Est (Virginie du Nord) et dispose de 100 Go de stockage EFS Standard, pendant la totalité d'un mois de 31 jours. Supposons que le transfert de données de votre charge de travail se compose de 75 % d'opérations de lecture et de 25 % d'opérations d'écriture, qu'il atteint un débit de pointe de 100 Mo/s durant 3 heures par jour et 3 jours par semaine, et qu'il soit inactif le reste du temps.  

Total des frais mensuels de débit élastique

En supposant que toutes vos données soient transférées vers le stockage standard EFS, à la fin du mois, vous aurez l'utilisation suivante en Go :

Total des données de débit élastique (Go) dans le mois : 100 Mo/s x (60 minutes x 60 secondes x 3 heures) x 3 jours x 4 semaines/1000 = 12 960 Go 
Total des données lues par débit élastique (GB) : 75 % x 12 960 Go = 9 720 Go
Total des données d'écriture du débit élastique (GB) : 25 % x 12 960 Go = 3 240 Go

Nous calculons ensuite les frais mensuels totaux pour le débit élastique : 

Frais de données de lecture à débit élastique : 9 720 Go x 0,03 USD/Go = 291,60 USD 
Frais de données d’écriture à débit élastique : 3 240 Go x 0,06 USD/Go = 194,40 USD
Nous calculons ensuite les frais mensuels totaux pour le débit élastique :
Frais de débit élastique mensuels totaux = 291,60 USD + 194,40 USD = 486,00 USD

Exemple de Débit alloué :

En supposant les mêmes hypothèses que dans l'exemple de Débit élastique ci-dessus (votre système de fichiers est situé dans la région USA Est (Virginie du Nord) et dispose de 100 Go de stockage EFS Standard, pendant l'intégralité d'un mois de 31 jours. Supposons que le transfert de données de votre charge de travail se compose de 75 % d'opérations de lecture et de 25 % d'opérations d'écriture, qu'il atteint un débit de pointe de 100 Mo/s durant 3 heures par jour et 3 jours par semaine, et
qu'il soit inactif le reste du temps). La quantité de débit facturé sur un mois se base sur le débit alloué moyen fourni en dépassement de ce que la classe de stockage Standard EFS autorise pour le mois (50 Kbits/s de débit de base pour 1 Go de stockage standard)

Débit de base (Mo/s-mois) = 100 Go de stockage standard * 50 Kbit/s/1000 = 5 Mo/s-mois.
Débit alloué facturable total (Mo/s-mois) = Débit configuré -
Débit de base = 100 Mo/s-mois — 5 Mo/s-mois = 95 Mo/s-mois
Total des frais mensuels de débit alloué = 95 Mo/s-mois x 6 USD/Mo/s-mois = 570,00 USD

Alternativement, Vous pouvez utiliser EFS Replication ou AWS Backup pour protéger vos données. Avec EFS Replication, vous payez le stockage, les frais d'accès liés aux classes de consultations peu fréquentes et Archive, ainsi que les modifications apportées au transfert de données si votre système de fichiers de destination se trouve dans une autre région AWS. Avec AWS Backup, vous payez pour la quantité moyenne de données sauvegardées et restaurées en un mois.

Réplication

Cet exemple illustre un scénario dans lequel vous répliquez des systèmes de fichiers entre des Régions à l'aide d’EFS Replication. L'exemple se focalise sur les coûts directement liés à EFS Replication.

Imaginez que vous possédez un système de fichiers EFS dans la Région USA Est (Virginie du Nord), contenant 1 To de données. Ce système de fichiers est répliqué vers la Région USA Ouest (Oregon). Imaginez que le système de fichiers de destination utilise une politique de gestion du cycle de vie EFS de 7 jours afin de déplacer des fichiers vers la classe d’accès peu fréquent EFS.

Lorsque la réplication est activée pour la première fois, l'ensemble du système de fichiers source est copié vers le système de fichiers de destination. Les données répliquées arriveront d'abord dans la classe EFS Standard au sein du système de fichiers de destination. Si les fichiers ne sont pas consultés pendant toute la durée de la politique de gestion du cycle de vie EFS (7 jours), ils seront déplacés vers la classe d’accès peu fréquent EFS.

Synchronisation initiale :

Premièrement, nous calculons au prorata l'utilisation de stockage pour le système de fichiers de destination :
Utilisation totale d'EFS Standard (Go-heures) = 1 000 Go x 7 jours x (24 heures/jour) = 168 000 Go-heures
Utilisation totale d'accès peut fréquent EFS (Go-heures) = 1 000 Go x 24 jours x (24 heures/jour/31 jours) = 576 000 Go-heures

Nous convertissons ensuite l'utilisation du stockage en Go-mois et calculons les frais de stockage pour le système de fichiers de destination :

Total des frais EFS Standard : 168 000 x (1 mois/744 heures) x 0,30 USD/Go-mois = 67,74 USD
Frais Accès peu fréquent EFS totaux : 576 000 * (1 mois/744 heures) * 0,025 USD/Go par mois = 19,36 USD
Total des frais de stockage pour la synchronisation initiale = 67,74 USD + 19,36 USD = 87,10 USD
Ensuite, les frais de transfert de données pour la réplication initiale du système de fichiers source vers le système de fichiers de destination sont calculés :
Total des frais de transfert de données EFS Replication pour 1 To de données : 1 000 Go x 0,02 USD/Go = 20 USD

Total des frais pour la synchronisation initiale = Total des frais de stockage pour la synchronisation initiale + Total des frais de transfert de données pour la synchronisation initiale = 87,10 USD + 20,00 USD = 107,10 USD

Réplication progressive :

Imaginez que les systèmes de fichiers sources ajoutent 150 Go de nouvelles données après 7 jours. Les nouvelles données seront répliquées vers le système de fichiers de destination et résideront dans la classe EFS Standard durant 7 jours, en fonction de la politique de gestion du cycle de vie. L'utilisation du stockage au prorata pour 150 Go de nouvelles données est calculée ainsi :

Utilisation totale EFS Standard (Go-heures) = 150 Go x 7 jours x (24 heures/jour) = 25 200 Go-heures
Utilisation totale d’Accès peu fréquent EFS (Go-heures) = 150 Go x 17 jours x (24 heures/jour) = 61 200 Go-heures

Nous convertissons ensuite l'utilisation du stockage en Go-mois et calculons les frais de stockage pour les 150 Go de nouvelles données ajoutés au système de fichiers de destination : 

Total des frais EFS Standard : 25 200 x (1 mois/744 heures) x 0,30 USD/Go-mois = 10,16 USD
Frais Accès peu fréquent EFS totaux : 61 200 * (1 mois/744 heures) * 0,025 USD/Go par mois = 2,06 USD
Total des frais de stockage pour la réplication progressive = 10,16 USD + 2,06 USD = 12,22 USD

Enfin, nous calculons les frais de transfert de données pour 150 Go de données progressives :

Total des frais de transfert de données pour la réplication incrémentielle : 150 Go * 0,02 USD/Go = 3,00 USD
Total des frais pour la réplication progressive = Total des frais de stockage pour la réplication progressive + Total des frais de transfert de données pour la réplication progressive = 12,22 USD + 3 USD = 15,22 USD

Total des frais liés à EFS Replication = Total des frais pour la synchronisation initiale + Total des frais pour la réplication progressive = 107,10 USD + 15,22 USD = 122,32 USD

Sauvegarde

Consultez la page Tarifs AWS Backup pour des exemples de tarification des Backup.

Pour en savoir plus sur la tarification d’Amazon EFS, veuillez consulter la page Tarification Amazon EFS.

Sauf indication contraire, nos prix n'incluent pas les taxes et redevances applicables, y compris la TVA et les taxes sur les ventes applicables. Pour les clients dont l'adresse de facturation est située au Japon, l'utilisation de services AWS est soumise à la taxe sur la consommation applicable dans ce pays. En savoir plus.

Accès depuis des services AWS

Oui. Vous pouvez accéder à EFS à partir d'applications conteneurisées lancées par Amazon ECS à l’aide des types de lancement EC2 et Fargate en faisant référence à un système de fichiers EFS dans la définition de votre tâche. Vous trouverez des instructions pour démarrer dans la documentation ECS.

Oui. Vous pouvez accéder à EFS à partir d'applications conteneurisées lancées par Amazon EKS, avec les types de lancement EC2 ou Fargate, à l'aide du pilote EFS CSI. Vous trouverez des instructions pour démarrer dans la documentation EKS.

Oui. Vous pouvez accéder à EFS à partir des fonctions exécutées dans Lambda en référençant un système de fichiers EFS dans les paramètres de vos fonctions. Vous trouverez des instructions pour démarrer dans la documentation Lambda.

Oui. Vous pouvez accéder aux données de formation dans EFS à partir des tâches de formation Amazon SageMaker en référençant un système de fichiers EFS dans votre demande CreateTrainingJob. Le format EFS est également automatiquement utilisé pour les répertoires de base créés par SageMaker Studio.