Pourquoi l'opération RefreshCache prend-elle beaucoup de temps sur ma passerelle de fichiers ?

Solution

L'opération RefreshCache identifie les modifications (mises à jour, téléchargements ou suppressions) apportées aux objets Amazon Simple Storage Service (Amazon S3) depuis la dernière fois que la passerelle a identifié et mis en cache ces objets. Pour effectuer cette opération, la passerelle de fichiers exécute une opération LIST récursive sur le compartiment S3, puis exécute une opération d'objet HEAD sur chaque objet qui revient de l'opération LIST. L'opération HEAD saisit les métadonnées, qui sont ensuite stockées dans le cache de la passerelle de fichiers.

Les facteurs suivants peuvent influer sur le temps nécessaire à l'exécution d'une opération RefreshCache :

• S'il y a un grand nombre d'objets dans le compartiment S3, la durée d'exécution de RefreshCache augmente. Cela est dû au fait que la passerelle de fichiers exécute un objet HEAD sur tous les objets du compartiment.
• Les opérations RefreshCache sont spécifiques aux partages de fichiers individuels au sein d'une passerelle de fichiers. Un partage de fichiers prend en charge deux opérations d'API RefreshCache à la fois. Si vous envoyez d'autres demandes pour lancer une actualisation du cache, d'autres opérations sont déclenchées même avant la fin des opérations en cours. Cela peut entraîner une erreur InvalidGatewayRequestException.
• Les compartiments S3 peuvent prendre en charge 3500 demandes PUT/COPY/POST/DELETE (METTRE/COPIER/POST/SUPPRIMER) ou 5500 demandes GET/HEAD (OBTENIR/TÊTE) par seconde et par préfixe. Ces taux de demandes prises en charge s'appliquent également aux demandes faites par la passerelle de fichiers vers vos compartiments S3, ce qui a une incidence sur la rapidité avec laquelle une opération RefreshCache peut s'effectuer. La durée d'exécution de RefreshCache peut augmenter si le compartiment S3 est également utilisé par des services autres que la passerelle de fichiers.

Considérez les procédures suivantes pour réduire le temps d'exécution d'une opération RefreshCache :

• Vous pouvez réduire le nombre d'objets dans le compartiment.
• Vous pouvez déployer plusieurs partages de fichiers qui correspondent à des préfixes distincts dans le compartiment S3, au lieu d'avoir un partage de fichiers pour l'ensemble du compartiment.
  Remarque: vous pouvez créer jusqu'à 10 partages de fichiers pour une passerelle de fichiers individuelle. Étant donné que les opérations RefreshCache sont exécutées par partage de fichiers, cette approche peut aider à réduire le temps nécessaire à l'exécution des opérations RefreshCache individuelles.
• Si vous utilisez un partage de fichiers pour un compartiment S3 entier, envisagez de concentrer les opérations RefreshCache sur les préfixes ou les dossiers spécifiques du compartiment qui sont mis à jour avec de nouveaux objets. Cela réduit la portée de l'opération, ce qui peut aider à réduire le temps d'exécution. Vous pouvez cibler des opérations RefreshCache sur des dossiers spécifiques lorsque vous exécutez l'opération à l'aide de l'Iinterface de la ligne de commande AWS (AWS CLI) ou de l'API Storage Gateway. Cette option n'est actuellement pas disponible dans la console Storage Gateway.
  Remarque : si vous recevez des erreurs lors de l'exécution de commandes AWS CLI, assurez-vous que vous utilisez la version la plus récente de l'AWS CLI.
• Vous pouvez exécuter l'opération RefreshCache pendant les heures creuses pour d'autres requêtes vers le compartiment S3. Vous pouvez utiliser AWS Lambda et Amazon CloudWatch pour déclencher l'opération sur une minuterie.

Informations connexes

Automatisation du processus d'actualisation du cache de la passerelle de fichiers sur AWS Storage Gateway