Pourquoi mes journaux CloudWatch Logs ne s'exportent pas vers des compartiments S3 ?

Date de la dernière mise à jour : 26/05/2020

Je souhaite exporter mes données de journaux Amazon CloudWatch vers des compartiments Amazon Simple Storage Service (Amazon S3). Toutefois, la tâche d'exportation a échoué. Pourquoi mes journaux CloudWatch Logs ne s'exportent pas vers des compartiments S3 ?

Solution

Pour dépanner les tâches qui ont échoué lors de la création, vérifiez les paramètres suivants :

  • Région : vérifiez que vos flux de journaux CloudWatch Logs et vos compartiments S3 se trouvent dans la même région.
  • Stratégies de compartiment S3 : par défaut, tous les objets et compartiments S3 sont privés. Seul le propriétaire de la ressource (le compte AWS qui a créé le compartiment) peut accéder au compartiment et aux objets qu'il contient. Utilisez des stratégies de compartiment pour définir des autorisations d'accès sur les compartiments S3 sur CloudWatch Logs.
  • Préfixes de compartiment S3 : lorsque vous définissez la stratégie de compartiment S3, une bonne pratique consiste à inclure une chaîne générée de façon aléatoire comme préfixe du compartiment. Si vous utilisez un préfixe, vous devez également spécifier la chaîne générée de façon aléatoire dans les paramètres de préfixe de compartiment S3 lorsque vous créez la tâche d'exportation. Sinon, la tâche d'exportation ne sera pas créée.
  • Stratégies AWS Identity and Access Management (IAM) : confirmez que l'utilisateur IAM (rôle IAM) qui a créé la tâche d'exportation dispose d'un accès complet à Amazon S3 et CloudWatch Logs.
  • Quotas de ressource : des quotas de service CloudWatch Logs limitent le nombre de tâches d'exportation en cours d'exécution ou en attente par compte et par région. Assurez-vous que vous utilisez les quotas autorisés.
  • Type de chiffrement côté serveur : assurez-vous que vous utilisez un type de chiffrement côté serveur pris en charge. L'exportation vers des compartiments S3 chiffrés avec SSE-KMS n'est pas prise en charge. L'exportation vers des compartiments S3 chiffrés avec AES-256 est prise en charge.

Pour dépanner les tâches qui ont échoué après leur création, vérifiez le paramètre Plage de temps . Si vous exportez des flux de journaux avec de grandes quantités de données et que vous spécifiez une longue plage de temps, la tâche d'exportation peut échouer. Dans ce cas, spécifiez une plage de temps plus courte.

Remarque : jusqu'à 12 heures peuvent être nécessaires pour que les journaux soient disponibles à l'exportation. En outre, la tâche d'exportation elle-même peut prendre un certain temps. Pour le traitement en temps réel ou l'archivage continu de nouvelles données dans S3, utilisez les filtres d'abonnements. Vous pouvez transmettre des flux vers Amazon Kinesis Data Firehose et définir Amazon S3 comme cible. Pour archiver des données historiques dans S3, exportez vos données vers Amazon S3.