CDK Garbage Collection の発表

FROM public.ecr.aws/docker/library/alpine:latest

これで cdk deploy を実行して、CDK アプリケーションを AWS アカウントにセットアップすることができます。

cdk deploy \ 
  --toolkit-stack-name=CDKToolkitDemo \ 
  --context='@aws-cdk/core:bootstrapQualifier=abcdef'

この時点で、ブートストラップされた Amazon S3 バケットと Amazon ECR リポジトリにアセットが正しく追加されていることを確認できます：

出力には、両方のブートストラップされたリソースに期待どおりのデータが含まれていることが示されています。Amazon S3 バケットには、cdk deploy を実行したときに生成された AWS CloudFormation テンプレートの json ファイルも保存されます。

これで、両方のアセットを更新して、一般的な CDK 開発サイクルをシミュレートできます。lambda/index.js にある Amazon S3 アセットに小さな変更を追加します：

exports.handler = async function(event) {
  console.log('hello world');
  const response = require('./response.json');
  return response ;
};

同じことを docker/Dockerfile 内でも行います：

FROM public.ecr.aws/docker/library/alpine:latest 
 CMD echo 'Hello World'

cdk deploy を再度実行すると、両方のアセットが新しいハッシュの下で再アップロードされるはずです。

この出力から新しいアセットが追加されたことが確認できます。新しくブートストラップされたリソースを使用しているため、どのリソースが現在孤立しているか、そうでないかを判断できます。現時点では、50f409b9 というプレフィックスが付いた ZIP ファイルのみが AWS CloudFormation で参照されており、Amazon ECR では a5801b5b というプレフィックスが付いたイメージのみが参照されています。つまり、他のすべてのアセット（Amazon S3 の 3 つのオブジェクトと Amazon ECR の 1 つのオブジェクト）は孤立しており、削除できます。

ローカルアセットではない追加のファイルが Amazon S3 にあることに注目してみましょう。これらは AWS CloudFormation テンプレートで、AWS CloudFormation に送信される前の中間ステップとして Amazon S3 にアップロードされたものです。これらのファイルはコピーされた後は不要であり、CDK Garbage Collection による削除の最適な候補です。

ここで CDK Garbage Collection の出番です。適切なパラメータを設定することで、アクティブに使用されているアセットに触れることなく、孤立したオブジェクトをクリーンアップすることができます。

cdk gc \ 
  --unstable=gc \ 
  --bootstrap-stack-name=CDKToolkitDemo \ 
  --rollback-buffer-days=0 \ 
  --created-buffer-days=0

アセットをすぐに削除したい場合（後で削除するためのタグ付けをするのではなく）は、 rollback-buffer-days を 0 に設定してください。また、作成されたばかりのアセットも削除したい場合は、 created-buffer-days も 0 に設定するようにしてください。created-buffer-daysのデフォルト値は1です。

 ⏳ Garbage Collecting environment aws://912331974472/us-east-1...
 Found 3 objects to delete based off of the following criteria:
- objects have been isolated for > 0 days 
- objects were created > 0 days ago 

 Delete this batch (yes/no/delete-all)? 

CDK Garbage Collection が Amazon S3 から削除すべき3つのアセットを検出しました。これは想定通りの動作です。削除を確認するよう促されるので、削除したい場合は yes と入力してください。すると、次のような応答が表示されます：

[100.00%] 4 files scanned: 0 assets (0.00 MiB) tagged, 3 assets (0.02 MiB) deleted.

さらに以下のように続きます:

Found 1 image to delete based off of the following criteria:
- images have been isolated for > 0 days 
- images were created > 0 days ago 

 Delete this batch (yes/no/delete-all)?

再度確認が促されますが、これは Amazon ECR のアセット削除のための質問なので、もう一度 yes と入力します。すると、次のような応答が表示されます：

[100.00%] 2 files scanned: 0 assets (0.00 MiB) tagged, 1 assets (3.90 MiB) deleted.

これで CDK Garbage Collection は完了です。

詳細

CDK Garbage Collection は、シナリオに応じて動作をカスタマイズするためのパラメータを提供しています。これらのオプションは、ガベージコレクションをどの程度積極的に行いたいかを決定するのに役立ちます。

• rollback-buffer-days: アセットが削除の対象となるために、孤立した状態としてマークされていなければならない日数
• created-buffer-days: アセットが削除の対象となるために、作成日から経過しなければならない日数

rollback-buffer-days は、cdk deployを使用せず、パイプラインのようにテンプレートのみで動作するデプロイメント方法を使用している場合に検討しましょう。パイプラインが CDK CLI を介さずにロールバックできる場合、このパラメータはアセットが早すぎるタイミングで削除されないようにするのに役立ちます。これを使用すると、cdk gcは未使用のオブジェクトを削除する代わりに、現在の日付でそれらにタグ付けします。以降のcdk gcの実行では、このタグをチェックし、指定されたバッファ日数よりも長くタグ付けされている場合にのみアセットを削除します。

created-buffer-daysは、アップロードされたばかりのアセットについて特に安全を期したい場合に検討しましょう。これを使用すると、cdk gc は作成後にその日数が経過していないアセットを除外します。ただし、これには複数の CDK アプリ間で共有されているアセットが含まれない場合があることに注意してください。CDK はアセットを再利用するため、最近デプロイされたCDKアプリでも、それよりも以前にアップロードされたアセットを参照している可能性があります。

例えば、1ヶ月以上経過し、かつ1週間孤立したものとしてマークされていたアセットのみを削除したい場合は、次のように指定できます：

cdk gc --unstable=gc --rollback-buffer-days=7 --created-buffer-days=30.

CDK Garbage Collection の制限事項

CDK Garbage Collection の実行中には、どのアセットが使用中かを確認するために、すべてのスタックのテンプレートを収集します。アセットのアップロードとスタックのデプロイメントの間にガベージコレクションが実行される場合、最新のスタックデプロイメントを検出できないが最新のアセットは検出するという状況が発生する可能性があります。このシナリオでは、CDK Garbage Collection がそれらのアセットを削除してしまう可能性があります。

CDK Garbage Collection の実行中にスタックをデプロイすることはお勧めしません。避けられない場合は、--created-buffer-days を設定することで、最近作成されたアセットがガベージコレクションによって削除されるのを防ぐことができます。万が一デプロイに失敗した場合は、再デプロイすることで対処できます。アセットのアップロードステップで不足しているアセットを再アップロードできるためです。実際には、この競合状態は特定のエッジケースでのみ発生し、起こる可能性は低いです。しかし、私たちはこの競合状態のリスクを軽減するために、CDK アセットを保存する新しい方法に取り組んでいます。この作業はこの Issue で追跡されています。

まとめ

CDK Garbage Collection は、ユーザーが AWS アカウント内の使用されていない CDK アセットのライフサイクル管理を支援します。ユーザーが CDK の活用規模を拡大し続ける中、CDK Garbage Collection のようなツールは、クリーンで効率的、かつコスト効果の高いクラウド環境を維持する上で重要な役割を果たします。CDK ユーザーの皆様には、ぜひこの機能を試し、フィードバック を提供し、AWSリソース管理を最適化するためにワークフローに組み込んでいただけると嬉しいです。