Amazon Web Services ブログ
コンテナでデプロイした Lambda から OpenTelemetry でトレースを X-Ray に送る
はじめに
分散アプリケーションにおいてオブザーバビリティはパフォーマンスボトルネックやエラー率・アプリケーション全体が正常に稼働しているかを特定するのに重要な役目を果たします。コンテナでデプロイした AWS Lambda 関数を OpenTelemetry で計装しトレースを AWS X-Ray に送信するにはいくつか準備が必要です。このブログでは、OpenTelemetry Collector をビルドし、 Amazon ECR リポジトリにプッシュし、 Lambda のコンテナイメージにそれをコピーすることでこの問題を解決する方法を示します。
今回はセキュアで AWS がサポートする OpenTelemetry プロジェクトのディストリビューションである AWS Distro for OpenTelemetry を活用します。アプリケーションコードは OpenTelemetry SDK によって計装され、Lambda 関数の中で動作している OpenTelemetry Collector がトレースを収集し X-Ray に送信します。これによりコンテナでデプロイされた Lambda のパフォーマンスやアプリケーションが正常に動作しているかを監視できるようになります。
アーキテクチャ
コンテナ化した Lambda からトレースを送信するアーキテクチャの全体像をお示しします。
- 画像を Amazon S3 バケットにアップロードすると Lambda 関数が実行されます
- Lambda 関数では外部のコンポーネントに対して API コールを実行します(今回の例だと Amazon Rekognition)
- この処理は OpenTelemetry SDK によって計装されておりトレースを生成します
- Lambda Extension に追加されている OpenTelemetry Collector のなかの otlp receiver がトレースを受信し、awsxrayexporter を使って X-Ray にトレースが送信されます
今回の例ではトレースを可視化するために X-Ray を用いていますが、他のオブザーバビリティバックエンドに切り替えることも可能です。
コンテナでデプロイした Lambda から X-Ray にトレースを送信するには
zip で Lambda をデプロイする場合は Lambda Layer を使って比較的簡単にトレースを送信することができます。一方でコンテナで Lambda をデプロイする場合は Lambda Layer を使うことができず、依存物全てをコンテナにパッケージングする必要があります。
このブログでは OpenTelemetry Collector Lambda Extension を独自にビルドし、ECR リポジトリに保存し、Lambda のコンテナイメージにそれをコピーします。これによりコンテナで Lambda をデプロイしつつ OpenTelemetry を使ってトレースを X-Ray に送信することができます。
OTLP Receiver のエンドポイントについて
ソースコードの中で OTLP Exporter のエンドポイントが設定されていないことに疑問を感じる方がいらっしゃるかもしれません。これについては OpenTelemetry Specification v1.38.0 時点では OTLP Exporter のデフォルトエンドポイントは localhost:4317 になっていて、今回ビルドした OpenTelemetry Lambda の Collector も OTLP Receiver が localhost:4317 で接続を受け付ける設定になっているため明示的にエンドポイントを設定していません。今回使用している opentelemetry-otlp クレートではドキュメントにあるように opentelemetry_otlp::new_exporter()
.tonic().with_endpoint()
か環境変数 OTEL_EXPORTER_OTLP_ENDPOINT
でエンドポイントを明示的に指定することもできます。
手順
こちらのリポジトリの README に書かれた手順を実行していきます。
事前に必要なもの
以下のツールが必要です。
OpenTelemetry Collector Lambda Layer をビルドする
Lambda からのトレースを収集し X-Ray などのバックエンドに送信するためには OpenTelemetry Collector が必要です。OpenTelemetry Collector Lambda Extension Layer には awsxrayexporter が含まれておらず、このままでは X-Ray にトレースを送信することができません。そこで依存ライブラリに awsxrayexporter を追加した上で OpenTelemetry Collector をビルドします。まずはリポジトリをクローンしましょう。
1. awsxrayexporter を依存ライブラリに追加します。 otel-collector-lambda-extension/lambdacomponents/go.mod
を以下のように編集します。
2. otel-collector-lambda-extension/lambdacomponents/default.go
を編集しawsxrayexporter
を exporter に追加します。
3. otel-collector-lambda-extension/Dockerfile
を作成します。
OpenTelemetry Collector のコンテナイメージをビルドし、ECR リポジトリにプッシュして Lambda 関数が Collector を Lambda Extension として使えるようにします。手順の中では us-east-1 リージョンを使用しますが、AWS_DEFAULT_REGION
で変更することも可能です。
Collector を Lambda 関数に含める
opentelemetry-lambda-container/lambda-function/Dockerfile
の <Your AWS account id>
と <AWS Region>
をお使いの AWS アカウントの ID とリージョンに書き換えます。
AWS CDK でリソースをデプロイする
Lambda 関数とその他のリソースを CDK でデプロイします。S3 バケットに画像をアップロードすると Lambda 関数が実行されるように設定されており、CloudFormation に出力される RekognitionSourceBucketName
がその S3 バケット名を表しています。
以下のコマンドでデプロイします。
Lambda 関数を実行して動作確認する
以下のコマンドで画像ファイルを S3 バケットにアップロードします。
ここで生成される detect-label
スパンが X-Ray のコンソール上で確認できます。
ここで付与される label_num
メタデータも確認できます。
おわりに
このブログでは OpenTelemetry Collector の設定をカスタマイズして X-Ray 向けの Exporter を追加してビルドすることで、コンテナでデプロイした Lambda 関数から X-Ray にトレースを送信する方法を示しました。より詳細な情報は AWS Distro for OpenTelemetry, AWS Distro for OpenTelemetry Lambda で確認することができます。 One Observability Workshop を試して AWS でのオブザーバビリティを手を動かして体感いただけます。
著者について