コンテナ Lambda を AWS SAM でデプロイしよう !
~コンテナ利用者に捧げる AWS Lambda の新しい開発方式 ! ~ 第 4 回~
Author : 下川 賢介
こんにちは、サーバーレス スペシャリストソリューションアーキテクトの下川 (@_kensh) です。
「第 1 回 コンテナ Lambda の”いろは”、AWS CLI でのデプロイに挑戦 !」では、AWS CLI を使ってコンテナ Lambda 関数を実際に AWS Lambda サービスにデプロイして動作確認をしてみました。
「第 2 回 コンテナ Lambda を開発、まずは RIC と RIE を使ってみよう !」では、開発者のローカル環境でコンテナ Lambda 関数の動作確認をする方法を紹介しました。
「第 3 回コンテナ Lambda をカスタマイズして、自分好みの PHP イメージを作ろう !」では、コンテナイメージサポート Lambda 関数のカスタムイメージ作成方法について紹介しました。
今回はこのコンテナイメージサポート Lambda 関数を AWS SAM で管理できるように、サーバーレスの Infrastructure As Code 環境を一緒に試していきたいと思います。
この連載記事のその他の記事はこちら
- 選択
- 第 1 回 コンテナ Lambda の”いろは”、AWS CLI でのデプロイに挑戦 !
- 第 2 回 コンテナ Lambda を開発、まずは RIC と RIE を使ってみよう !
- 第 3 回 コンテナ Lambda をカスタマイズして、自分好みの PHP イメージを作ろう !
- 第 4 回 コンテナ Lambda を AWS SAM でデプロイしよう !
- 第 5 回 コンテナ Lambda の CI/CD パイプラインの考え方
- 第 6 回 コンテナ Lambda の CI/CD パイプラインを SAM Pipeline で作ろう !
- 第 7 回 コンテナLambdaでサイドカーパターンは実現可能なの ?
ご注意
本記事で紹介する AWS サービスを起動する際には、料金がかかります。builders.flash メールメンバー特典の、クラウドレシピ向けクレジットコードプレゼントの入手をお勧めします。
サーバーレス サービスでも Infrastructure As Code は必要 ?
第 1 回から第 3 回まで、環境構築や Lambda 関数のビルド、そしてデプロイまで bash を使った実行を行なってきました。bash が手慣れた方はこれでも作業に困ることはないかもしれませんが、複数人でチームとして開発するときや、環境構成自体を再現性のある手段で記述したい場合など、bash で管理していくには可読性や bash script のデバッグなど別の課題を伴うことがあります。
前回の投稿では Dockerfile によるコンテナの定義を書いてみましたが、そこではコンテナ内の基底のOSバージョンや PHP バージョン、インストールモジュールについて、Dockerfile というテキストファイルに記述していました。こちらもコンテナ内の構成をコードで管理するという意味で Infrastructure As Code に従っています。
ビルドおよびデプロイにおいて、bash で実行していた部分は、以下の通りです。
# リージョン
$ REGION=$(aws configure get region)
# IAM Roleの作成
$ ACCOUNTID=$(aws sts get-caller-identity --output text --query Account)
$ aws iam create-role --role-name lambda-ex \
--assume-role-policy-document '{"Version": "2012-10-17","Statement": [{ "Effect": "Allow", "Principal": {"Service": "lambda.amazonaws.com"}, "Action": "sts:AssumeRole"}]}'
$ ROLE_ARN=arn:aws:iam::${ACCOUNTID}:role/lambda-ex
# リポジトリ作成
$ aws ecr create-repository --repository-name phplambda
# イメージビルド
$ docker build -t phplambda:latest .
# イメージプッシュ
$ docker tag phplambda:latest \
${ACCOUNTID}.dkr.ecr.${REGION}.amazonaws.com/phplambda:latest
$ aws ecr get-login-password | docker login --username AWS \
--password-stdin ${ACCOUNTID}.dkr.ecr.${REGION}.amazonaws.com
$ docker push ${ACCOUNTID}.dkr.ecr.${REGION}.amazonaws.com/phplambda:latest
# デプロイ
$ DIGEST=$(aws ecr list-images --repository-name phplambda --out text --query 'imageIds[?imageTag==`latest`].imageDigest')
$ aws lambda create-function \
--function-name phplambda \
--package-type Image \
--code ImageUri=${ACCOUNTID}.dkr.ecr.${REGION}.amazonaws.com/phplambda@${DIGEST} \
--role ${ROLE_ARN}これを見ても、かなり長い bash の実行が続きますね。作業ミスを誘発したり、チーム間のオペレーションの共有が難しそうですね。
このビルド、デプロイの流れもできるだけ Infrastructure As Code に従う方が良さそうです。
AWS SAM のご紹介
AWS SAM (Serverless Application Model) は、YAML 形式の構文で記述できる Infrastructure as Code のフレームワークです。SAM は AWS CloudFormation の拡張構文で、CloudFormation の構文もそのまま利用可能です。SAM および SAM CLI は、Apache 2.0 ライセンスの下でオープンソース化されています。GitHub に公開されていますので興味がある方は是非コントリビュートください。
さて、簡単なサーバーレス の YAML 構文の例を見てみましょう。
yaml
AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: >
sample
Resources:
PingFunction:
Type: AWS::Serverless::Function
Properties:
CodeUri: src/
Handler: app.lambda_handler
Runtime: python3.8
Events:
Ping:
Type: Api
Properties:
Path: /ping
Method: getResources : 配下に AWS 上に構築したいリソースを記述していきます。ここでは Type: AWS::Serverless::Function という Lambda 関数リソースタイプを指定して、PingFunction というリソース名の Lambda 関数を記述しています。CodeUri: でローカルのビルド対象ディレクトリパスを指定しています。Handler: で Lambda 関数のハンドラを指定しています。Runtime: では Lambda 関数のランタイム言語を指定できて、ここでは Python3.8 を選択しています。
Events 配下は、Lambda 関数を呼び出すイベントリソースが宣言されています。ここでは Type: Api が指定してあり、これは Amazon API Gateway の REST API リソースから呼び出されることを意味しています。
このように、Lambda 関数の定義や、Lambda 関数を呼び出すイベントリソースも同時に宣言しデプロイすることができるため、サーバーレス 構築に関して手軽に利用することができます。
AWS SAM CLIを覚えよう
AWS SAM には、サーバーレスアプリケーションの作成と管理を容易にするコマンドラインツールである AWS SAM CLI が用意されています。インストールの方法については AWS SAM CLI のインストール を参照ください。
SAM CLI には以下のような多種のコマンドが用意されています。ここでは今回使う一部をご紹介しますが他のコマンドについても AWS SAM CLI コマンドリファレンス に記載がありますので参考にしてください。
| sam initコマンドは、AWS SAMテンプレートを含むサーバーレスアプリケーションを初期化された構造を提供します。このSAMテンプレートは、AWS Lambda関数のディレクトリ構造を提供します。 | |
| sam build | sam buildコマンドは、AWS SAMテンプレートファイル、アプリケーションコード、および該当する言語固有のファイルと依存関係を処理します。このコマンドは、ワークフローの後続のステップに適合する形式で所定の場所にビルドアーティファクトをコピーします。 Python関数のrequirements.txtやNode.js関数のpackage.jsonなど、アプリケーションに含めるマニフェストファイルで依存関係を解決します。 |
| sam deploy | sam deployコマンドは、sam buildコマンドを使用してビルドされたアーティファクトは、.aws-samディレクトリにあり、生成されたtemplate.yamlという名前のテンプレートファイルを見つけようとします。次に、AWS SAM CLIは、現在の作業ディレクトリでtemplate.yamlという名前のテンプレートファイルを見つけようとします。そのAWSSAMテンプレートとそれが指すローカルリソースのみがデプロイされます。 |
| sam local invoke | sam local invokeコマンドは、--eventパラメーターを使用してイベント本体を渡しローカル実行することができます。Amazon Simple Storage Service（Amazon S3）やAmazonKinesisイベントなどの非同期イベントを処理するサーバーレス関数の開発に役立ちます。テストケースのスクリプトを作成する場合にも役立ちます。 |
前回の PHP Lambda コンテナを SAM 化
AWS SAM のテンプレートファイルやディレクトリ構成をイチから作っていくのは大変なので、上で紹介した SAM CLI の sam init コマンドを利用していきましょう。
$ sam --version
SAM CLI, version 1.24.1まず、今回利用する SAM のバージョンを確認しましょう。1.24.1 を今回は利用します。
$ sam init
Which template source would you like to use?
1 - AWS Quick Start Templates
2 - Custom Template Location
Choice: 1sam init を実行すると、インタラクティブに選択しつつ進めていきます。ここでは、AWS が用意しているテンプレートを利用します。
What package type would you like to use?
1 - Zip (artifact is a zip uploaded to S3)
2 - Image (artifact is an image uploaded to an ECR image repository)
Package type: 2今回は Lambda 関数をコンテナイメージでパッケージングしたいので、Image を選択します。
Which base image would you like to use?
1 - amazon/nodejs14.x-base
2 - amazon/nodejs12.x-base
3 - amazon/nodejs10.x-base
4 - amazon/python3.8-base
5 - amazon/python3.7-base
6 - amazon/python3.6-base
7 - amazon/python2.7-base
8 - amazon/ruby2.7-base
9 - amazon/ruby2.5-base
10 - amazon/go1.x-base
11 - amazon/java11-base
12 - amazon/java8.al2-base
13 - amazon/java8-base
14 - amazon/dotnet5.0-base
15 - amazon/dotnetcore3.1-base
16 - amazon/dotnetcore2.1-base
Base image: 1sam init で選択可能な Lambda ベースイメージの一覧が表示されるので、利用したいイメージを選ぶのですが、今回は provided:al2 を利用する予定です。ここでは、選択肢がないので適当に選んでおきます。
Project name [sam-app]: phplambda
Cloning from https://github.com/aws/aws-sam-cli-app-templates
-----------------------
Generating application:
-----------------------
Name: phplambda
Base Image: amazon/nodejs14.x-base
Dependency Manager: npm
Output Directory: .
Next steps can be found in the README file at ./phplambda/README.mdプロジェクト名を求められるので、適当につけておきます。
これで、雛形の AWS SAM プロジェクトが生成されました。
つくられたディレクトリ階層 (抜粋) を確認してみましょう。
├── events
├── hello-world
│ ├── Dockerfile
│ ├── app.js
│ └── package.json
└── template.yaml今回は、template.yaml ファイルを利用したいのですが、自動生成された hello-world ディレクトリは Node.js の実装になっているのでディレクトリごと破棄します。
前回 つくった PHP カスタムイメージのソースをこのディレクトリ構造にはめ込んで利用します。
├── event
├── src
│ ├── Dockerfile
│ ├── lambda
│ │ └── app.php
│ └── runtime
│ └── bootstrap
└── template.yamlsrc ディレクトリを作り、前回のディレクトリ構造 をそのままコピーして利用します。
ここから、このディレクトリ構造に合うように template.yaml を書き換えていきます。
template.yaml
AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: >
phplambda
Globals:
Function:
Timeout: 3
Resources:
phplambda:
Type: AWS::Serverless::Function
Properties:
PackageType: Image
Metadata:
DockerTag: phpoci
DockerContext: ./src/
Dockerfile: Dockerfile
Outputs:
customphplambda:
Description: "phplambda Lambda Function ARN"
Value: !GetAtt phplambda.Arn
customphplambdaIamRole:
Description: "Implicit IAM Role created for phplambda function"
Value: !GetAtt phplambda.Arnこのテンプレートの中身をみると、PackageType が Image になっています。これで Lambda のアーティファクトタイプがコンテナイメージであることを指示しています。また Metadata として、イメージのタグ、docker build 対象の src ディレクトリ、そして Dockerfile のファイル名の指定をしています。docker build は sam build 時に合わせて実行されますが、この Metadata を参照してビルドが行われます。
ECR にリポジトリをまだ作成していない場合はつくっておきます。
$ aws ecr create-repository --repository-name phplambda
{
"repository": {
"repositoryArn": "arn:aws:ecr:ap-northeast-1:{Account ID}:repository/phplambda",
"registryId": "{Account ID}",
"repositoryName": "phplambda",
"repositoryUri": "{Account ID}.dkr.ecr.ap-northeast-1.amazonaws.com/phplambda",
"createdAt": "2021-06-12T23:11:05+09:00",
"imageTagMutability": "MUTABLE",
"imageScanningConfiguration": {
"scanOnPush": false
},
"encryptionConfiguration": {
"encryptionType": "AES256"
}
}
}作成した repositoryUri を利用するのでメモしておきましょう。
ここまでで、AWS SAM でビルド、デプロイする準備が整ったので、さっそく AWS SAM CLI で実行していきましょう。
$ sam build
・・・
Successfully tagged phplambda:phpoci
Build Succeeded
Built Artifacts : .aws-sam/build
Built Template : .aws-sam/build/template.yaml
Commands you can use next
=========================
[*] Invoke Function: sam local invoke
[*] Deploy: sam deploy --guidedsam build を実行すると、src 配下の PHP Lambda 関数のビルドが始まります。成功すると、つぎのこのコマンドを使えますよといった推奨コマンドが表示されていますので、両方実行してみましょう。
$ sam local invoke
Invoking Container created from phplambda:phpoci
Image was not found.
Building image.............
Skip pulling image and use local one: phplambda:rapid-1.24.1.
START RequestId: a568fb70-62ab-49b9-b71e-3f0d65a39bac Version: $LATEST
{"function_name":"phplambda","function_version":"$LATEST","invoked_function_arn":[],"memory_limit_in_mb":"128","aws_request_id":["a568fb70-62ab-49b9-b71e-3f0d65a39bac"],"log_group_name":"aws\/lambda\/phplambda","log_stream_name":"$LATEST","deadline_ms":["3246622130627"],"trace_id":[],"x_amzn_trace_id":false,"identity":[],"client_context":[]}
PHP Notice: Undefined index: queryStringParameters in /var/task/app.php on line 6
END RequestId: a568fb70-62ab-49b9-b71e-3f0d65a39bac
REPORT RequestId: a568fb70-62ab-49b9-b71e-3f0d65a39bac Init Duration: 0.29 ms Duration: 213.20 ms Billed Duration: 300 ms Memory Size: 128 MB Max Memory Used: 128 MB
{"statusCode":200,"headers":{"Content-Type":"application\/json","Access-Control-Allow-Origin":"*","Access-Control-Allow-Headers":"Content-Type","Access-Control-Allow-Methods":"OPTIONS,POST"},"body":"queryStringParameters, null"}3まずは sam local invoke を実行してみました。ローカル環境で Lambda をエミュレートしたコンテナ環境が SAM より提供されています。
よく見ると、エラー (PHP Notice: Undefined index: queryStringParameters) が発生しています。
app.php
<?php
function handler($event, $context)
{
echo json_encode($context);
return response("queryStringParameters, ". json_encode($event['queryStringParameters']));
}
function response($body)
{
$headers = array(
"Content-Type"=>"application/json"
);
return json_encode(array(
"statusCode"=>200,
"headers"=>$headers,
"body"=>$body
));
}前回作った PHP ソースを見ると event データから queryStringParameters を取得しようとして、そんな JSON フィールドが無いという理由でエラーとなっているようですね。
AWS SAM では実行時にユーザが定義した event データを渡す機能がありますので使ってみましょう。
sam local generate-event apigateway aws-proxy > event/apigateway-proxy.jsonAmazon API Gateway から呼び出された場合の event スキーマを sam local generate-event コマンドを利用して生成することができます。このコマンドの出力を event ディレクトリに入れておきます。
さて、event データを渡して sam local invoke を再実行してみましょう。
-e オプションで生成した event データを渡しています。
$ sam local invoke -e event/apigateway-proxy.json
Invoking Container created from phplambda:phpoci
Building image.....
Skip pulling image and use local one: phplambda:rapid-1.24.1.
START RequestId: 27719b0b-6161-4883-b0b3-5300c828273c Version: $LATEST
{"function_name":"phplambda","function_version":"$LATEST","invoked_function_arn":[],"memory_limit_in_mb":"128","aws_request_id":["27719b0b-6161-4883-b0b3-5300c828273c"],"log_group_name":"aws\/lambda\/phplambda","log_stream_name":"$LATEST","deadline_ms":["3246622633172"],"trace_id":[],"x_amzn_trace_id":false,"identity":[],"client_context":[]}
END RequestId: 27719b0b-6161-4883-b0b3-5300c828273c
REPORT RequestId: 27719b0b-6161-4883-b0b3-5300c828273c Init Duration: 1.24 ms Duration: 73.64 ms Billed Duration: 100 ms Memory Size: 128 MB Max Memory Used: 128 MB
{"statusCode":200,"headers":{"Content-Type":"application\/json","Access-Control-Allow-Origin":"*","Access-Control-Allow-Headers":"Content-Type","Access-Control-Allow-Methods":"OPTIONS,POST"},"body":"queryStringParameters, {\"foo\":\"bar\"}"}今度は実行に成功しました。
PHP Lambda コンテナを SAM を利用して AWS クラウドにデプロイしよう
sam deploy に —guided オプションを入れるとインタラクティブにデプロイオプションを指定できます。
まず、CloudFormation のスタック名を決めます。
$ sam deploy --guided
Configuring SAM deploy
======================
Looking for config file [samconfig.toml] : Found
Reading default arguments : Success
Setting default arguments for 'sam deploy'
=========================================
Stack Name []: phplambdaそして、docker リポジトリの指定をします。上で作成したリポジトリの URI をしてして、docker push のターゲットとします。
それ以外のパラメータも適宜決めていきます。
AWS Region [ap-northeast-1]:
Image Repository for phplambda []: {Account ID}.dkr.ecr.ap-northeast-1.amazonaws.com/phplambda
phplambda:phpoci to be pushed to {Account ID}.dkr.ecr.ap-northeast-1.amazonaws.com/phplambda:phplambda-abcdefghi-phpoci
#Shows you resources changes to be deployed and require a 'Y' to initiate deploy
Confirm changes before deploy [Y/n]: y
#SAM needs permission to be able to create roles to connect to the resources in your template
Allow SAM CLI IAM role creation [Y/n]: y
Save arguments to configuration file [Y/n]: y
SAM configuration file [samconfig.toml]:
SAM configuration environment [default]: デプロイ対象となる Stack の差分 (チェンジセット) が表示され、これらのリソースを作成 / 更新 / 削除してよければ YES で回答して実際にデプロイします。
CloudFormation stack changeset
----------------------------------------------------------------
Operation LogicalResourceId ResourceType Replacement
----------------------------------------------------------------
+ Add phplambdaRole AWS::IAM::Role N/A
+ Add phplambda AWS::Lambda::Function N/A
----------------------------------------------------------------
Changeset created successfully. arn:aws:cloudformation:ap-northeast-1:{Account ID}:changeSet/samcli-deploy1623806056/6696dd2a-1ffe-494f-a9d5-a69ddddc11c2
Previewing CloudFormation changeset before deployment
======================================================
Deploy this changeset? [y/N]: y 最後に Outputs としてリソースの ARN などの情報が出力されています。
CloudFormation outputs from deployed stack
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Outputs
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Key customphplambdaIamRole
Description Implicit IAM Role created for phplambda function
Value arn:aws:lambda:ap-northeast-1:{Account ID}:function:phpstack-phplambda-w0JDE3lNIRlR
Key customphplambda
Description phplambda Lambda Function ARN
Value arn:aws:lambda:ap-northeast-1:{Account ID}:function:phpstack-phplambda-w0JDE3lNIRlR
------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Successfully created/updated stack - phpstack in ap-northeast-1Successfully と成功が報告されればデプロイ完了です。
phpstack-phplambda-w0JDE3lNIRlR という名前の関数が生成されたので実行してみましょう。
$ aws lambda invoke \
--payload fileb://./event/apigateway-proxy.json \
--function-name phpstack-phplambda-w0JDE3lNIRlR output ; cat output
{
"StatusCode": 200,
"ExecutedVersion": "$LATEST"
}
{
"statusCode": 200,
"headers": {
"Content-Type": "application/json"
},
"body": "queryStringParameters, {\"foo\":\"bar\"}"
}ちゃんとデプロイした関数が実行できることが確認できました。
まとめ
サーバーレスアプリケーションでも Infrastructure as Code の考えで構成情報をコードとして管理していくことは開発の上で重要になってきます。今回は、AWS SAM がコンテナ Lambda でも利用できることをご紹介しました。実は SAM でもローカルテストができますので、RIE を含まないイメージでも AWS SAM ではローカルテスト実行が簡単にできるといった良さもあります。
Docker CLI で全てを完結するかよりリッチな AWS SAM CLI でローカルのビルド作業を行うかはプロジェクトやチームの考えで決定すると良いでしょう。
次回以降ではさらに、コンテナサポート Lambda 関数の特徴や利点を追っていきたいと思います。
この連載記事のその他の記事はこちら
- 選択
- 第 1 回 コンテナ Lambda の”いろは”、AWS CLI でのデプロイに挑戦 !
- 第 2 回 コンテナ Lambda を開発、まずは RIC と RIE を使ってみよう !
- 第 3 回 コンテナ Lambda をカスタマイズして、自分好みの PHP イメージを作ろう !
- 第 4 回 コンテナ Lambda を AWS SAM でデプロイしよう !
- 第 5 回 コンテナ Lambda の CI/CD パイプラインの考え方
- 第 6 回 コンテナ Lambda の CI/CD パイプラインを SAM Pipeline で作ろう !
- 第 7 回 コンテナLambdaでサイドカーパターンは実現可能なの ?
筆者プロフィール
下川 賢介 (@_kensh)
アマゾン ウェブ サービス ジャパン合同会社
シニア サーバーレススペシャリスト ソリューションアーキテクト
Serverless Specialist Solutions Architect として AWS Japan に勤務。
Serverless の大好きな特徴は、ビジネスロジックに集中できるところ。
ビジネスオーナーにとってインフラの管理やサービスの冗長化などは、ビジネスのタイプに関わらず必ず必要になってくる事柄です。
でもどのサービス、どのビジネスにでも必要ということは、逆にビジネスの色はそこには乗って来ないということ。
フルマネージドなサービスを使って関数までそぎ落とされたロジックレベルの管理だけでオリジナルのサービスを構築できるという Serverless の特徴は技術者だけでなく、ビジネスに多大な影響を与えています。
このような Serverless の嬉しい特徴をデベロッパーやビジネスオーナーと一緒に体験し、面白いビジネスの実現を支えるために日々活動しています。
AWS を無料でお試しいただけます