AWS Lambda から Amazon DynamoDB Accelerator（DAX）を使用して、コストを削減しながらパフォーマンスを向上させる

AWSTemplateFormatVersion: '2010-09-09'
説明：AWS Lambda と AWS CloudFormation でAmazon DynamoDB Accelerator（DAX）を使用する方法を示すサンプルアプリケーションです。
Transform: AWS::Serverless-2016-10-31
Resources:
  siteFunction:
    Type: AWS::Serverless::Function
    Properties:
      CodeUri: geturl.zip
      Description: Resolve/Store URLs
      Environment:
        Variables:
          DAX_ENDPOINT: !GetAtt getUrlCluster.ClusterDiscoveryEndpoint
          DDB_TABLE: !Ref getUrlTable
      Events:
        getUrl:
          Type: Api
          Properties:
            Method: get
            Path: /{id+}
        postUrl:
          Type: Api
          Properties:
            Method: post
            Path: /
      Handler: lambda/index.handler
      Policies:
          - AmazonDynamoDBFullAccess
          - AWSLambdaVPCAccessExecutionRole
      Runtime: nodejs6.10
      Timeout: 10
      VpcConfig:
        SecurityGroupIds: 
            - !GetAtt getUrlSecurityGroup.GroupId
        SubnetIds:
            - !Ref getUrlSubnet

  getUrlTable:
    Type: AWS::DynamoDB::Table
    Properties:
      TableName: GetUrl-sample
      AttributeDefinitions:
        - 
          AttributeName: id
          AttributeType: S
      KeySchema:
        - 
          AttributeName: id
          KeyType: HASH
      ProvisionedThroughput:
        ReadCapacityUnits: 100
        WriteCapacityUnits: 10

getUrlCluster:
    Type: AWS::DAX::Cluster
    Properties:
      ClusterName: getUrl-sample
      Description: Cluster for GetUrl Sample
      IAMRoleARN: !GetAtt getUrlRole.Arn
      NodeType: dax.t2.small
      ReplicationFactor: 1
      SecurityGroupIds:
        - !GetAtt getUrlSecurityGroup.GroupId
      SubnetGroupName: !Ref getUrlSubnetGroup

  getUrlRole:
    Type: AWS::IAM::Role
    Properties:
      AssumeRolePolicyDocument:
        Statement:
          - Action:
            - sts:AssumeRole
            Effect: Allow
            Principal:
              Service:
              - dax.amazonaws.com
        "Version": "2012-10-17"
      ManagedPolicyArns:
        - arn:aws:iam::aws:policy/AmazonDynamoDBFullAccess
      RoleName: getUrl-sample-Role

  getUrlSecurityGroup:
    Type: AWS::EC2::SecurityGroup
    Properties:
      GroupDescription: Security Group for GetUrl
      GroupName: getUrl-sample
      VpcId: !Ref getUrlVpc
  
  getUrlSecurityGroupIngress:
    Type: AWS::EC2::SecurityGroupIngress
    DependsOn: getUrlSecurityGroup
    Properties:
      GroupId: !GetAtt getUrlSecurityGroup.GroupId
      IpProtocol: tcp
      FromPort: 8111
      ToPort: 8111
      SourceSecurityGroupId: !GetAtt getUrlSecurityGroup.GroupId

  getUrlVpc:
    Type: AWS::EC2::VPC
    Properties:
      CidrBlock: 10.0.0.0/16
      EnableDnsHostnames: true
      EnableDnsSupport: true
      InstanceTenancy: default
      Tags:
        - Key: Name
          Value: getUrl-sample
  
getUrlSubnet:
    Type: AWS::EC2::Subnet
    Properties:
      AvailabilityZone:
        Fn::Select:
          - 0
          - Fn::GetAZs: ''
      CidrBlock: 10.0.0.0/20
      Tags:
        - Key: Name
          Value: getUrl-sample
      VpcId: !Ref getUrlVpc
  
  getUrlSubnetGroup:
    Type: AWS::DAX::SubnetGroup
    Properties:
      Description: Subnet group for GetUrl Sample
      SubnetGroupName: getUrl-sample
      SubnetIds: 
        - !Ref getUrlSubnet

const AWS = require('aws-sdk');
const AmaxonDaxClient = require('amazon-dax-client');
const crypto = require('crypto');

// これをファイルレベルで保存して、ラムダの実行の間に保存されるようにします
var dynamodb;

exports.handler = function(event, context, callback) {
  event.headers = event.headers || [];
  main(event, context, callback);
};

function main(event, context, callback) {
  // 「dynamodb」変数が初期化されていなければそれを初期化します。これにより 
  // 初期化は、Lambda 実行間で共有されるので、 
  // 実行時間が短くなります。ラムダがコンテナをリサイクルしなければならない場合、これは再実行されるか、 
  // 新しいインスタンスを使用します。
  if(!dynamodb) {
    if(process.env.DAX_ENDPOINT) {
      console.log('Using DAX endpoint', process.env.DAX_ENDPOINT);
      dynamodb = new AmaxonDaxClient({endpoints: [process.env.DAX_ENDPOINT]});
    } else {
      // DDB_LOCAL は、dynamodb-local または別のローカルテスト環境で lambda-local
      // を使用する場合に設定できます
      if(process.env.DDB_LOCAL) {
        console.log('Using DynamoDB local');
        dynamodb = new AWS.DynamoDB({endpoint: 'http://localhost:8000', region: 'ddblocal'});
      } else {
        console.log('Using DynamoDB');
        dynamodb = new AWS.DynamoDB();
      }
    }
  }

  // HTTP メソッドに応じて、URL を保存するか返すかします
  if (event.httpMethod == 'GET') {
    return getUrl(event.pathParameters.id, callback);
  } else if (event.httpMethod == 'POST' && event.body) {
    return setUrl(event.body, callback);
  } else {
    return done(400, JSON.stringify({error: 'Missing or invalid HTTP Method'}), 'application/json', callback);
  }
}

// データベースから URL を取得して返します
function getUrl(id, callback) {
  const params = {
    TableName: process.env.DDB_TABLE,
    Key: { id: { S: id } }
  };
  
  console.log('Fetching URL for', id);
  dynamodb.getItem(params, (err, data) => {
    if(err) {
      console.error('getItem error:', err);
      return done(500, JSON.stringify({error: 'Internal Server Error: ' + err}), 'application/json', callback);
    }

    if(data && data.Item && data.Item.target) {
      let url = data.Item.target.S;
      return done(301, url, 'text/plain', callback, {Location: url});
    } else {
      return done(404, '404 Not Found', 'text/plain', callback);
    }
  });
}

/**
 * URL ごとに固有の ID を計算します。
 *
 * これを行うには、URL の MD5 ハッシュを取り、最初の 40 ビットを抽出し、 
 * それを Base32 記数法で返します。
 *
 * ソルトが提供されている場合は、最初に URL に追加してください。
 * これはハッシュの衝突を解決します。
 * 
 */
function computeId(url, salt) {
  if(salt) {
    url = salt + '$' + url
  }

  // デモンストレーションの目的であれば、MD5 は問題ありません
  let md5 = crypto.createHash('md5');

  // MD5 を計算し、最初の 40 ビットのみを使用します
  let h = md5.update(url).digest('hex').slice(0, 10);

  // 結果を Base32 で返します（したがって、40 ビット、8 * 5）
  return parseInt(h, 16).toString(32);
}

// URLをデータベースに保存します
function setUrl(url, callback, salt) {
  let id = computeId(url, salt);

  const params = {
    TableName: process.env.DDB_TABLE,
    Item: {
      id: { S: id },
      target: { S: url }
    },
    // puts が冪等であることを確認します。
    ConditionExpression: "attribute_not_exists(id) OR target = :url",
    ExpressionAttributeValues: {
      ":url": {S: url}
    }
  };

  dynamodb.putItem(params, (err, data) => {
    if (err) {
      if(err.code === 'ConditionalCheckFailedException') {
        console.warn('Collision on ' + id + ' for ' + url + '; retrying...');
        // 試行した ID をソルトとして再試行してください。
        // 最終的に、衝突しません。
        return setUrl(url, callback, id);
      } else {
        console.error('Dynamo error on save: ', err);
        return done(500, JSON.stringify({error: 'Internal Server Error: ' + err}), 'application/json', callback);
      }
    } else {
      return done(200, id, 'text/plain', callback);
    }
  });
}

// これで終わりです。Lambda、指定されたパラメータをクライアントに返します
function done(statusCode, body, contentType, callback, headers) {
  full_headers = {
      'Content-Type': contentType
  }

  if(headers) {
    full_headers = Object.assign(full_headers, headers);
  }

  callback(null, {
    statusCode: statusCode,
    body: body,
    headers: full_headers,
    isBase64Encoded: false,
  });
}

{
  "name": "geturljs",
  "version": "1.0.0",
  "repository": "https://github.com/aws-samples/amazon-dax-lambda-nodejs-sample",
  "description": "Amazon DynamoDB Accelerator (DAX) Lambda Node.js Sample",
  "main": "index.js",
  "scripts": {
    "test": "test"
  },
  "author": "author@example.com",
  "license": "MIT",
  "dependencies": {
    "amazon-dax-client": "^1.1.0",
    "aws-sdk": "^2.202.0"
  }
}

# Install dependencies with npm
npm install

＃必要なフォルダに zip ファイルを作成します
zip -qur geturl node_modules lambda

aws s3 mb s3://bucket-name

aws cloudformation package --template-file template.yaml --output-template-file packaged-template.yaml --s3-bucket bucket-name

aws cloudformation deploy --template-file packaged-template.yaml --capabilities CAPABILITY_NAMED_IAM --stack-name geturl

＃AWS CLI を使用して API Gateway の REST ID を検索します
gwId=$(aws apigateway get-rest-apis --query "items[?name == 'geturl'].id | [0]" --output text)
＃ REST ID を使用して endpoint URL を構成します
endpointUrl="https://$gwId.execute-api.region.amazonaws.com/Prod"

curl -d 'https://www.amazon.com' "$endpointUrl"

curl -v "$endpointUrl/$slug"