Amazon DynamoDB に負荷をかけ、検証する方法をご紹介

# 本記事は、aws cli バージョン 2 を利用しています。
# もしバージョン 1 をご利用している場合は、こちらの手順を参考して
# バージョン 2 をインストールしてください
# https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html
$ aws --version
aws-cli/2.9.8 Python/3.9.11 Linux/5.10.147-133.644.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off

$ aws dynamodb create-table \
    --table-name my-load-test \
    --attribute-definitions \
        AttributeName=pk,AttributeType=S \
    --key-schema \
        AttributeName=pk,KeyType=HASH \
    --provisioned-throughput \
        ReadCapacityUnits=1,WriteCapacityUnits=1 \
    --table-class STANDARD

$ aws dynamodb update-contributor-insights --table-name my-load-test \
    --contributor-insights-action=ENABLE

$ cat /etc/os-release
NAME="Amazon Linux"
VERSION="2"
ID="amzn"
ID_LIKE="centos rhel fedora"
VERSION_ID="2"
PRETTY_NAME="Amazon Linux 2"
ANSI_COLOR="0;33"
CPE_NAME="cpe:2.3:o:amazon:amazon_linux:2"
HOME_URL="https://amazonlinux.com/"

$ uname -a
Linux ip-10-0-12-202.ap-northeast-1.compute.internal 5.10.147-133.644.amzn2.x86_64 #1 SMP Fri Oct 14 01:16:24 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux

# YCSB は JAVA で動作しますので、Amazon が開発した Corretto(OpenJDK) を入れます。
$ sudo yum install -y java-11-amazon-corretto git

# コンパイル済みの YCSB を install
$ curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz
$ tar xfvz ycsb-0.17.0.tar.gz

# DynamoDB テストに必要な権限を作成
# 便宜上 IAM User を利用します
$ aws iam create-user --user-name ddb-tester

# 今回対象テーブル my-load-test のフル権限を付与
$ aws iam put-user-policy --user-name ddb-tester --policy-name ddb-test-full --policy-document "$(cat <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "dynamodb:*"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:dynamodb:*:*:table/my-load-test",
        "arn:aws:dynamodb:*:*:table/my-load-test/index/*"
      ]
    }
  ]
}
EOF
)"

# IAM User のアクセスキーを発行
$ aws iam create-access-key --user-name ddb-tester
{
    "AccessKey": {
        "UserName": "ddb-tester",
        "AccessKeyId": "AKxxxx",
        "Status": "Active",
        "SecretAccessKey": "xxxx",
        "CreateDate": "2022-12-02T05:13:51+00:00"
    }
}

# YCSB が利用する AWS アクセスキーを設定
$ vim AWSCredentials.properties
accessKey =
secretKey =

# YCSB 共通の設定を入れます
$ vim dynamodb-common.properties
dynamodb.awsCredentialsFile = ./AWSCredentials.properties
dynamodb.primaryKey = pk
dynamodb.primaryKeyType = HASH
dynamodb.region = ap-northeast-1
dynamodb.endpoint = http://dynamodb.ap-northeast-1.amazonaws.com.
requestdistribution = uniform
dynamodb.debug = false
dynamodb.connectMax = 100
dynamodb.consistentReads = false
fieldcount = 5
table=my-load-test

# ycsb コマンドを直接利用できるように
$ export PATH=$HOME/ycsb-0.17.0/bin:$PATH

$ cat test-1
# CRUD ベースの workload タイプ
# 基本はこちらを利用します
# 他に REST 対応の workload も存在します
# ref: https://github.com/brianfrankcooper/YCSB/tree/0.17.0/core/src/main/java/site/ycsb/workloads
workload=site.ycsb.workloads.CoreWorkload

# DynamoDB に 100 個のデータを投入します。
recordcount=100

# ケース 1 では 100 オーペレションに到達したら終了します。
# 1 QPS をかけますので、100 秒で終了になります。
operationcount=100

# 単純化のため、読み込みなどの操作の割合を 0% にしてあります
readproportion=0
scanproportion=0
insertproportion=0

# Update の割合は 100% です
updateproportion=1

# 1 thread で合計 1 QPS の速度でデータを投入
$ ycsb load dynamodb -P test-1 -P dynamodb-common.properties \
  -target 1 -s -threads 1

# 1 thread で合計 1 QPS の速度 item を update
$ ycsb run dynamodb -P test-1 -P dynamodb-common.properties \
  -target 1 -s -threads 1

$ cp test-1 test-2

# metrics 観測しやすいように、operationcount を 600 に設定
$ vim test-2 
$ diff -u test-1 test-2
--- test-1    2022-12-02 05:30:06.066016917 +0000
+++ test-2    2022-12-02 06:09:30.256767226 +0000
@@ -1,7 +1,7 @@
 workload=site.ycsb.workloads.CoreWorkload

 recordcount=100
-operationcount=100
+operationcount=600

 readproportion=0
 updateproportion=1

# Write QPS を 5 に変更します。threads 数は増やしても良いですが、
# 5 qps 程度は余裕ですので、そのまま 1 にしてあります。
# threads の計算方法ですが
# 1 + qps/(1000ms/(1 qps の平均 latency))
# が baseline を考えています。
$ ycsb run dynamodb -P test-2 -P dynamodb-common.properties \
  -target 5 -s -threads 1 2>&1 | tee /tmp/test-2.log

# metrics は基本 DynamoDB 側の metrics 見ていますが、
# client latency を知りたい場合は例えば、YCSB の output を解析する方法もあります
# 今回は output の方を解析して、csv に直してグラフにも生成してみました。
$ MODE=UPDATE
$ file=/tmp/test-2.log
$ header=$(echo -n Time,; tail -100 $file | sed -n -e "s/.*$MODE: \([^]]*\).*/\1/p" | sed -e 's/=[^,]*//g' | sed -e 's/ //g' | uniq)
$ content=$(paste -d ',' <(cat $file | egrep '[0-9]{1,4}-[0-9]{1,2}-[0-9]{1,2} [0-9]{1,2}:[0-9]{1,2}:[0-9]{1,2}' | grep $MODE | awk '{print $1,$2}') <(cat $file | sed -n -e "s/.*$MODE: \([^]]*\).*/\1/p" | sed -e 's/[^,]*=//g' | sed -e 's/ //g'))
$ echo "$header"$'\n'"$content" > /tmp/test-2.csv

# テスト2からコピーします
$ cp test-2 test-3

# 合計のデータの数 recordcount を 1 にすることで、
# 負荷をかける際には、1 つのキーにのみアクセスすることができます。
# つまり、2 つのパーティションのうち、1 つのパーティションだけにアクセスすることになります。
# また、テスト時間を 10 分以上に調整するために、operationcount を調整ます
$ diff test-2 test-3
3,4c3,4
< recordcount=100
< operationcount=600
---
> recordcount=1
> operationcount=2400

# 二つの partition を作るために、RCU 1、WCU 1000 を一時的にスケール
$ aws dynamodb update-table --table-name my-load-test \
  --provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=1000

# partition 拡張できるまで待ちます
$ watch aws dynamodb describe-table --table-name my-load-test

# TableStatus が ACTIVE になったら、準備は完了です
$ diff -u /tmp/update_before /tmp/update_after
-    "TableStatus": "UPDATING",
+    "TableStatus": "ACTIVE",
         "CreationDateTime": "2022-12-02T02:26:17.923000+00:00",
         "ProvisionedThroughput": {
-            "LastIncreaseDateTime": "2022-12-02T07:12:57.044000+00:00",
+            "LastIncreaseDateTime": "2022-12-02T07:38:43.756000+00:00",
             "NumberOfDecreasesToday": 0,
             "ReadCapacityUnits": 1,
-            "WriteCapacityUnits": 1
+            "WriteCapacityUnits": 1000
         },
     "TableSizeBytes": 55490,
         "ItemCount": 100,

# Partition 作成した後は、Capacity を小さくしても
# Partition の数は減りません!
# WCU を 2 に設定
$ aws dynamodb update-table --table-name my-load-test \
  --provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=2

# これで二つの partition それぞれ 1 WCU がプロビジョンされます
# 今回の負荷は、一つの key だけに 2 write qps をかけてみますが、
# Burst Capacity だけを利用する場合、
# 2 WCU x 300s / ( 2 - 1 ) WCU = 600s
# まで耐えられますが、最終的には Throttling されてしまいます。
# ここで、Adaptive Capacity と併用することで問題なく捌くことができる想定です。
$ ycsb run dynamodb -P test-3 -P dynamodb-common.properties \
  -target 2 -s -threads 1 2>&1 | tee /tmp/test-3.log

# DynamoDB Table の削除
$ aws dynamodb delete-table --table-name my-load-test

# IAM 関連を削除
$ aws iam delete-user-policy --user-name ddb-tester --policy-name ddb-test-full
$ aws iam delete-access-key --user-name ddb-tester --access-key-id xxx
$ aws iam delete-user --user-name ddb-tester