Amazon EKS アドオンで Amazon EBS CSI ドライバーが一般利用可能になりました

$ aws eks describe-addon-versions --addon-name aws-ebs-csi-driver

$ aws eks describe-addon-versions --addon-name aws-ebs-csi-driver --kubernetes-version 1.21
{
    "addons": [
        {
            "addonName": "aws-ebs-csi-driver",
            "type": "storage",
            "addonVersions": [
                {
                    "addonVersion": "v1.5.2-eksbuild.1",
                    "architecture": [
                        "amd64",
                        "arm64" 
                    ],
                    "compatibilities": [
                        {
                            "clusterVersion": "1.21",
                            "platformVersions": [
                                "eks.5+"
                            ],
                            "defaultVersion": true
                        }
                    ]
                },
                {
                    "addonVersion": "v1.4.0-eksbuild.preview",
                    "architecture": [
                        "amd64"
                    ],
                    "compatibilities": [
                        {
                            "clusterVersion": "1.21",
                            "platformVersions": [
                                "eks.3+"
                            ],
                            "defaultVersion": false
                        }
                    ]
                }               
            ]
        }
    ]
}

$ export AWS_REGION=eu-west-1; export AWS_DEFAULT_REGION=eu-west-1

$ cat config.yaml
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: ebs-demo-cluster
  region: eu-west-1
  version: "1.21"
 
iam:
  withOIDC: true
 
addons:
- name: aws-ebs-csi-driver
  version: v1.5.2-eksbuild.1
  attachPolicyARNs:
  - arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy
 
managedNodeGroups:
  - name: managed-ng-1
    instanceType: t2.large
    privateNetworking: true
    minSize: 2
    maxSize: 3

$ eksctl get cluster
2021-12-14 18:00:59 [ℹ]  eksctl version 0.76.0
2021-12-14 18:00:59 [ℹ]  using region eu-west-1
NAME                    REGION          EKSCTL CREATED
ebs-demo-cluster        eu-west-1       True

$ eksctl get addon --name aws-ebs-csi-driver --cluster ebs-demo-cluster
…
NAME                    VERSION                 STATUS  ISSUES  IAMROLE
                                UPDATE AVAILABLE
aws-ebs-csi-driver      v1.5.2-eksbuild.1 ACTIVE  0       arn:aws:iam::<accountId>:role/eksctl-ebs-demo-cluster-addon-aws-ebs-csi-dr-Role1-TX3SPPGLTRLZ

$ aws eks describe-addon --cluster-name ebs-demo-cluster --addon-name aws-ebs-csi-driver
{
    "addon": {
        "addonName": "aws-ebs-csi-driver",
        "clusterName": "ebs-demo-cluster",
        "status": "ACTIVE",
        "addonVersion": "v1.5.2-eksbuild.1",
        "health": {
            "issues": []
        },
        "addonArn": "arn:aws:eks:eu-west-1:<accountId>:addon/ebs-demo-cluster/aws-ebs-csi-driver/18bedd09-c3e8-8a5f-fffa-a6a32fbd108c",
        "createdAt": 1639504382.132,
        "modifiedAt": 1639504449.617,
        "serviceAccountRoleArn": "arn:aws:iam::<accountId>:role/eksctl-ebs-demo-cluster-addon-aws-ebs-csi-dr-Role1-TX3SPPGLTRLZ",
        "tags": {}
    }

$ kubectl config current-context
juw@ebs-demo-cluster.eu-west-1.eksctl.io

$ eksctl utils associate-iam-oidc-provider --cluster <existing cluster> --approve

$ eksctl create addon --name aws-ebs-csi-driver --version v1.5.2-eksbuild.1 --attach-policy-arn arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy --cluster <existing cluster>

$ cat eks-add-on-ebs-csi.tf
...
data "aws_eks_cluster" "eks" {
  name = local.name
}

data "aws_iam_policy" "ebs_csi_policy" {
  arn = "arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy"
}

module "irsa-ebs-csi" {
  source  = "terraform-aws-modules/iam/aws//modules/iam-assumable-role-with-oidc"
  version = "4.7.0"

  create_role                   = true
  role_name                     = "AmazonEKSTFEBSCSIRole-${local.name}"
  provider_url                  = replace(data.aws_eks_cluster.eks.identity.0.oidc.0.issuer, "https://", "")
  role_policy_arns              = [data.aws_iam_policy.ebs_csi_policy.arn]
  oidc_fully_qualified_subjects = ["system:serviceaccount:kube-system:ebs-csi-controller-sa"]
}

resource "aws_eks_addon" "ebs-csi" {
  cluster_name             = local.name
  addon_name               = "aws-ebs-csi-driver"
  addon_version            = "v1.5.2-eksbuild.1"
  service_account_role_arn = module.irsa-ebs-csi.iam_role_arn
  tags = {
    "eks_addon" = "ebs-csi"
    "terraform" = "true"
  }
}

$ kubectl get deploy,ds -l=app.kubernetes.io/name=aws-ebs-csi-driver -n kube-system
NAME                                 READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/ebs-csi-controller   2/2     2            2           5m30s
 
NAME                                  DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
daemonset.apps/ebs-csi-node           2         2         2       2            2           kubernetes.io/os=linux   5m31s
daemonset.apps/ebs-csi-node-windows   0         0         0       0            0           kubernetes.io/os=windows 5m31s

$ kubectl get po -n kube-system -l 'app in (ebs-csi-controller,ebs-csi-node)'
NAME                                  READY   STATUS    RESTARTS   AGE
ebs-csi-controller-67c885fcc7-n6ll6   6/6     Running   0          6m2s
ebs-csi-controller-67c885fcc7-zvcct   6/6     Running   0          6m32s
ebs-csi-node-7b7b9                    3/3     Running   0          6m32s
ebs-csi-node-nszsg                    3/3     Running   0          6m32s

$ kubectl get -n kube-system pod/ebs-csi-controller-67c885fcc7-n6ll6 -o jsonpath='{.spec.containers[*].name}'
ebs-plugin csi-provisioner csi-attacher csi-snapshotter csi-resizer liveness-probe

$ kubectl get csinodes
NAME                                            DRIVERS   AGE
ip-192-168-115-162.eu-west-1.compute.internal   1         41m
ip-192-168-137-52.eu-west-1.compute.internal    1         41m

$ kubectl get sa -n kube-system ebs-csi-controller-sa -o yaml | head -5
apiVersion: v1
kind: ServiceAccount
metadata:
  annotations:
    eks.amazonaws.com/role-arn: arn:aws:iam::<accountId>:role/eksctl-ebs-demo-cluster-addon-aws-ebs-csi-dr-Role1-Q269IPNF9XDB

$ kubectl get sc
NAME            PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
gp2 (default)   kubernetes.io/aws-ebs   Delete          WaitForFirstConsumer   false                  62m

$ cat gp3-sc.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: gp3
allowVolumeExpansion: true
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
parameters:
  type: gp3

$ kubectl apply -f gp3-sc.yaml
storageclass.storage.k8s.io/gp3 created

$ kubectl get sc gp3
NAME   PROVISIONER       RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
gp3    ebs.csi.aws.com   Delete          WaitForFirstConsumer   true                   6s

$ cat pvc-csi.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-csi
spec:
  accessModes:
  - ReadWriteOnce
  storageClassName: gp3
  resources:
    requests:
      storage: 1Gi

$ kubectl apply -f pvc-csi.yaml
persistentvolumeclaim/pvc-csi created

$ kubectl get pvc pvc-csi
NAME      STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-csi   Pending                                      gp3            6s

StorageClass gp3 では VolumeBindingMode が WaitForFirstConsumer のため、PVC はまだ Pending 状態です。この属性により、PV と Pod が同じ AWS アベイラビリティゾーン (AZ) にプロビジョニングされるようになります。PV を作成しバインドするためにはアプリケーション (Pod) を作成する必要があります。

$ cat pod-csi.yaml
apiVersion: v1
kind: Pod
metadata:
  name: app-gp3
spec:
  containers:
  - name: app
    image: centos
    command: ["/bin/sh"]
    args: ["-c", "while true; do echo $(date -u) >> /data/out.txt; sleep 5; done"]
    volumeMounts:
    - name: persistent-storage
      mountPath: /data
  volumes:
  - name: persistent-storage
    persistentVolumeClaim:
      claimName: pvc-csi

Pod が実行されると (数秒かかることもあります) 、PVC は Bound ステータスになり、PV がプロビジョニングされます。

$ kubectl apply -f pod-csi.yaml
pod/app-gp3 created
$ kubectl get pod
NAME      READY   STATUS    RESTARTS   AGE
app-gp3   1/1     Running   0          45s
$ kubectl get pvc
NAME      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-csi   Bound    pvc-19b44f3a-b4f8-4376-8089-60e9eada0d24   1Gi        RWO            gp3            11m
$ kubectl get pv pvc-19b44f3a-b4f8-4376-8089-60e9eada0d24
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM             STORAGECLASS   REASON   AGE
pvc-19b44f3a-b4f8-4376-8089-60e9eada0d24   1Gi        RWO            Delete           Bound    default/pvc-csi   gp3                     52s

PV の EBS ボリュームは、AZ にバインドされていることに注意してください。後で Pod を停止して再起動する場合は、必ず YAML 仕様に nodeSelector または nodeAffinity を追加して、EBS ボリュームと同じ AZ に属するノードで Pod が実行されるようにしてください。

サイズ変更、スナップショット取得などのその他の例は、Amazon EBS CSI ドライバーの GitHub リポジトリで確認することができます。

クリーンアップ

Pod と PVC を削除します。これを行うと PV も削除されます。

$ kubectl delete pod app-gp3
pod "app-gp3" deleted
$ kubectl delete pvc pvc-csi
persistentvolumeclaim "pvc-csi" deleted
$ kubectl get pv
No resources found

続いて、Amazon EBS CSI アドオンを削除します。

$ eksctl delete addon --name aws-ebs-csi-driver --cluster ebs-demo-cluster

最後に、ebs-demo-cluster クラスターを削除します。

$ eksctl delete cluster ebs-demo-cluster

まとめ

このブログ記事では、Amazon EKS アドオンによって、Amazon EBS CSI ドライバーを使用して、Kubernetes での永続ストレージのニーズに合わせてボリュームをプロビジョニングおよび管理する方法を簡素化できることを説明しました。Amazon EBS CSI ドライバーの使用に関する詳細については、オープンソースプロジェクトと Amazon EKS ユーザーガイドを参照してください。

これまで説明してきたように、今すぐ Amazon EBS CSI ドライバーに移行し、ストレージの仕様に ebs.csi.aws.com プロビジョナーを指定することをお勧めします。Amazon EKS Kubernetes 1.23 では、CSI Migration がデフォルトで有効になり、指定方法にかかわらずクラスターには EBS CSI ドライバーをインストールする必要があります。新しい CSI ベースの StorageClass (SC) の定義とワークロードの明示的な移行の詳細については、ブログ記事 “Migrating Amazon EKS clusters from gp2 to gp3 EBS volumes” (日本語訳: “Amazon EKS クラスターの EBS ボリュームを gp2 から gp3 に移行する“) を参照してください。

Amazon EKS は、マネージドコントロールプレーン、マネージド型ノードグループによるデータプレーン管理のオプション、Amazon VPC Container Network Interface (CNI) 、CoreDNS、kube-proxy、そして今回の Amazon EBS CSI ドライバーといった重要なコンポーネントのクラスターアドオンを提供します。今後数ヶ月以内に、追加の運用ソフトウェアによって Amazon EKS クラスターの運用を簡単にするために、さらに多くのアドオンをリリースする予定です。