OpenSource I 探索EKS的网络基础:amazon-vpc-cni-k8s + Calico

Amazon 在 AWS re:invent 上宣布推出 Elastic Container Service for Kubernetes (EKS) 并详细介绍了容器网络将如何在此令人振奋的新平台上工作 — 以及得到保护。特别是 EKS 利用了新推出的 AWS Container Network Interface (amazon-vpc-cni-k8s) 插件以及 Project Calico 来执行网络策略。在本博文中，我们将详细介绍这种集成的工作原理，还将说明目前如何在 EC2 中运行的 Kubernetes 群集中试用。它好比您在等待访问 EKS 本身时的一个“先睹为快”，或者您在自己基于 AWS 的 Kubernetes 中部署时可能考虑的因素 — 但请注意 amazon-vpc-cni-k8 仍然是官方的 alpha 版发布，不能用于生产工作负载。

VPC 与容器

Virtual Private Cloud (VPC) 网络的概念已经被 AWS 用户广为接受，但最初它是基于实例将拥有单个 IP 地址的假设建立的。因此，AWS 中部署的大多数容器环境将使用叠加 — 特别使用 Calico 来利用 EC2 的第 2 层功能，以避免单个可用区 (AZ) 内的叠加。但即使是 Calico 也使用叠加来遍历可用区。Calico 的联网方法虽然在 AWS 中非常流行，但它不能为容器赋予“真正的 IP”，即让相关 VPC 看起来与主机实例 IP 一样的 IP 地址。更好的解决方案将是从相关 VPC 为它分配一个 IP 地址，让相关 Amazon 联网层负责路由。这就是 AWS 团队通过 amazon-vpc-cni-k8s 插件实现的功能。它利用 EC2 的能力为主机实例预置多重弹性网络接口 (ENI)，每个接口都有多个二级 IP 地址，从而获得来自 VPC 池的多个 IP 地址。然后，它将这些 IP 地址分配给主机上的 Pod，将 ENI 连接到 Pod 上创建的虚拟以太网端口 (veth)，然后将剩下的工作交给 Linux 内核。

有关 veth 的策略

现在您也许会自问：如果 amazon-vpc.cni-k8s 插件负责分配 IP 地址和容器联网，Calico 如何才能启用网络策略？它其实非常简单：因为 Calico 采用模块化设计，它的联网、IPAM 和策略功能都可以通过相关设置独立部署。对于 EKS，amazon-vpc-cni-k8s 插件作为 Kubernetes 的 CNI 插件配置，但我们还会在每个节点上将“calico-node”代理作为 Kubernetes daemonset 部署。将 amazon-vpc.cni-k8s 插件的 veth 命名规则与 Calico 统一，每个主机上的 calico-node 都将知道哪个 veth 属于哪个容器，因此可以 (使用 iptable/ipset) 照常创建每个容器在 Linux 内核中的接口的策略规则。由于 amazon-vpc-cni-k8s 插件以正确的方式接入 veth，我们知道所有来自 Pod 的流量都将执行这些规则。实际上您需要知道的是：作为 CNI 插件，amazon-vpc-cni-k8s 会执行简单声明以将 Calico 部署为 daemonset，然后就万事大吉。

将理论应用到您自己的 EC2 控制台

读到这里，您也许不禁想要尝试一下。当然，最终这将成为适用于所有 EKS 用户的标准。虽然它目前还属于功能有限的预览版，但您可以利用在 EC2 上的正常 Kubernetes 部署来试用：github.com/aws-samples/aws-kube-cni

适用于 AWS Calico 联网何去何从？

amazon-vpc-cni-k8s 插件的优点非常明显：您在 VPC 中获得真实的 IP 地址，性能与 EC2 主机联网相同，可用区与 VPC 之间的路由无需额外的叠加。那么您是否会希望在 AWS 中使用 Calico 的联网功能？可能有一些原因会让您希望继续使用 Calico 而不是 amazon-vpc-cni-k8s 插件：

• 使用 amazon-vpc-cni-k8s 插件，单个主机实例 (Kubernetes 节点) 的 Pod 总数以 ENI 的数量乘以每个 ENI 的二级 IP 地址数量为极限 –根据实例的大小不同会有差异 (参见此表)。对于较小的实例，这可能极低 — 例如，对于 c1.medium 实例，您只能启动 10 个 Pod。而 Calico 对每个节点的 Pod 数量是没有限制的。
• amazon-vpc-cni-k8s 插件会在日初为给定的节点分配最大数量的 IP 地址，这可能会降低地址利用的效率。而 Calico 允许整个 IP 地址池在所有节点之间使用。

我们的建议是：如果部署没有应阻断，您应当使用 amazon-vpc-cni-k8s 插件，这是适用于 AWS 的最简单、最佳性能的原生联网解决方案 — 当然，这也是 EKS 的默认配置。不论您选择哪种联网方法，您都可以放心享受 Calico 提供的行业标准容器网络安全性。

本文的另一位作者是 Tigera 的 Andy Randall！有关他的信息请关注 @andrew_randall