Category: Containers

本文为手把手教你玩转kubeflow on EKS 系列文章的第二篇，本文将在手把手教你玩转Kubeflow on EKS(一)基础上，在安装在Amazon EKS 上的Kubeflow基于在MNIST数据集上训练一个TensorFlow模型，实现一个对MNIST数据集的手写字符的识别程序的端到端的过程

本文为手把手教你玩转Kubeflow On EKS 系列文章的第一篇，主要介绍了Amazon EKS中国区安装和部署Kubeflow。

这篇文章介绍了如何通过 AWS Load Balancer Controller 中的新功能 TargetGroupBinding，让客户更加灵活的实现在 Amazon EKS 集群之外自己创建和管理 NLB/ALB 和 TargetGroup，或者在 NLB/ALB 上自己创建和管理其他的侦听器和规则。

本博客是基于NodeLocal DNSCache解决EKS DNS查询高时延和深层降低跨AZ流量费，此方案在AWS大型企业客户得到实践，并证明有显著的效果。

利用Amazon ECR的多体系架构容器镜像的新特性来部署混合架构的Amazon EKS集群，同时使用X86和ARM实例的集群可以更多地节省成本和获得更多的spot资源。

Kubernetes 项目发展迅速，提供了新功能、设计更新和错误修复。社区大约每三个月发布新的 Kubernetes 次要版本，为了支持 Kubernetes 版本 Kubernetes 社区，Amazon EKS 致力于在任何给定时间支持至少四个生产就绪的 Kubernetes 版本。本文在EKS文档的基础上，整理了用户在生产环境的升级操作实践，为其他用户的集群升级操作提供参考。

本文将介绍在AWS Load Balancer Controller（V2）中发布的其他几项重要功能：通过在上篇中创建好的EKS集群中实验通过使用Network Load Balancer （NLB） + IP模式实现南北向HTTP（S）流量的导入，以及演示通过引入Target Group Binding CRD来实现将EKS中的服务灵活地绑定到已有Target Group上的新功能。

本文介绍如何在EKS上通过ALB Ingress Controller与AWS Load Balancer Controller发布多个服务以及单个服务。

AWS容器服务团队在2020年10月发布了Fluent Bit supports Amazon S3 as a destination to route container logs功能，集成在fluent/fluent-bit:1.6.0和amazon/aws-for-fluent-bit:2.8.0镜像中。EKS用户可以通过Fluent Bit将应用日志保存在Amazon S3中。

要保证Spark工作负载的良好运行，我们必须在计算、网络与存储资源的I/O中做出权衡与优化。客户永远希望以最佳性能与最低成本的前提下运行此类工作负载。为了满足需求，Kubernetes提供多种调整选项，而本文涵盖了其中几项值得关注的优化技巧。希望大家能够由此得到启发，灵活运用最佳实践以改善Spark性能。如果大家还有更多意见或者建议，也请在eks-spark-benchmark GitHub repo上创建问题留下您的反馈。