亚马逊AWS官方博客

Tag: kubernetes

在 Kubernetes 上优化 Spark 性能

要保证Spark工作负载的良好运行,我们必须在计算、网络与存储资源的I/O中做出权衡与优化。客户永远希望以最佳性能与最低成本的前提下运行此类工作负载。为了满足需求,Kubernetes提供多种调整选项,而本文涵盖了其中几项值得关注的优化技巧。希望大家能够由此得到启发,灵活运用最佳实践以改善Spark性能。如果大家还有更多意见或者建议,也请在eks-spark-benchmark GitHub repo上创建问题留下您的反馈。

Read More

立足 AWS 对 Kubernetes 进行成本优化

通过自动扩缩集群中节点及Pod,正确调整分配给Pod中容器的资源的大小,缩减业务时段以外的部署规模,并将大部分Pod转移至竞价实例,能够为Kubernetes集群节省超过80%的EC2实例成本。这四种重要的方式,均来自AWS良好架构构架中成本优化支柱原则所提到的最佳实践。事实也再次证明,这些建议确实能够帮助客户以更节省和更高效地方式在EKS中运行Kubernetes工作负载。

Read More

使用 Amazon SageMaker Operator 简化 Kubernetes 上的机器学习推理

创建一个可靠、高效的机器学习推理服务需要做很多的投入。拿一个基于 XGBoost 模型的服务来说,开发人员需要创建一个完善的应用程序,例如通过 Flask 来加载模型,然后运行终端节点。创建这个应用程序,开发人员需要考虑队列管理、无故障部署以及重新加载新训练的模型等等事宜。应用开发好后被打包成容器镜像,然后推送到镜像仓库。Kubernetes 从镜像仓库拉取该镜像在集群上进行部署,部署好后才可以对外提供服务。这些步骤需要您的数据科学家从事与提高模型准确性无关的任务,或引进devops工程师来做这些工作。这些过程加到开发计划中,必然会需要更多的时间进行服务迭代。

Read More

隆重推出 Amazon SageMaker Operators for Kubernetes

AWS 很高兴地宣布正式推出 Amazon SageMaker Operators for Kubernetes。这项新功使得开发人员和数据科学家能更轻松地使用 Kubernetes 在 Amazon SageMaker 中训练、调优和部署机器学习 (ML) 模型。您可以在 Kubernetes 集群上安装这些operartors,以使用 Kubernetes API 和Kubernetes命令行工具(例如 kubectl)在集群创建 原生的Amazon SageMaker 任务。有关更多信息,请参阅白皮书 – 使用 Amazon SageMaker 和 Kubernetes 进行机器学习。

Read More

在 AWS 中国区搭建基于 Kubernetes 的动态扩展的 TiDB 集群

TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。 基于Kubernetes环境搭建TiDB具有易部署易调整、弹性、高可用等特点,越来越多的客户采用这种方式进行研发测试环境的TiDB集群搭建。

Read More

将 AWS IAM Authenticator 部署到 kops

本博文是将 Heptio Authenticator 部署到 kops 的更新版本。Heptio Authenticator 已捐赠给 Kubernetes 特殊兴趣组 (SIG) AWS,以支持用户针对相关项目开展协作。现在,您可以使用 kops 原语在创建集群时自动部署 Authenticator,而无需进行手动配置。本博文描述了这一更新、更简单的流程。

Read More