亚马逊AWS官方博客

Tag: kubernetes

在 Kubernetes 上优化 Spark 性能

要保证Spark工作负载的良好运行,我们必须在计算、网络与存储资源的I/O中做出权衡与优化。客户永远希望以最佳性能与最低成本的前提下运行此类工作负载。为了满足需求,Kubernetes提供多种调整选项,而本文涵盖了其中几项值得关注的优化技巧。希望大家能够由此得到启发,灵活运用最佳实践以改善Spark性能。如果大家还有更多意见或者建议,也请在eks-spark-benchmark GitHub repo上创建问题留下您的反馈。

Read More

立足 AWS 对 Kubernetes 进行成本优化

通过自动扩缩集群中节点及Pod,正确调整分配给Pod中容器的资源的大小,缩减业务时段以外的部署规模,并将大部分Pod转移至竞价实例,能够为Kubernetes集群节省超过80%的EC2实例成本。这四种重要的方式,均来自AWS良好架构构架中成本优化支柱原则所提到的最佳实践。事实也再次证明,这些建议确实能够帮助客户以更节省和更高效地方式在EKS中运行Kubernetes工作负载。

Read More

基于 Amazon EKS 在 Pachyderm 框架上 快速搭建 GATK 分析流程

Amazon EKS 简化了 Kubernetes 集群的构建与维护,而 Pachyderm 进一步简化了分析类工作流的运行与管理,两者结合,无疑将使得在 Kubernetes 平台上部署企业级分析平台更为轻松。本文通过一个 GATK 基因分析的示例来演示搭建和使用的过程,为您在 Amazon EKS 上采用该解决方案提供参考。

Read More

使用 Amazon SageMaker Operator 简化 Kubernetes 上的机器学习推理

创建一个可靠、高效的机器学习推理服务需要做很多的投入。拿一个基于 XGBoost 模型的服务来说,开发人员需要创建一个完善的应用程序,例如通过 Flask 来加载模型,然后运行终端节点。创建这个应用程序,开发人员需要考虑队列管理、无故障部署以及重新加载新训练的模型等等事宜。应用开发好后被打包成容器镜像,然后推送到镜像仓库。Kubernetes 从镜像仓库拉取该镜像在集群上进行部署,部署好后才可以对外提供服务。这些步骤需要您的数据科学家从事与提高模型准确性无关的任务,或引进devops工程师来做这些工作。这些过程加到开发计划中,必然会需要更多的时间进行服务迭代。

Read More

隆重推出 Amazon SageMaker Operators for Kubernetes

AWS 很高兴地宣布正式推出 Amazon SageMaker Operators for Kubernetes。这项新功使得开发人员和数据科学家能更轻松地使用 Kubernetes 在 Amazon SageMaker 中训练、调优和部署机器学习 (ML) 模型。您可以在 Kubernetes 集群上安装这些operartors,以使用 Kubernetes API 和Kubernetes命令行工具(例如 kubectl)在集群创建 原生的Amazon SageMaker 任务。有关更多信息,请参阅白皮书 – 使用 Amazon SageMaker 和 Kubernetes 进行机器学习。

Read More

在 AWS 中国区搭建基于 Kubernetes 的动态扩展的 TiDB 集群

TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。 基于Kubernetes环境搭建TiDB具有易部署易调整、弹性、高可用等特点,越来越多的客户采用这种方式进行研发测试环境的TiDB集群搭建。

Read More

将 AWS IAM Authenticator 部署到 kops

本博文是将 Heptio Authenticator 部署到 kops 的更新版本。Heptio Authenticator 已捐赠给 Kubernetes 特殊兴趣组 (SIG) AWS,以支持用户针对相关项目开展协作。现在,您可以使用 kops 原语在创建集群时自动部署 Authenticator,而无需进行手动配置。本博文描述了这一更新、更简单的流程。

Read More