亚马逊AWS官方博客

本文的焦点是讨论如何使用 Amazon Web Services (AWS) 上的开源框架和平台进行此类分布式训练。

在本文中，我将向您展示如何使用 CloudEndure 自动化 AWS 迁移，并为您提供自动化脚本。借助此脚本和 YAML 配置文件，您可以代码形式管理 AWS 迁移，在几分钟内重新启动机器，以及避免切换过程中的诸多潜在错误。以代码形式管理迁移还将简化审计和报告流程。

在本文中，我们通过一步步的引导，搭建起了自定义网络环境的Kubernetes集群，实现了同一K8S集群在多VPC内的部署，让Pod间通信可以跨子网，跨VPC，主机与Pod分属不同子网和安全组的灵活配置。

AWS 客户在 Amazon EC2 上构建始终要求严格的应用。为了向客户提供最佳支持，我们聆听他们的要求，然后投入工作，并获得新功能。例如，2018 年我们升级了 Amazon EC2 C5 实例的联网功能，使联网速度达到 100 Gbp，显著地提高了包处理性能。这些成为可能得益于我们的新虚拟化技术（又称为 AWS Nitro 系统）以及 Elastic Fabric Adapter（通过它可在 100 Gbps 联网平台上实现低延迟）。为了将这些优势扩展到最广泛的工作负载中，我们很高兴地宣布，今天这些相同的联网功能已可用于 Amazon EC2 M5 和 R5 实例。

今天，我们很高兴 A1 系列扩展了裸机选项。

今天我们为 AWS Firewall Manager 赋予更强大的功能，让您可以定义、管理和审计整个组织的 VPC 安全组使用策略。

Apache Hadoop和Spark给大数据计算带来了重大革新，而AWS EMR为按需运行集群以处理计算工作负载提供了很好的选择，它管理各种Hadoop服务的部署，并提供挂钩对这些服务进行自定义开发。Alluxio是一个开源的基于内存的分布式存储系统，现在成为开源社区中成长最快的大数据开源项目之一。Alluxio可以运行在EMR上，在EMRFS之上当前提供功能特性。 除了缓存带来的性能优势之外，Alluxio还使用户能够针对on-premise存储或甚至不同的云提供商存储运行计算工作负载。在本文中，我们将通过AWS CLI快速通过Alluxio引导EMR，并运行PySpark进行文档内容筛选。

本博文主要介绍如何利用rsync工具缩减EBS卷容量。

本文将指导 AWS 用户如何在 AWS 环境构建 BeeGFS 并行文件系统，并通过 SAMBA ( SMB ) 与 NFS 共享给其它主机使用

TiDB 是 PingCAP 公司设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案。 基于Kubernetes环境搭建TiDB具有易部署易调整、弹性、高可用等特点，越来越多的客户采用这种方式进行研发测试环境的TiDB集群搭建。