亚马逊AWS官方博客

Category: News

适用于 EC2 Auto Scaling 和 EC2 机群的基于属性的实例类型选择

十多年前,我使用的第一项 AWS 服务是 Amazon Elastic Compute Cloud (Amazon EC2)。随着时间的推移,EC2 加入大量经过优化的实例类型,以适应不同的使用案例。这些实例类型具有不同的 CPU/GPU、内存、存储和网络容量组合,可让您灵活地为应用程序选择适当的资源组合。 云平台的主要优势之一是弹性。借助 EC2 机群,您可以跨多个实例类型和购买选项同步请求容量,跨多个可用区启动实例,以及同时使用按需型实例、预留型实例和竞价型实例。借助 EC2 Auto Scaling,您可以根据自己定义的条件自动添加或删除 EC2 实例,以及添加高级实例管理功能,例如热池、实例刷新和运行状况检查。借助这些工具,您需要手动更新配置才能从最新的 EC2 实例中受益。此外,当您使用 EC2 竞价型实例优化成本时,重点是选择多种实例类型以访问最大量的竞价型容量。到目前为止,无法通过简单的方法灵活地构建和维护实例类型配置。 我很高兴地与诸位分享,我们正在推出基于属性的实例类型选择 (ABS),这是一项新功能,可让您将实例要求表达为一组属性,例如 vCPU、内存和存储空间。ABS 会将您的要求转换为所有匹配的实例类型,从而简化了实例类型配置的创建和维护任务。该功能还可让您在新一代实例类型发布时自动使用这些实例类型,并通过 EC2 竞价型实例访问更广泛的容量。EC2 机群和 EC2 Auto Scaling 选择并启动符合指定属性的实例,无需您手动选择实例类型。 ABS 非常适合灵活的工作负载和框架,例如在运行容器或 Web 机群、处理大数据以及实施持续集成和部署 (CI/CD) 工具时。使用竞价型实例时,您现在可以使用简单的属性配置来涵盖所有实例类型和大小,而无需选择和输入数十种实例类型和大小,并且可在新实例出现时自动包含新的实例类型和大小。 基于属性的实例类型选择的工作原理 使用 ABS,您可以将实例类型列表替换为实例要求。您可以在启动模板内或在 EC2 机群或 EC2 Auto Scaling 请求中指定实例要求作为启动模板覆盖值。 ABS 分两个步骤工作: 首先,ABS 根据指定的属性、AWS 区域、可用区和价格确定实例类型的列表。 然后,EC2 […]

Read More

适用于 Amazon Redshift 的 AWS Data Exchange

早在 2019 年,我就介绍过有关 AWS Data Exchange 的信息,并展示了如何查找、订阅和使用数据产品。如今,您可以从十个类别的 3600 多种数据产品中进行选择: 在我的介绍文章中,我介绍过如何订阅数据产品,然后将数据集下载到 Amazon Simple Storage Service(Amazon S3)存储桶中。后来,我又为进一步处理提出了各种选项,包括 AWS Lambda 函数、AWS Glue 爬网程序或 Amazon Athena 查询。 目前,随着适用于 Amazon Redshift 的 AWS Data Exchange 的推出,您能够更轻松地查找、订阅和使用第三方数据。作为订阅者,您可以直接使用来自提供商的数据,而无需进行任何进一步处理,也无需执行提取转换加载(ETL)流程。由于您不必进行任何处理,因此数据始终是最新的,可以直接在 Amazon Redshift 查询中使用。适用于 Amazon Redshift 的 AWS Data Exchange 负责管理您的所有权利和付款,所有费用都记入您的 AWS 账户。 作为提供商,您现在有了一种新的方式来许可数据并将其提供给客户。 在我写这篇文章的时候,我很酷地意识到 Redshift 和 Data Exchange 在多少方面发挥了令人兴奋的核心角色。由于 Redshift 将存储和计算完全分离,并具有内置的数据共享功能,因此数据提供商负责分配存储并支付存储费用,而数据订阅者则对计算执行相同的操作。提供商无需按照订户群的规模按比例扩展集群,因而可以专注于获取和提供数据。 让我们从两个角度来看一下此功能:订阅数据产品和发布数据产品。 适用于 Amazon […]

Read More

Amazon Ads 功能揭秘

我的同事花了几个月的时间为 AWS re:Invent 会议创建、审查和改进内容。虽然我尽量做到不偏袒,但还是想和您谈谈我最近关注的一项产品! 会议 ADM301(Amazon Ads 功能揭秘)中,我的同事介绍了 Amazon Ads,概述构建大规模广告系统所面临的挑战,然后展示他们如何使用多种 AWS 服务解决这些挑战。我能够查看他们演示文稿接近定稿的版本,这篇文章就基于我在查看后所了解的信息。 Amazon Ads 使用包含四个要素的全渠道策略:提高知名度、增加关注度、吸引购物者和推动购买。通过使用我们在 Amazon 使用的众所周知的“从客户入手,再反向推动工作”模型,他们确定了三种不同的客户类型,并致力于设计一个可以满足他们需求的系统。这些客户类型包括: 投放活动的广告客户 使用 Amazon Ads API 构建工具和服务的第三方合作伙伴 购买旅程中的购物者 广告客户和第三方开发人员想要一种跨越 UI 和程序化界面的体验,包括活动管理、预算、广告服务、广告事件数据湖和机器学习,以改善广告选择和相关性。 扩展是一个非常有趣的问题,在性能、存储、可用性、成本和有效性方面存在挑战。除了在 120 毫秒的延迟预算内每秒处理数亿个广告请求(每天数万亿个广告)之外,广告服务器还必须能够: 跟踪数百亿个活动对象,总存储量以数百 PB 为单位 提供 > 99.9999% 的可用性 自动处理 Prime 会员日等流量高峰事件 以经济方式投放广告并近乎实时地执行广告客户预算 使用来自数百个机器学习模型的预测来提供高度相关的广告 他们需要一个能够每秒处理 5 亿个请求的缓存系统,而这只是处理如此大规模工作负载所需要素的一个示例! 通常情况下,系统在达到当前形式之前经历了多次迭代,并且仍在积极开发之中。该演示文稿回顾了团队所经历的历程,以及每次迭代的架构快照和性能指标。 演讲最后讨论了他们能够大规模应用机器学习的一些方法。例如,为了针对每个请求选择合适的广告,Amazon Ads 使用深度学习模型来预测向购物者展示的相关广告,预测购物者是否会点击或购买,以及对广告进行分配和定价。为了做到这一点,他们需要能够在 20 毫秒的时间范围内,以每秒超过 10 万笔交易的速度针对每个请求对数千个广告进行评分,所有这些广告都跨越数百个模型,每个模型都需要不同的硬件和软件优化。 为了处理这种工作负载,他们在 Amazon […]

Read More

认识新的 AWS 勇士

当我们回顾 2021 年时,我们仍然对 AWS 社区在交叉旅程中相互支持以扩展技术技能的方式印象深刻。这些社区以有影响力的领导者为中心,他们超越自我,打造教育内容,并通过多种渠道促进同行之间的知识共享。这些充满激情的构建者被称为 AWS 勇士,对于他们代表其社区提供支持的精彩活动,我们深表感激。我们非常激动地向大家介绍最新的 AWS 勇士团队: Juan Pan – 中国北京 数据勇士 Juan Pan(Trista)是 SphereEx 的首席技术官兼联合创始人。她是 Apache ShardingSphere 项目管理委员会成员,也是其他各种 Apache 孵化项目的导师。她是 2020 年和 2021 年“中国 OSCAR 开源先锋”奖的获得者,经常在数据库和数据库架构领域的相关会议上发表演讲,包括 AWS Summit(上海峰会)和 AWS Dev Days。Juan 喜欢鼓励更多女性从事技术领域的职业,经常在 AWS She Builds 峰会等活动中分享她从开源贡献者到首席技术官的赋能历程。 Masanori Yamaguchi – 日本千叶 社区勇士 Masanori Yamaguchi 是 KDDI Corporation 的解决方案架构师。Yamaguchi 于 2014 年加入日本 AWS 用户组(JAWS-UG),此后管理了 […]

Read More

借助 AWS Panorama 实现 Edge(边缘)的计算机视觉

如今,所有人都可以使用 AWS Panorama 设备。AWS Panorama 设备是一种计算机视觉 (CV) 设备,旨在部署在您的网络上,以分析由您的本地部署的摄像机提供的图像。 每周,我都会阅读有关计算机视觉的新的创新使用案例。一些客户使用 CV 来验证托盘卡车是否停放在指定区域,以确保仓库中工人的安全;一些客户分析客户在零售店中的步行流量,以优化空间和植入性营销;还有一些客户使用 CV 来识别猫和老鼠,这只是其中的几个例子。 AWS 客户一致认为,由于云对存储和计算资源的几乎无限访问,因此它是训练计算机视觉模型最方便的场所。在云中,数据科学家可以使用强大的工具,例如 Amazon SageMaker 以及各种计算资源和框架。 然而,当需要分析来自一个或多个视频源的图像时,你们中的许多人告诉我们,云不是您想要运行此类工作负载的地方。造成这种情况的原因有很多:有时捕获图像的设施没有足够的带宽将视频源发送到云端,有些使用案例需要非常低的延迟,或者有些只是想将图像保留在本地而不是将其发送到网络外部进行分析。 在 Re: Invent 2020 上,我们宣布了 AWS Panorama 设备和软件开发工具包来满足这些要求。 AWS Panorama 是一款机器学习设备和软件开发工具包 (SDK),可允许您将计算机视觉引入本地摄像机,以便在本地进行高精度和低延迟的预测。借助 AWS Panorama 设备,您可以自动执行传统上需要人工检查的任务,以提高对潜在问题的可见性。例如,即使在互联网连接有限或没有互联网连接的环境中,您也可以使用 AWS Panorama Appliance 评估制造质量、识别工作流程中的瓶颈并监控工作场所的安全。该软件开发套件允许摄像机制造商直接在其 IP 摄像机中引入同等功能。 与此博客上的往常一样,我想向您介绍为 AWS Panorama 设备开发和部署计算机视觉应用程序的过程。本博客的演示应用程序使用机器学习模型识别来自网络摄像机的视频帧中的对象。应用程序将模型负载到 AWS Panorama 设备上,从摄像机获取图像,然后通过模型运行这些图像。然后,应用程序将结果叠加在原始视频之上,然后将其输出到连接的显示器。该应用程序使用 AWS Panorama 提供的库与输入和输出 video streams 和模型进行交互,无需进行低级编程。 让我们首先定义一些概念。我从 AWS […]

Read More

新的策略建议服务帮助简化 AWS 云迁移和现代化

确定成功将应用程序迁移至云和现代化进程的可行策略非常耗时。根据要分析的应用程序组合的规模和复杂性,可能还需要做大量工作。迄今为止,分析在很大程度上为手动流程,而且本质上是非标准的,因此很难大规模应用于大型应用程序组合。有很多种因素可能会加大工作量和增加复杂性,包括做出决策的时间有限、缺乏领域知识和云专业知识以及对可用现代化工具和服务的认识不足。 我很高兴地宣布推出 AWS Migration Hub 策略建议,以帮助自动分析应用程序组合。策略建议可分析正在运行的应用程序以确定运行时环境和进程依赖关系,选择性地分析源代码和数据库等。根据您优先考虑的一组业务目标,评估通过分析收集的数据,例如降低许可证成本、加快迁移速度、减少因使用托管式服务而产生的运营开销或使用云原生技术实现基础设施现代化。然后,这将会为您的应用程序迁移和现代化的可行途径提供建议。 任何给定的应用程序都可能会有多种迁移和现代化途径,包括更换主机、更换平台或重构。您将获得有关所有可行途径的建议,并且可以根据自己的需要选择忽略这些建议。无论是否有相关经验,每个人都可以使用策略建议来减少评估应用程序组合所需的工作量、时间和降低复杂性,无论它们是在本地等待迁移还是已经迁移到 AWS 云等待进一步现代化处理。 以典型的 N 层应用程序为例(使用 Microsoft SQL Server 数据库的 ASP.NET Web 应用程序),策略建议可帮助您分析各种组件,例如托管 Web 前端的服务器、后端服务器和数据库本身,来确定可用于迁移到 AWS 云并进行现代化的可行途径和工具。例如,如果您的目标是降低应用程序的许可成本,策略建议可能会建议您使用 Porting Assistant for .NET 将应用程序重构为 Linux 上的 .NET。 注册策略建议应用程序服务器 向 AWS Application Discovery Service 注册托管应用程序组合的服务器是策略建议的先决条件。要注册的服务器可以作为物理服务器或虚拟机(VM)在本地运行,也可以是已通过“直接迁移”流程迁移的应用程序的 Amazon Elastic Compute Cloud(Amazon EC2)实例。您可以在 AWS Application Discovery Service 用户指南中详细了解有关注册应用程序服务器的不同选项。 自动收集数据以用于分析 通过在 AWS Application Discovery Service 中注册的服务器,您可以使用由策略建议提供的无代理数据收集器,设置应用程序组合的流程级分析的自动收集。无代理收集器可以作为适用于 […]

Read More

新功能 — 由 Gaudi 加速器提供支持的用于训练深度学习模型的 EC2 实例

如今,用于深度学习的应用程序比以往任何时候都多。自然语言处理、推荐系统、图像识别、视频识别等都可以从高质量、训练有素的模型中受益。 构建这样一个模型的过程是迭代的:构建一个初始模型,在真实数据的基础上对它进行训练,做一些测试推断,优化模型,然后重复。深度学习模型包含许多层(并因此得名),每个层都会转换前一层的输出。训练过程包含大量数学运算和处理器操作,并且对用于训练的系统的几乎每个部分(包括 GPU 或其他训练加速器、网络以及本地或网络存储)都提出了要求。这种精密性和复杂性增加了训练时间并提高了成本。 新的 DL1 实例 我想向大家介绍一下我们全新的 DL1 实例。dl1.24xlarge 实例由 Habana Labs 的 Gaudi 加速器提供支持,具有以下规格: Gaudi 加速器 – 每个实例均配备八个 Gaudi 加速器,总共 256 GB 的高带宽 (HBM2) 加速器内存以及加速器之间的高速、RDMA 驱动的通信。 系统内存 – 768 GB 的系统内存,足以在内存中容纳非常大的训练数据集(我们的客户经常有此要求)。 本地存储 – 4 TB 的本地 NVMe 存储,配置为四个 1 TB 卷。 处理器 – 配备 96 个 vCPU 的 Intel Cascade Lake 处理器。 网络 […]

Read More

宣布推出面向数据科学家的完全托管式 RStudio on Amazon SageMaker

两年前,我们推出了 Amazon SageMaker Studio:业界首个全集成的机器学习(ML)开发环境(IDE)。Amazon SageMaker Studio 提供了一个基于 Web 的单一可视化界面,您可以在其中执行所有 ML 开发步骤,将数据科学团队的工作效率提高 10 倍 许多数据科学家都喜欢 R 项目,这是一个拥有 18,000 多个软件包的开源生态系统,不仅是一种编程语言,而且还是一个可用于数据科学的交互式环境。RStudio 是机器学习(ML)和数据科学项目的 R 开发人员中最受欢迎的 IDE 之一。RStudio 为 R 和企业级专业软件提供了开源工具,供数据科学团队在企业中开发和分享他们的工作。但是,自行构建、保护、扩缩和维护 RStudio 既乏味又繁琐。 通过与 RStudio PBC 合作,我们很高兴地宣布 RStudio on Amazon SageMaker 全面开放,这是业内首个完全托管式的云端 RStudio Workbench IDE。现在,只需几个简单的步骤,即可轻松将您当前的 RStudio 许可证从您自行管理的 RStudio 环境迁移到 Amazon SageMaker。如果您需要详细了解这一激动人心的合作,请阅读 RStudio PBC 的这篇博客。 借助 RStudio on Amazon SageMaker,管理员可以轻松迁移其 RStudio […]

Read More

新增 — 由最新一代英特尔至强可扩展处理器提供支持的 Amazon EC2 C6i 实例

我们最近推出了由全内核涡轮频率为 3.5 GHz 的最新一代英特尔® 至强® 可扩展处理器提供支持的 Amazon EC2 M6i 实例,与 M5 实例相比,该实例的性价比提高了 15%。 我们很高兴地宣布推出全新计算优化型 Amazon EC2 C6i 实例,与同类 C5 实例相比,该实例在多种工作负载中的性价比提高了 15%。对于批处理、机器学习、高端游戏、高性能计算 (HPC) 工作负载、广告投放和视频编码之类的运行计算密集型工作负载来说,这些实例是理想之选。 与使用英特尔处理器的 C5 实例相比,这款新的实例类型可提供以下优势: 计算性价比提高了 15%。 内存带宽高达 9%。 Amazon Elastic Block Store (EBS) 最高 40 Gbps,联网最高速度可达 50 Gbps。 始终开启的内存加密。 与 M6i 一样,C6i 实例提供 9 种尺寸: 名称 vCPU 数量 内存 (GiB) 网络带宽 (Gbps) EBS […]

Read More

使用 AWS Resilience Hub 衡量和提升应用程序弹性

很高兴向大家宣布,我们会立即推出 AWS Resilience Hub。这是一项新的 AWS 服务,旨在帮助您定义、跟踪和管理应用程序的弹性。 您正在构建和管理弹性应用程序来为客户提供服务。但构建分布式系统很困难,将它们维持在运行状态则更加困难。问题不在于系统是否会出故障,而是何时会出故障。您需要为此做好准备。 弹性目标通常用两个指标来衡量:恢复时间目标 (RTO),即从故障中恢复所需的时间,以及恢复点目标 (RPO),即事件发生后数据可能丢失的最长时段。根据您的业务和应用程序,这些指标能够以秒、分、小时或天为单位进行衡量。 借助 titletitleAWS Resilience Hub,您可以为每个应用程序定义 RTO 和 RPO 目标。然后,该服务会评估应用程序的配置,确保其符合您的要求。该服务可提供切实可行的建议和弹性评分,帮助您跟踪应用程序在一段时间内的弹性进度。Resilience Hub 提供能通过 AWS 管理控制台访问的可自定义单一控制面板体验。用户可在其中运行评估、执行预构建的测试以及配置告警,以便发现问题并提醒操作员。 AWS Resilience Hub 可发现由 AWS CloudFormation 部署的应用程序(包括 SAM 和 CDK 应用程序),包括跨区域和跨账户堆栈。Resilience Hub 还可从 Resource Groups 和标签中发现应用程序,或者从 AWS Service Catalog AppRegistry 已定义的应用程序中进行选择。 此处的术语“应用程序”不仅指应用程序软件或代码,还指托管应用程序的整个基础设施堆栈:网络、虚拟机、数据库等。 弹性评估和建议 AWS Resilience Hub 的弹性评估功能利用 AWS Well-Architected Framework 中的最佳实践来分析应用程序的组件,发现由基础设施设置不完整、配置错误导致的潜在弹性弱点,或发现进一步改进配置的机会。Resilience Hub 提供切实可行的建议来提升应用程序的弹性。 […]

Read More