亚马逊AWS官方博客

本月早些时候，我的同事 Colm MacCárthaigh 向大家介绍了 AWS PrivateLink，并展示了如何使用它通过 VPC 终端节点访问 Amazon Kinesis Streams、AWS Service Catalog、EC2 Systems Manager、EC2 API 以及 ELB API 等 AWS 服务。终端节点 (由一个或多个弹性网络接口表示，这种接口简称 ENI) 驻留在您的 VPC 内，其 IP 地址来自 VPC 的子网，无需 Internet 或 NAT 网关。这个模型非常清晰，易于理解，而且还具有安全和可扩展的特点！ 用于私有连接的终端节点 目前，我们正在构建 PrivateLink 初始发布模型，并对其进行扩展，让您能够设置并使用 VPC 终端节点来访问您自己的以及其他方提供的服务。在我们发布适用于 AWS 服务的 PrivateLink 之前，就收到了许多要求提供此功能的请求，所以我预计它将会广受欢迎。例如，一名客户告诉我们，他们计划创建数百个 VPC，每一个都用于托管并提供单一微服务 (请阅读 AWS 上的微服务了解更多信息)。 公司现在可以创建服务并销售给其他 AWS 客户，以便通过私有连接进行访问。还可以创建接受 TCP 流量的服务，将其托管在网络负载均衡器后方，然后直接提供或通过 AWS […]

在当今时代，我们几乎都会利用移动设备和应用来让我们的生活更加轻松惬意。随着我们对手机的依赖程度不断增加，移动应用市场已呈爆炸式增长，数百万个应用竞相吸引我们的注意力。对于移动开发人员，这意味着我们必须确保我们构建的应用能够提供应用用户所需的质量和实时体验。因此，开发包括多用户数据同步、离线网络支持和数据发现等功能的移动应用已变得至关重要。我最近通过阅读 InfoQ、DZone 等出版物和移动开发博客 AlleviateTech 上的几篇文章，了解了移动开发趋势，我认为提供上述功能的关键要素之一是云驱动型移动应用。这似乎完全正确，因为它涉及到移动数据同步和数据存储。 既然如此，我认为现在是我宣布新服务 AWS AppSync 的最佳时机，该服务用于构建由云中的数据密集型服务驱动的创新移动应用。AWS AppSync 是一项完全托管的无服务器式 GraphQL 服务，可提供实时数据查询、同步、通信和离线编程功能。对于那些不熟悉开放式 GraphQL 规范的人，让我简要分享一些相关信息。GraphQL 是一种响应式数据查询语言和服务器端运行时，用于查询可检索实时数据和执行动态查询的数据源。您可以使用 GraphQL 构建响应式 API，以便在构建客户端应用程序时使用。GraphQL 在应用程序层工作，并提供用于定义架构的类型系统。这些架构可用作规范，以定义应如何对数据执行操作，以及在检索时应如何设置数据结构。此外，GraphQL 还有一个声明性编码模型，它受许多客户端库和框架 (包括 React、React Native、iOS 和 Android) 的支持。 现在，GraphQL 开放标准查询语言的强大功能正在通过 AWS AppSync向您提供丰富的托管服务。借助 AppSync ，开发人员可以轻松简化跨多个数据源的数据检索和处理操作，从而使其能够快速建立原型，构建和创建强大的协作式多用户应用程序。AppSync 在设备处于连接状态时保持数据更新，但使开发人员能够通过在本地缓存数据并在连接可用时同步本地数据，来构建脱机工作的解决方案。 我们来讨论 AWS AppSync 的一些关键概念以及该服务的工作原理。 AppSync 概念 AWS AppSync 客户端：定义操作、封装请求的授权详细信息以及管理离线逻辑的服务客户端。 数据源：数据存储系统或用于存储数据的触发器 身份：随 GraphQL 代理的请求一起提供的一组包含权限和标识上下文的凭证 GraphQL 代理：用于处理和映射请求、处理冲突解决方法以及管理精细访问控制的 GraphQL 引擎组件 操作：AppSync 中支持的三种 GraphQL 操作之一 […]

在我们用来支持现代生活的所有数据结构和算法中，图形不断改变着世界。各企业不断产生和获取关系复杂的丰富数据。然而，开发人员仍然不得不在传统数据库中对这些复杂关系进行建模。这导致查询极为复杂，并且成本高昂，随着关系的增加，性能也会不断下降。我们希望能简化这些越来越复杂的新式数据集、关系和模式的处理。 欢迎 Amazon Neptune 今天，我们要发布 Amazon Neptune 有限预览版，这是一个快速可靠的图形数据库服务，可供客户轻松洞悉高度连接的数据集之间的关系。Amazon Neptune 的核心是专门构建的高性能图形数据库引擎，它进行了优化，可存储数十亿关系并将图形查询延迟减至毫秒级。Amazon Neptune 作为完全托管的数据库提供，让客户能够腾出手来集中精力开发其应用程序，而不用忙于执行枯燥的重复性操作，如维护、修补、备份和恢复。该服务支持快速故障转移、时间点恢复以及多可用区部署，从而实现高可用性。它支持多达 15 个只读副本，您可以将查询吞吐量扩展到每秒数十万个查询。Amazon Neptune 在 Amazon Virtual Private Cloud 内运行，因此您可以加密静态数据，可完全控制传输中数据和静态数据的完整性。 这项服务有很多有趣的功能，不过可能很多人还不熟悉图形数据库，因此我们首先介绍一下概念。 图形数据库 图形数据库用于存储顶点 (节点) 和边缘 (关系或连接)，这两种元素都可以键值对的形式存储其属性。对于连接的上下文关系驱动数据，图形数据库很有用。一些典型的应用包括社交媒体网络、推荐引擎、驾车路线、物流、诊断、欺诈检测以及基因测序。 Amazon Neptune 支持两种开放式图形描述和查询标准： 使用 Gremlin 查询的 Apache TinkerPop3 样式属性图。Gremlin 是一种图形遍历语言，在这种语言中，查询是由沿着边缘到节点的离散步骤组成的遍历。通过用于 TinkerPop 的现有工具和客户端，可以快速开始使用 Neptune。 使用 SPARQL 查询的资源描述框架 (RDF)。SPARQL 是一种声明式语言，它基于 W3C 的 Semantic Web 标准。它遵从“主->谓->宾”模型。具体地说，Neptune 支持以下标准：RDF 1.1、SPARQL Query 1.1、SPARQL Update […]

消息收发将分布式应用程序的各个部分组合在一起，同时还提高了弹性，支持实现高度可扩展的架构。例如，今年早些时候，Amazon Simple Queue Service (SQS) 和 Amazon Simple Notification Service (SNS) 提供了针对 Prime Day 客户订单处理的支持，共处理 400 亿条消息，速度为每秒 1000 万条，没有出现客户可觉察到的问题。 SQS 和 SNS 已广泛用于云原生应用程序。不过，我们的许多大客户都已经在使用开源或商业授权的消息代理。他们的应用程序是关键任务型的，因而提供后台支持的消息收发同样如此。我们的客户将消息收发基础设施的设置和持续维护描述为一个“非常痛苦的”过程，并声称他们每周至少花费 10 个人工小时来处理该事宜。 新的 Amazon MQ 今天，我们发布了 Amazon MQ，这是一项用于 Apache ActiveMQ 的托管消息代理服务，它让您只需三次单击，即可在数分钟内开始使用！您可能知道，ActiveMQ 是一个流行的开源消息代理，速度非常快且功能丰富。它提供了队列和主题、持久和非持久订阅、基于推送和基于轮询的消息收发以及筛选功能。 作为一项托管服务，Amazon MQ 负责 ActiveMQ 的管理和维护。这包括代理预配置、修补、高可用性的故障检测和恢复以及消息持久性等各项职责。借助 Amazon MQ，您可以直接访问 ActiveMQ 控制台以及用于消息收发的行业标准 API 和协议，包括 JMS、NMS、AMQP、STOMP、MQTT 和 WebSocket。这样您就可以从任何使用这些标准的消息代理迁移到 Amazon MQ – 随同支持的应用程序一起，而无需重写代码。 您可以创建一个单实例 Amazon […]

您还记得早期的网络视频是什么样子吗？就在不到二十年前，独立播放器、邮票大小的视频、缓慢卡顿的连接、过载的服务器和不断出现的正在缓冲消息还是常态。 如今，技术进步和一系列标准的问世，使得这种情况有了很大改观。视频消费者现在拥有掌控权。他们使用各种形状、尺寸和不同年份制造的设备欣赏通过无线电播放的、流式传输的或在网络之上 (即 OTT) 发送的直播和录制内容，并期望立即访问吸引并牢牢抓住其注意力的内容。满足这些期望给内容创作者和发行商带来难题。他们 (或其媒体服务器) 必须准备好制作覆盖各种尺寸、格式和比特率的视频，并随时准备应对计划内或计划外的需求高峰，而不是生成通用格式的视频。面对所有这些复杂情况，他们必须采用一种支持内容和基础设施的盈利模式来帮助他们交付内容。 新的 AWS Media Services 我们目前推出了一系列广播品质的媒体服务，每项服务都旨在处理上述难题的一个或多个方面。您可以结合使用这些服务以构建完整的端到端视频解决方案，也可以使用其中一项或多项服务来构建数据块样式。利用真正的 AWS 风格，您可以花费更多时间来创新，减少设置和运行基础实施的时间，从而让您集中精力创建、交付您的内容并从中获利。这些服务全都具有弹性，可让您提高处理能力、加快连接和存储速度，并使您能够轻松处理数百万用户 (甚至更多) 峰值。 下面介绍了这些服务 (可通过一组交互式控制台以及一组全面的 API 访问所有服务)： AWS Elemental MediaConvert – 基于文件的 OTT 转码、广播或存档，支持一长串格式和编解码器。具体功能包括多声道音频、图形覆盖、隐藏式字幕和多个 DRM 选项。 AWS Elemental MediaLive – 通过即时编码向电视和多屏幕设备实时提供视频流。可让您在数分钟内部署高度可靠的直播通道，并完全控制编码参数。该服务支持广告插播、多声道音频、图形覆盖和隐藏式字幕。 AWS Elemental MediaPackage – 原创视频和即时包装。从单个输入开始，为代表一长串当前和传统格式的多台设备生成输出。支持多种盈利模式、时间变换实时流、广告插播、DRM 和支持管理。 AWS Elemental MediaStore – 针对媒体优化的存储服务，可为高性能和低延迟应用程序 (例如实时流) 提供支持，同时充分利用 Amazon Simple Storage Service (S3) 的扩展性和持久性。 AWS Elemental […]

在这篇博客文章中，我们将演示如何使用 Amazon EMR 上的 Apache MXNet (孵化) 和 Apache Spark 对大型数据集运行分布式离线推理。我们将说明离线推理如何起作用、为何离线推理具有挑战性以及如何利用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 大型数据集上的分布式推理 – 需求与挑战 在进行有关深度学习模型的培训后，可以对新数据上运行推理了。可对需要即时反馈的任务 (如欺诈检测) 执行实时推理。这通常称作在线推理。或者，也可在预计算有用时执行离线推理。离线推理的常用案例是用于具有低延迟要求的服务，例如，要求对许多用户-产品分数进行排序和排名的推荐系统。在这些情况下，将使用离线推理来预计算推荐。结果将存储在低延迟存储中，而且将按需使用存储中的推荐。离线推理的另一个使用案例是使用从先进模型中生成的预测回填历史数据。作为一个假想的示例，报纸可利用此设置来使用从人员检测模型中预测的人员姓名回填已存档的照片。分布式推理还可用于基于历史数据测试新模型以验证这些模型在部署到生产之前是否会产生更好的结果。 通常，会在跨数百万条或更多记录的大型数据集上执行分布式推理。在合理的时间范围内处理这类大规模数据集需要一组计算机设置和深度学习功能。借助分布式群集，可使用数据分区、批处理和任务并行化来进行高吞吐量处理。但是，设置深度学习数据处理群集会面临一些挑战： 群集设置和管理：设置和监控节点、维护高可用性、部署和配置软件包等。 资源和作业管理：计划和跟踪作业、对数据进行分区和处理作业失败。 深度学习设置：部署、配置和运行深度学习任务。 接下来，本博客文章将介绍如何使用 Amazon EMR 上的 MXNet 和 Spark 来应对这些挑战。 使用 MXNet 和 Spark 进行分布式推理 利用 Amazon EMR，可轻松、经济高效地使用 Spark 和 MXNet 来启动可扩展群集。Amazon EMR 按秒计费，并且可使用 Amazon EC2 竞价型实例来降低工作负载的成本。 Amazon EMR […]

AWS IoT平台为了保证终端设备通信的安全性，终端设备与 AWS IoT平台的MQTT通信使用基于证书的TLS 1.2双向认证体系。即IoT平台会验证当前设备使用的证书是否可信，同时，终端设备也会验证IoT平台使用的CA证书是否可信。

AWS 的规模和我们客户群的多样性，使得我们有机会创建专用于许多不同类型工作负载的 EC2 实例类型。例如，许多流行的大数据用例依赖于对若干 TB 数据的高速顺序访问。我们的客户希望构建和运行超大型 MapReduce 集群，托管分布式文件系统，使用 Apache Kafka 来处理海量的日志文件等等。 新的 H1 实例 新的 H1 实例专为此类用例而设计。与现有的 D2 (密集型存储) 实例相比，H1 实例针对每 TB 本地磁盘存储容量提供了更多的 vCPU 和更高的内存，同时增加了网络带宽，使您能够通过良好平衡的资源组合来应对更加复杂的挑战。 这些实例基于以 2.3 GHz 基本时钟频率运行的 Intel Xeon E5-2686 v4 处理器，并且提供四种实例大小 (所有实例均仅限 VPC 和仅限 HVM)： 实例名称 vCPU RAM 本地存储 网络带宽 h1.2xlarge 8 32 GiB 2 TB 最高 10 Gbps h1.4xlarge 16 64 […]

EC2 竞价型实例可让您使用 AWS 云中的多余计算容量。我们的客户使用竞价型实例队列来支持 CI/CD 环境和流量生成程序、托管 Web 服务器和微服务、渲染电影以及运行众多类型的分析作业，所有这些实例的价格相比按需实例都节省了可观的成本。 新的简化访问 今天，我们为竞价型实例推出了新的简化访问模式。您只需在通过 RunInstances 函数、 run-instances 命令或 AWS 管理控制台启动实例时指明您希望使用竞价型容量，即可提交一个请求，只要有相应的容量可用，就会满足该请求。您无需完成额外的工作，即可为实例类型节省高达 90% 的按需使用费用；在相同预算下，整体应用程序吞吐量最多可提高 10 倍。以这种方式启动的实例将会一直运行，直至您终止它们，或者 EC2 需要将它们回收以便按需使用这些实例。在这种情况下，通常会提前 2 分钟针对实例发出警告，然后再回收，这非常适合提供容错功能的应用程序。 与需要了解竞价市场、出价以及调用独立异步 API 的旧模式不同，新模式是同步的，并且与按需实例一样简单易用。您的代码或脚本会立即收到一个实例 ID，不需要检查是否已处理和接受请求。 我们已经清楚地说明这一点，尽可能地简单化，许多当前的脚本和应用程序应该很容易地修改即可请求和利用竞价型容量。如果您想对竞价型实例预算执行额外的控制，则可以选择在发出容量请求时指定最高价格。如果您希望使用竞价型容量来支持 Amazon EMR、Amazon ECS 或 AWS Batch 集群，或者您通过 AWS CloudFormation 模板或 Auto Scaling 组的方式启动竞价型实例，您将会从这个新模式受益，而不需要做出任何改变。 根据 RequestSpotInstances 或 RequestSpotFleet 构建的应用程序将会继续正常工作，没有任何变化。不过，您现在可以选择发出不包括 SpotPrice 参数的请求。 平稳的价格变化 作为今天发布的一部分，我们还改变了现货价格发生变化的方式，转为采用根据长期供求趋势逐步调整价格的模式。正如我前面提到的那样，您将继续享受到相比按需价格平均节省 70-90% 的优势，并且您将继续按照实例运行时间段内的现货价格支付费用。对于依托于我们的竞价型队列功能构建的应用程序，将继续根据您在创建队列时所指定的配置，自动将其竞价型实例分散放置到最经济实惠的池中。 竞价实际操作 要从命令行启动竞价型实例，只需指定 […]

我总是建议新的 EC2 用户从我们的通用型实例入手，运行一些压力测试，并对他们的应用程序的计算、内存和联网情况有一个非常详细的真实感受，然后再尝试其他实例类型。借助针对计算、内存和存储进行优化的各种实例，我们的客户可以有多种选择，并且可以灵活地选择最适合他们需求的实例类型。 正如您可以从我的 EC2 实例历史帖子中看到的，通用型 (M) 实例的历史可以追溯到 2006 年，那年我们推出了 m1.small 实例。我们沿着这个系列分支不断地发展，推出了 M2 (2009 年)、M3 (2012 年) 和 M4 (2015 年) 实例。我们的客户使用通用型实例来运行 Web 和应用程序服务器，托管企业应用程序，支持在线游戏以及构建缓存机群。 新的 M5 实例 今天我们推出了新的 M5 实例，又向前迈出了一大步。这些实例得益于我们对持续创新的坚定承诺，可提供比以前实例更高的性价比。M5 实例采用自定义的 Intel® Xeon® Platinum 8175M 系列处理器，运行频率为 2.5 GHz；这些实例设计用于高要求的工作负载，相比基于每内核的 M4 实例，性价比可提高 14%。对于使用 AVX-512 指令的应用程序，启动速度将是每内核 FLOPS 的两倍。我们还为高端实例增加了一个新的大小，让您有更多的选择。 下面列出了 M5 实例 (所有实例均仅限 VPC、仅限 HVM 以及 EBS 优化)： 实例名称 […]