亚马逊AWS官方博客

Category: Events

DynamoDB,十周年快乐!🎉🎂🎁

2012 年 1 月 18 日,Jeff 和 Werner 宣布全面推出 Amazon DynamoDB,这是一种灵活的完全托管式 NoSQL 数据库服务,可在任何规模下实现个位数毫秒级性能。 在过去的 10 年中,成千上万的客户采用了 DynamoDB。它经常在性能和可扩展性方面达到新高峰。例如,在 2021 年 6 月的最后一次 Prime 会员日促销活动中,它在 66 小时内处理了数万亿次请求,同时保持个位数毫秒级性能,峰值为每秒 8920 万次请求。Disney+ 每天使用 DynamoDB 提取内容、元数据和数十亿观众的行为。即使在疫情造成的前所未有的大量需求期间,DynamoDB 也能够为客户提供帮助,因为世界各地的许多客户不得不改变工作方式,需要以虚拟方式会面和开展业务。例如,当我们在 2020 年初开始进行视频通话时,Zoom 每天的会议参与者人数从 1000 万扩展到了 3 亿。 值此特别周年纪念日之际,欢迎参加我们 3 月 1 日在 Twitch 上举办的非凡在线活动。在这篇文章的最后,我会告诉您更多活动详情。但是,在谈论此活动之前,让我们借此机会回顾一下这项服务的起源,以及自 10 年前首次推出以来我们添加的主要功能。 DynamoDB 背后的发展历史 DynamoDB 的故事早在 10 年前发布之前就已经开始了。它始于 2004 年假日购物季期间 […]

Read More

宣布推出适用于 API 的 AWS Data Exchange:查找、订阅和使用具有一致身份验证的第三方 API

无论是用于训练机器学习模型的大规模数据集、关系数据库,还是基于 API 的集成,数据都是许多流程和产品的中心所在。借助 AWS Data Exchange,您可以通过 Amazon Simple Storage Service (Amazon S3) 发现、订阅和使用数百个由 Reuters、Foursquare、Change Healthcare、Vortexa、IMDb 等第三方提供的基于文件的数据集。此外,AWS Data Exchange for Amazon Redshift 可让您更轻松地在 Amazon Redshift 数据仓库中摄取第三方数据,而无需进行任何手动处理或转换。 但是,在许多情况下,您的数据项目需要的不仅仅是静态数据集,因为需要频繁、同步地检索少量信息 – 例如,您可能需要每小时获取一次股价。借助数据 API,您可以快速回答特定问题,而无需构建临时数据管道来摄取、处理和分析批量数据集。但是,每个 API 提供商都有自己的易用性、开发工具包、文档和身份验证机制,因此集成这些 API 更加困难重重。 我很高兴地宣布,适用于 API 的 AWS Data Exchange 已全面推出,这项新功能可让您通过 AWS 开发工具包查找、订阅和使用具有一致访问权限的第三方 API,同时可采用一致的 AWS 原生身份验证和管控方式。这简化了开发人员和 IT 管理员的工作,他们之前必须集成多个第三方 API 并保护对这些 API 的访问。 现在,您可以使用所选编程语言的 AWS 开发工具包,直接向 AWS […]

Read More

宣布推出 Amazon SageMaker Canvas — 面向业务分析师的可视化、无代码机器学习功能

作为一个每天面对业务问题并和数据打交道的组织,构建可以预测业务结果的系统的能力变得非常重要。这种能力通过自动执行缓慢的流程并在 IT 系统中嵌入智能,让您可以解决问题并加快行动速度。 但是,如何确保组织中的所有团队和个人决策者都能够在不依赖其他数据科学和数据工程团队的情况下大规模创建这些机器学习 (ML) 系统? 作为业务用户或数据分析师,您希望基于每天分析和处理的数据来构建和使用预测系统,而无需了解数百种算法、训练参数、评估指标和部署最佳实践。 我很高兴地宣布 Amazon SageMaker Canvas 正式上市,这是一种新的可视化、无代码功能,使业务分析师可以构建机器学习 (ML) 模型并生成准确的预测,而无需编写代码或机器学习 (ML) 专业知识。其直观的用户界面让您可以浏览和访问云端或本地的不同数据源,通过单击按钮组合数据集,训练准确的模型,然后在新数据可用时立即生成新的预测。 SageMaker Canvas 利用与 Amazon SageMaker 相同的技术来自动清理和组合您的数据,在幕后创建数百个模型,选择性能最佳的模型,并生成新的单个或批量预测。它支持二元分类、多类分类、数值回归和时间序列预测等多种问题类型。这些问题类型让您无需编写任何代码即可处理业务关键型使用案例,例如欺诈侦测、减少客户流失和库存优化。 SageMaker Canvas 的实际操作 想象一下,我是一名电子商务经理,需要预测产品是否会按时发货。我可以使用的数据集包括产品目录和历史运输数据集,它们都以 CSV 格式提供。 首先,进入 SageMaker Canvas 应用程序,在其中创建和检查我的所有模型和数据集。 选择导入,然后上传两个 CSV 文件:ProductData.csv 和 ShippingData.csv。我有 120 件产品和 10,000 条发货记录。 我还可以从 Amazon Simple Storage Service (Amazon S3) 获取数据或连接到其他云中或本地的数据源,例如 Amazon Redshift 或 Snowflake。对于此使用案例,我偏向于直接从计算机上载 1.6 MB […]

Read More

新功能 – Amazon DevOps Guru for RDS 使用 ML 检测、诊断和解决与 Amazon Aurora 相关的问题

我们宣布推出 Amazon DevOps Guru for RDS,这是面向 Amazon DevOps Guru 的全新功能。该功能可让开发人员轻松检测、诊断和解决 Amazon Aurora 中的性能与操作问题。 如今,成千上万的客户正在使用 Amazon Aurora,因为它具备高可用性、可扩展性和持久性。但是,随着应用程序规模和复杂性的增长,要想快速检测并解决操作和性能问题,这些客户面临更严峻的挑战。 在去年的 Re: InVent 期间,我们宣布推出 DevOps Guru,该服务使用机器学习 (ML) 自动检测应用程序问题并向客户发出警报,包括数据库问题。我们于今日宣布推出 DevOps Guru for RDS,以帮助使用 Amazon Aurora 数据库的开发人员快速且大规模地检测、诊断和解决数据库性能问题。现在,开发人员将有充足的信息来确定引发数据库性能问题的确切原因。通过此次发布,在尝试发现和修复与性能相关的数据库问题时,开发人员和工程师可节省大量工作时间。 DevOps Guru for RDS 使用 ML 自动识别和分析各种与性能相关的数据库问题,例如主机资源的过度利用、数据库瓶颈或 SQL 查询的不当行为。该服务还会提供建议的解决方案以解决发现的问题。要使用此功能,您无需成为数据库或 ML 专家。 检测到问题时,DevOps Guru for RDS 会在 DevOps Guru 控制台中显示发现结果,同时使用 Amazon EventBridge 或 Amazon Simple […]

Read More

新的 DynamoDB 表类别 – 节省多达 60% 的 DynamoDB 成本

我们宣布推出 Amazon DynamoDB Standard-Infrequent Access (DynamoDB Standard-IA)。这是全新的 DynamoDB 表类别,与现有的 DynamoDB Standard 表相比,可将存储成本降低 60%,同时提供相同的性能、持久性和扩展性。 如今,许多客户在 DynamoDB 和 Amazon Simple Storage Service (Amazon S3) 之间移动他们不常访问的数据。这意味着客户正在制定迁移数据和构建复杂应用程序的流程,这些应用程序必须支持两个不同的 API – 一个用于 DynamoDB,另一个用于 Amazon S3。 DynamoDB Standard-IA 表类别专为如下客户而设计:他们需要可在不更改任何应用程序代码的情况下将不常访问的数据存储在 DynamoDB 中的成本优化解决方案。借助这一全新的表类别,您可以获得个位数毫秒级的 DynamoDB 读写性能,同时仍然使用所有相同的 API。 使用 DynamoDB Standard-IA 表类别时,与使用 DynamoDB Standard 表类别相比,最多可以节省 60% 的存储成本。但是,这一全新表类别的 DynamoDB 读写价格高于 Standard 表。因此,在将此新的表类别应用于表之前,请务必了解自己的使用案例。 如果必须将 TB 级的数据存储数年时间,期间这些数据必须具有高可用性,但不经常访问,则 DynamoDB Standard-IA […]

Read More

使用新的 Amazon EC2 M1 Mac 实例构建并测试适用于 iPhone、iPad、Mac、Apple Watch 和 Apple TV 的应用程序

去年在 AWS re:Invent 大会上,Jeff Barr 写了一篇关于 Amazon Elastic Compute Cloud(Amazon EC2)Mac 实例出色可用性的文章。今天,我们宣布推出全新 EC2 M1 Mac 实例的预览版。 EC2 Mac 实例的推出为所有 Apple 开发人员带来了 AWS 的灵活性、可扩展性和成本优势。EC2 Mac 实例是通过 Thunderbolt 连接到 AWS Nitro 系统的专用 Mac mini 计算机,使 Mac mini 计算机可以像另一个 EC2 实例一般出现和运行。它可以连接到您的 Amazon Virtual Private Cloud(VPC),从 Amazon Elastic Block Store(EBS)卷启动,并利用 EBS 快照、安全组和其他 AWS 服务。借助 EC2 Mac 实例,您可以扩展构建和测试 Mac 的队列,按需付费。不涉及虚拟机管理程序,您可以获得底层 […]

Read More

新增功能 – 增强了 Amazon SQS 标准队列的死信队列管理体验

成千上万的客户使用 Amazon Simple Queue Service (SQS) 构建基于消息的应用程序,以分离和扩展微服务、分布式系统和无服务器应用程序。当队列使用者无法成功处理消息时,可以配置 SQS 以将其存储在死信队列 (DLQ) 中。 作为软件开发人员或架构师,您可能希望检查和查看 DLQ 中未处理完的消息,以找出无法处理这些消息的原因,确定模式,解决代码错误,并最终在原始队列中重新处理这些消息。这些未处理完的消息的生命周期也属于错误处理工作流的一部分,并且通常需要手动处理,非常耗时。 我很高兴地宣布,针对 SQS 标准队列的全新增强型 DLQ 管理体验正式推出,让您可以轻松地将未处理完的消息从 DLQ 重新传输到源队列。 这项新功能可在 SQS 控制台中使用,帮助您专注于错误处理工作流中更重要的阶段,包括识别和解决处理错误。通过这一全新的开发体验,您可以轻松地检查未处理完的消息的样例,并且只需单击即可将其移回原始队列,而无需编写、维护和保护任何自定义代码。这种全新的体验还可以批处理重新传输消息,从而降低总体成本。 DLQ 和 Lambda 处理器设置 如果您已经熟悉 DLQ 设置,则可以跳过该设置,直接进入全新的 DLQ 重新传输体验。 首先,创建两个队列:源队列和死信队列。 编辑源队列并配置死信队列部分。在这里,选择 DLQ 并配置最大接收次数,也就是消息在发送到 DLQ 之前要重新处理的次数。在本次演示中,将其设置为 1。这意味着每条失败的消息都会立即发送到 DLQ。在现实环境中,您可能需要根据自己的需求和故障对应用程序的影响,设置一个更高的数字。 再次编辑 DLQ,以确保仅允许我的源队列使用此 DLQ。此配置为可选项:禁用此允许重新传输策略时,任何 SQS 队列都可以使用此 DLQ。在某些情况下,您可能需要对多个队列重复使用单个 DLQ。但通常认为的最佳实践是为每个源队列设置独立的 DLQ,以在不影响成本的情况下简化重新传输阶段。请记住,收费基于 API 调用的次数,而不是队列的数量。 DLQ 设置正确后,就需要一个处理器。我们使用 AWS Lambda […]

Read More

新功能 — 使用 Amazon SageMaker Studio 创建和管理 EMR 集群和 Spark 任务

今天,我们很高兴为我们的 Amazon SageMaker Studio 服务推出三项新的增强功能。 从现在起,SageMaker Studio 的用户可以直接创建、终止、管理、发现和连接在单个 AWS 账户内和整个组织的共享账户中运行的 Amazon EMR 集群 — 所有这些操作都可以直接从 SageMaker Studio 进行。此外,SageMaker Studio Notebook 用户还可以利用 SparkUI 直接从 SageMaker Studio Notebooks 监控和调试在 Amazon EMR 集群上运行的 Spark 作业! 过往经历… 在今天以前,SageMaker Studio 用户可以通过某些功能来查找和连接 EMR 集群,前提是他们在与 SageMaker Studio 相同的账户中运行。虽然这些功能在许多情况下很有用,但如果没有适合正在运行的模型或分析的要求的集群,那么数据科学家将不得不离开他们的开发环境并手动配置适合他们需求的集群。这样不但会干扰数据科学家的工作流程,而且无法保证数据科学家拥有配置集群所需的权限或知识深度,以支持他们继续完成工作。此外,在跨多个 AWS 账户工作的组织中,限制在单个账户中创建和管理集群可能会令人望而却步。 新增功能 数据科学家可以: 从 SageMaker Studio 中发现、管理、创建、终止和连接 Amazon EMR 集群 利用“模板”— 在经验丰富的开发运维从业者的支持下,为您的工作负载需求配置和预置集群的新方法 从 […]

Read More

宣布推出 Amazon SageMaker 推理推荐器

今天,我们很高兴地宣布推出 Amazon SageMaker 推理推荐器,这是一项全新的 Amazon SageMaker Studio 功能,可以跨机器学习 (ML) 实例自动执行负载测试并优化模型性能。最终,它将缩短 ML 模型从开发到生产所需的时间,并优化与其操作相关的成本。 到目前为止,还没有任何服务能为 MLOps 工程师提供为其模型选择最佳 ML 实例的方法。为了优化成本并最大限度地提高实例利用率,MLOps 工程师必须在需要运行 ML 实例的情况下,运用经验和直觉来选择一种能够很好地为他们以及他们的模型服务的实例类型。此外,考虑到可用的 ML 实例数量众多,而且每个模型几乎都有无限的细微差别,可能需要多次尝试才能选出正确的实例类型。现在,MLOps 工程师可以通过 SageMaker 推理推荐器获得有关运行其模型的最佳实例类型的建议。选择实例后,只需单击几下鼠标,即可立即将其模型部署到选定的实例类型。编写自定义脚本运行性能基准测试和负载测试的日子已经一去不复返了。 对于希望在推送到生产环境之前获取有关其模型执行情况数据的 MLOps 工程师,SageMaker 推理推荐器还允许他们在模拟环境中针对其模型运行负载测试。在部署之前,他们可以指定参数,例如所需的吞吐量、示例有效负载和延迟约束,并根据这些约束在一组选定实例上测试他们的模型。这样,MLOps 工程师就可以收集有关其模型在现实世界中的表现的数据,从而自信地将其投放到生产环境,或者突出显示在将其推向世界之前必须解决的潜在问题。 SageMaker 推理推荐器还有更多隐藏的技巧,可以让 MLOp 工程师的生活更轻松,并确保他们的模型继续以最佳方式运行。MLOp 工程师可以使用 SageMaker 推理推荐器基准测试功能来执行自定义负载测试,以评估在具有特定要求的生产环境中以负载状态进行访问时的模型性能。这些测试的结果可以通过 SageMaker Studio、AWS 开发工具包或 AWS CLI 加载,从而使 MLOps 工程师能够大致了解模型性能、多种配置的比较情况以及与任何利益攸关方共享结果的能力。 了解更多 MLOps 工程师可以通过 Amazon SageMaker Studio、AWS SDK 和 CLI 开始使用 […]

Read More

新的 AWS 奖学金计划帮助代表性不足和服务不足的学生为 AI 和 ML 领域的职业做好准备

作为一名在信息技术 (IT) 领域工作多年的女性,挑战长期存在的性别刻板印象并激发更多年轻学习者考虑从事技术职业一直是我的心愿。人工智能 (AI) 和机器学习 (ML) 定义了技术的未来,而这个未来也依赖于多样化的表现形式。 世界经济论坛估计,到 2025 年,技术进步和自动化将创造 9700 万个新的技术工作岗位,包括在人工智能和机器学习领域。然而,根据他们的研究,女性仅占全球 AI 工作岗位的 32%。皮尤研究中心发现,美国的黑人和西班牙裔工人分别仅占科学、技术、工程和数学 (STEM) 职业工作人员的 9% 和 8%。 在 Amazon,我们认为应该以包容、多样化和公平的方式构建技术。我们已经推出了 STEM 计划,使代表性不足的群体能够建立或提高他们的技术技能,并开辟新的职业机会。We Power Tech、Amazon Future Engineer、AWS Girls’ Tech Day 和 AWS GetIT 等计划旨在打造一个包容、多元化和可访问的科技未来。 今天,我很高兴地宣布与英特尔和 Udacity 合作推出 AWS AI & ML 奖学金计划,该计划旨在为全球代表性不足和服务不足的学生从事 ML 职业做好准备。 AWS AI & ML 奖学金计划与 AWS DeepRacer Student 一起首次亮相 AWS […]

Read More