Amazon DynamoDB 集成

为什么选择 Why Amazon DynamoDB?

借助 Amazon DynamoDB,您可以轻松将工作负载与 Amazon DynamoDB Accelerator(DAX)集成,以获得高达 10 倍的性能提升;与 Amazon OpenSearch Service 集成,以实现实时搜索和分析功能;还可以与多种其他的 AWS 服务集成。借助 DynamoDB,您可以灵活地与满足您的应用场景需求的各种 AWS 服务集成。

Amazon DynamoDB 零 ETL 集成

Amazon DynamoDB 支持与其他 AWS 服务的多种零 ETL 集成。这些无代码、完全托管的集成可自动从 DynamoDB 提取数据,并将数据转换和加载到其他 AWS 服务。它们将您的数据无缝复制到目标服务,不会影响您的生产工作负载。最后,这些集成为您节省了设计、构建和管理数据管道所需的数周工程作业时间,让您可以专注于核心工程问题。
1

Amazon DynamoDB 与 Amazon SageMaker Lakehouse 的零 ETL 集成

这种零 ETL 集成让您能够运行广泛的分析和机器学习,如 SQL 分析、搜索分析、商业智能、机器学习、生成式人工智能等。只需在 AWS 管理控制台中快速执行几个步骤,您就可以灵活地选择要复制到 Amazon SageMaker Lakehouse 的 DynamoDB 表。 

2

Amazon DynamoDB 与 Amazon Redshift 的零 ETL 集成

借助零 ETL 集成,您可以轻松执行分析和机器学习。您只需选择要分析的 DynamoDB 表,然后将数据写入 DynamoDB,几分钟即可将 DynamoDB 数据复制到 Amazon Redshift。然后,您可以利用 Amazon Redshift 的分析和机器学习功能,以及丰富的 SQL 支持、实体化视图、数据共享和无架构查询功能,进一步转换和丰富数据。

3

Amazon DynamoDB 与 Amazon OpenSearch Service 的零 ETL 集成

这种零 ETL 集成让您能够执行近实时的搜索分析。您可以轻松创建索引,以执行全文搜索、向量搜索、地理空间搜索等操作。OpenSearch Service 的搜索和聚合功能与 DynamoDB 查询配合使用,以实现交互式、高性能的应用程序。现在,DynamoDB 客户可以利用 OpenSearch Service 的广泛搜索和机器学习功能来提供新的体验,从而提高用户参与度并提高对应用程序的满意度。

您可以通过 DynamoDB 控制台的“集成”选项卡快速创建您的第一个管道。此集成利用 Amazon OpenSearch Ingestion 管道定义和处理将您的 DynamoDB 数据转换、路由和映射到特定 OpenSearch Service 索引的操作。

Amazon DynamoDB Accelerator

Amazon DynamoDB Accelerator(DAX)是一项完全托管式且极具可用性的缓存服务,专为 Amazon DynamoDB 而构建。DAX 可实现高达 10 倍的性能提升(从数毫秒缩短到数微秒),即使在每秒处理数百万个请求的情况下也是如此。DAX 可管理所有缓存失效和数据填充事项,以为您的 DynamoDB 表添加内存加速。DAX 属于内联缓存,因此,如果缓存的项目不存在或已过时,DAX 将自动传递到底层表。

现在,您可以集中精力为您的客户构建出色的应用程序,而无需担心大规模性能问题。由于 DAX 与现有的 DynamoDB API 调用兼容,因此无需更改应用程序即可轻松上手。 

AWS Lambda 的基于事件的触发器

借助适用于 Amazon DynamoDB 的 AWS Lambda 触发器,您可以轻松设置自定义逻辑,以使其在 DynamoDB 中的项发生任何更改时运行。启用 DynamoDB Streams 后,您可以从 DynamoDB 控制台的“导出和流”选项卡中快速创建第一个触发器。配置触发器后,如果表中的数据发生任何更改,您的 Lambda 代码可在几秒钟内触发。

借助适用于 DynamoDB 的 AWS Lambda 触发器,您可以轻松构建数据库触发器来验证和充实数据,通过复制数据来与其他服务集成,或者构建完整的事件驱动架构(例如订单配送或媒体处理)来响应 DynamoDB 表中的数据修改。Lambda 函数可以执行您指定的任何操作,例如发送通知或启动工作流程。  

页面主题

一般性问题

一般性问题

DynamoDB 与 OpenSearch Service 的零 ETL 集成简化了将数据从事务性数据存储复制到搜索数据存储的操作复杂性。构建和管理用于保持事务性数据存储和搜索数据存储同步的数据管道可能棘手且成本高昂,并且会出现难以跟踪的间歇性错误。 

此集成使 Amazon DynamoDB 客户能够通过提供完全托管的解决方案,从其事务性数据中获得近乎实时的搜索结果,确保事务性数据从 DynamoDB 写入后,在几秒钟内就能在 OpenSearch Service 中使用。客户只需选择包含他们想要使用 OpenSearch Service 分析的数据的 DynamoDB 表,此零 ETL 集成即可使用 OpenSearch Ingestion 管道将相应的架构和数据无缝复制到 OpenSearch Service 中。客户可以将多个 DynamoDB 表中的数据复制到单个 OpenSearch Service 托管域或无服务器集合中,实现对多个应用程序的全面洞察,同时还可以整合核心分析资产,实现显著的成本节省和运营效率提升。 

客户可以使用 DynamoDB 的 AWS 管理控制台、OpenSearch Service、AWS CLI、AWS SDK 或 AWS CloudFormation 开始使用。要启用集成,客户首先要选择需要复制数据的 DynamoDB 表。然后,客户可选择 DynamoDB Streams 进行近乎实时的复制,或选择 DynamoDB 增量导出进行延迟复制,并将两者作为 CDC 机制,使两个系统之间的数据保持同步。 

此零 ETL 集成会在客户账户中设置 OpenSearch Ingestion 管道,该管道负责将数据复制到 OpenSearch Service 托管集群或无服务器集合。OpenSearch Ingestion 理解 DynamoDB 表的结构,然后创建等效的 OpenSearch Service 托管域或无服务器集合,并使用来自 DynamoDB 表的现有数据启动目标系统。或者,客户可以为将在 OpenSearch Service 中创建的索引指定架构。 

此零 ETL 集成为您提供了一个控制面板,您可以在其中使用 Amazon CloudWatch 实时指标和日志监控端到端集成的状态。您可以设置警报,以防违反用户定义的阈值。此集成还会持续监控 DynamoDB 表和 OpenSearch Service 索引的状态,并在其中任何一个实体出现回归时立即通知用户。

为确保 OpenSearch Ingestion 拥有在这两个系统间复制数据的必要权限,DynamoDB 与 OpenSearch Service 的零 ETL 集成会创建一个 IAM 角色,该角色具有从 DynamoDB 表中读取数据并写入 OpenSearch 域或集合所需的权限。然后,OpenSearch Ingestion 管道将担任此角色,以确保在将数据从源移至目标时始终保持正确的安全状态。

此零 ETL 集成使用 OpenSearch Ingestion 管道的原生数据转换功能,对动态数据进行聚合和筛选。从 DynamoDB 表中移动数据时,客户可能希望删除一些字段或根据现有字段的聚合创建新字段。 

客户还可以选择为 OpenSearch Ingestion 编写自定义逻辑,以实现定制的转换功能。对于其他只想将全部数据从源移至目标位置的用户,此零 ETL 集成将提供开箱即用的 OpenSearch Ingestion 蓝图,这样他们只需单击几下按钮即可执行集成。

此零 ETL 集成为客户提供了指定其自定义数据架构及索引映射的选项,此自定义数据架构供 OpenSearch Ingestion 在将数据从 DynamoDB 写入 OpenSearch Service 时使用。这种体验已添加到 DynamoDB 的用户界面控制台中,因此客户可以完全控制在 OpenSearch Service 上创建的索引的格式。

除需为现有底层组件支付费用外,使用 DynamoDB 与 OpenSearch Service 的零 ETL 集成不会产生任何额外费用。此零 ETL 集成使用 Amazon OpenSearch Ingestion 来读取 DynamoDB 表中的数据并复制到 OpenSearch Service。使用 DynamoDB 与 OpenSearch Service 的零 ETL 集成所需支付的费用是 OpenSearch Ingestion 跨系统复制数据所需的 OpenSearch 计算单位(OCU)的费用。此外,客户可以选择 DynamoDB Streams 或增量导出作为 CDC 的选项。对于增量导出,会产生与向 S3 桶写入数据关联的费用。对于 DynamoDB Streams,将向客户收取使用 DynamoDB Streams 的标准费用。

目前推出 OpenSearch Ingestion 的所有区域,均可使用 DynamoDB 与 Amazon OpenSearch Service 的零 ETL 集成。