Amazon DynamoDB 与 Amazon OpenSearch Service 的零 ETL 集成现已推出



我们今天宣布，Amazon DynamoDB 与 Amazon OpenSearch Service 的零 ETL 集成正式上线，该服务允许您通过自动复制和转换您的 DynamoDB 数据来搜索数据，而无需自定义代码或基础设施。这种零 ETL 集成减少了运营负担和成本，使您能够专注于应用程序。这些负担和成本涉及数据管道架构编写代码、保持数据同步以及通过频繁更改应用程序来更新代码。

通过这种零 ETL 集成，Amazon DynamoDB 客户现在可以使用 Amazon OpenSearch Service 的强大搜索功能（例如机器学习（ML）功能所需的全文搜索、模糊搜索、自动完成和向量搜索），来提供新的体验，从而提高用户参与度并提高对其应用程序的满意度。

这种零 ETL 集成使用 Amazon OpenSearch Ingestion 来同步 Amazon DynamoDB 和 Amazon OpenSearch Service 之间的数据。您可以选择需要同步数据的 DynamoDB 表，然后 Amazon OpenSearch Ingestion 会在数据可用后的几秒钟内将其同步到 Amazon OpenSearch 托管集群或无服务器集合。

您还可以指定索引映射模板，以确保您的 Amazon DynamoDB 字段映射到 Amazon OpenSearch Service 索引中的正确字段。此外，您可以将来自多个 DynamoDB 表的数据同步到一个 Amazon OpenSearch Service 托管集群或无服务器集合，以提供对多个应用程序的全面见解。

开始使用此零 ETL 集成
只需单击几下，您就可以将数据从 DynamoDB 同步到 OpenSearch Service。要在 DynamoDB 和 OpenSearch Service 之间创建集成，请在 DynamoDB 控制台的左侧面板中选择“集成”菜单，然后选择要同步其数据的 DynamoDB 表。

您必须开启时间点故障恢复（PITR）和 DynamoDB 流媒体功能。此功能允许您捕获表格中的项目级更改并将更改推送到直播。选择“打开”PITR，然后启用“导出和流”选项卡中的 DynamoDB Streams。

开启 PITR 和 DynamoDB Stream 后，选择“创建”来设置您的账户中的 OpenSearch Ingestion 管道，将数据复制到 OpenSearch Service 托管域。

在第一步中，输入唯一的管道名称并设置管道容量和计算资源，以便根据当前的采集工作负载自动扩展管道。

现在，您可以用 YAML 文件格式配置预定义的管道配置。您可以浏览资源来查找和粘贴信息，从而构建管道配置。该管道由来自 DyanmoDB 设置的 source 部分和 OpenSearch Service 的 sink 部分组成。

您必须设置多个 IAM 角色（sts_role_arn），使其具有从 DynamoDB 表中读取数据和写入 OpenSearch 域所必需的权限。然后，OpenSearch Ingestion 管道将承担此角色，以确保在将数据从 source 迁移到目标时始终保持应有的安全状态。要了解更多信息，请参阅 AWS 文档中的Setting up roles and users in Amazon OpenSearch Ingestion。

输入所有必填值后，您可以验证管道配置，以确保您的配置有效。要了解更多信息，请参阅 AWS 文档中的 Creating Amazon OpenSearch Ingestion pipelines。

花几分钟时间设置 OpenSearch Ingestion 管道，即可看到您的集成已在 DynamoDB 表中完成。

现在，您可以在 OpenSearch 仪表板中搜索同步项目。

注意事项
关于这项功能，下面的这些信息您应有所了解：

• 自定义模式 – 在将数据从 Amazon DynamoDB 写入 OpenSearch Service 时，您可以指定您的自定义数据模式以及 OpenSearch Ingestion 所使用的索引映射。这种体验已添加到 Amazon DynamoDB 里的控制台，因此您可以完全控制在 OpenSearch Service 上创建的索引格式。
• 定价 – 除了现有基础组件的成本外，使用此功能不会产生任何额外费用。请注意，Amazon OpenSearch Ingestion 会收取 OpenSearch Compute Units（OCU）的费用，而 OCU 将用于复制 Amazon DynamoDB 和 Amazon OpenSearch Service 之间的数据。此外，此功能将 Amazon DynamoDB streams 用于更改数据捕获（CDC），您将承担 Amazon DynamoDB Streams 的标准费用。
• 监控 – 您可以通过检查 DynamoDB 控制台上的集成状态或使用 OpenSearch Ingestion 仪表板来监控管道状态。此外，您可以使用 Amazon CloudWatch 来提供实时指标和日志，这样您就可以设置警报，以防超出用户定义的阈值。

现已上线
Amazon DynamoDB 与 Amazon OpenSearch Service 的零 ETL 集成现已在目前提供 OpenSearch Ingestion 的所有 AWS 区域正式推出。

– Channy