如何向 DynamoDB 表发出批量上传?

上次更新时间:2020 年 9 月 1 日

如何将数据批量上传到 Amazon DynamoDB 表?

解决方法

使用以下选项之一将数据批量上传到 DynamoDB。

BatchWriteItem

使用 BatchWriteItem API 操作可同时发出多个 PutItem 调用。您还可以在代码中使用并行进程或线程来发出多个并行 BatchWriteItem API 调用,以加快数据加载速度。

AWS Data Pipeline

如果数据位于 Amazon Simple Storage Service (Amazon S3) 中,则可以使用 Data Pipeline 导出到 DynamoDB。Data Pipeline 可以自动创建 Amazon EMR 集群并通过并行 BatchWriteItem 请求将您的数据从 Amazon S3 自动导出到 DynamoDB。当您使用 Data Pipeline 时,您不必为并行传输编写代码。有关更多信息,请参阅将数据从 Amazon S3 导入到 DynamoDB

Amazon EMR

要使用 Amazon EMR 和 Apache Hive 将数据上传到 DynamoDB,请执行以下操作:

  1. 创建 EMR 集群
    对于发布,请选择 emr-5.30.0 或更高版本。
    对于应用程序,请选择包含 Hive 的选项。
  2. 创建指向数据 Amazon S3 位置的外部 Hive 表
  3. 创建另一个外部 Hive 表,并将其指向 DynamoDB 表。
  4. 使用 INSERT OVERWRITE 命令将数据从 Amazon S3 写入到 DynamoDB。有关详细信息,请参阅将数据导入 DynamoDB

AWS Database Migration Service (AWS DMS)

您可以使用 AWS DMS 将数据从关系数据库导出到 DynamoDB 表。有关更多信息,请参阅将 Amazon DynamoDB 数据库用作 AWS Database Migration Service 的目标


这篇文章对您有帮助吗?


您是否需要账单或技术支持?