我如何在 Amazon DynamoDB 中实现分页?

1 分钟阅读
0

当我使用查询或扫描操作从 Amazon DynamoDB 表中提取项目时,响应未返回完整结果。

解决方法

出现此问题是由于以下两种情况:

  • 您的初始查询或扫描操作的响应中包含 LastEvaluatedKey
  • 您没有在下一个执行后续操作的请求中将此密钥用作 ExclusiveStartKey

要解决此问题,请为您的 DynamoDB 表实现分页。分页是在先前的请求未完成时发送后续请求以继续的过程。DynamoDB 中的查询或扫描操作可能返回不完整的结果,需要发送后续请求来获取整个结果集。这是因为 DynamoDB 会对查询或扫描操作的结果分页,并在单个操作中最多返回 1MB 的数据。数据上限在 DynamoDB 中是一个硬性限制。使用分页时,扫描和查询操作的结果被分成不超过 1 MB 的数据页面。

要在 Amazon DynamoDB 中实现分页,使用内置分页功能。运行与以下示例类似的命令:

use DynamoDB.Paginator.Query.paginate

client = boto3.client("dynamodb")
paginator = client.get_paginator("scan")
params = {}

for page in paginator.paginate(params):
# do something

您也可以对结果进行分页,然后一次在一个页面中检索结果。要查看结果是否包含 LastEvaluatedKey 元素,检查扫描或查询操作的低级结果。要获得其余结果,使用具有相同参数的另一个扫描或查询操作。对于第二个操作,使用 LastEvaluatedKey 作为 ExclusiveStartKey 参数。如果结果不包含 LastEvaluatedKey 值,说明没有要检索的项目。

有关更多信息,请参阅对表查询结果进行分页对结果进行分页

要使用 LastEvaluatedKey 在 Boto3 中实现分页,运行与以下示例类似的命令:

from __future__ import print_function  # Python 2/3 compatibility
import boto3
from botocore.exceptions import ClientError

# Create Client
session = boto3.session.Session()
dynamoDbClient = session.client('dynamodb')

table_name = 'AmazonBins'

# Track number of Items read
item_count = 0

try:    
    # Get the first 1MB of data    
    response = dynamoDbClient.scan(
        TableName=table_name
    )

except ClientError as error:
    print("Something went wrong: ")
    print(error.response['ResponseMetadata'])

# Track number of Items read
item_count += len(response['Items'])

# Paginate returning up to 1MB of data for each iteration
while 'LastEvaluatedKey' in response:
    try:
        response = dynamoDbClient.scan(
            TableName=table_name,
            ExclusiveStartKey=response['LastEvaluatedKey']
        )
        # Track number of Items read
        item_count += len(response['Items'])

    except ClientError as error:
        print("Something went wrong: ")
        print(error.response['ResponseMetadata'])

print("Total number of items found: {}".format(item_count))
AWS 官方
AWS 官方已更新 9 个月前
没有评论