Como evito erros de ThrottlingException ou Rate exceeded (Taxa excedida) ao usar o AWS Glue?

Breve descrição

Ao fazer uma solicitação de API do AWS Glue, você pode receber um erro semelhante a um dos seguintes:

• "Error Code: ThrottlingException; Request ID: 07512ede-123f-49c8-8933-1298742297b9; Proxy: null)" } }{ "taskSubmitFailedEventDetails": { "resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400;"
• "TaskSubmitFailed": {"resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)" }"
• "botocore.exceptions.ClientError: An error occurred (ThrottlingException) when calling the GetCrawler operation (reached max retries: 4): Rate exceeded cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)"

As solicitações de API do AWS Glue são limitadas para contas da AWS por região para ajudar na performance do serviço. Para obter mais informações, consulte AWS Glue endpoints and quotas (Cotas e endpoints do AWS Glue).

Resolução

Siga estas práticas recomendadas para mitigar um erro de ThrottlingException ou de taxa excedida:

• Reduza a frequência das chamadas de API.
• Escalone os intervalos entre suas chamadas de API para que nem todas sejam executadas ao mesmo tempo.
• Use APIs que retornem mais de um valor. Por exemplo, GetPartitions é compatível com uma chamada de 1.000 valores com uma chamada de API. Da mesma forma, GetTables é compatível com uma chamada de 100 parâmetros com uma chamada de API.
• Implemente novas tentativas de erro e recuo exponencial ao fazer chamadas de API.
• No console do AWS CloudTrail, verifique quais e quantas chamadas de API são enviadas durante um determinado período.

Se você já tentou essas etapas de solução de problemas, mas ainda assim recebeu erros de taxa excedida, solicite um aumento da cota de serviço.

Observação: antes de enviar uma solicitação para aumentar sua cota, identifique a chamada de API que causou o erro e a taxa de chamadas.

Informações relacionadas

Erros comuns