¿Cómo puedo evitar los errores ThrottlingException o “Rate exceeded” (Tasa superada) al utilizar AWS Glue?

Descripción breve

Al realizar una solicitud a la API de AWS Glue, es posible que reciba un error similar a uno de los siguientes:

• "Error Code: ThrottlingException; Request ID: 07512ede-123f-49c8-8933-1298742297b9; Proxy: null)" } }{ "taskSubmitFailedEventDetails": { "resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400;"
• "TaskSubmitFailed": {"resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)" }"
• "botocore.exceptions.ClientError: An error occurred (ThrottlingException) when calling the GetCrawler operation (reached max retries: 4): Rate exceeded cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)"

Las solicitudes de API de AWS Glue se limitan a las cuentas de AWS por región para mejorar el rendimiento del servicio. Para obtener más información, consulte los puntos de conexión y cuotas de AWS Glue.

Resolución

Siga estas prácticas recomendadas para mitigar una ThrottlingException o un error de tasa superada:

• Reduzca la frecuencia de las llamadas a la API.
• Escalone los intervalos entre las llamadas a la API para que no se ejecuten todas al mismo tiempo.
• Use API que devuelvan más de un valor. Por ejemplo, GetPartitions admite una llamada de 1000 valores con una llamada a la API. Del mismo modo, GetTables admite una llamada de 100 parámetros con una llamada a la API.
• Implemente reintentos por error y retroceso exponencial cuando realice llamadas a la API.
• Con la consola de AWS CloudTrail, compruebe qué y cuántas llamadas a la API se envían durante un período de tiempo determinado.

Si siguió estos pasos de solución de problemas, pero sigue teniendo errores de tasa superada, solicite un aumento de la cuota de servicio.

Nota: Antes de enviar una solicitud para aumentar su cuota, identifique la llamada a la API que causó el error y la frecuencia de llamadas.

Información relacionada

Errores comunes