¿Cómo puedo utilizar los flujos de trabajo de AWS Glue para iniciar automáticamente un trabajo cuando finaliza la ejecución de un rastreador?

Descripción breve

Para iniciar un trabajo cuando finalice la ejecución de un rastreador, cree un flujo de trabajo de AWS Glue y dos activadores: uno para el rastreador y otro para el trabajo. Este método requiere que inicie el rastreador desde la página Flujos de trabajo de la consola de AWS Glue.

Nota: También puede utilizar una función de AWS Lambda y una regla de Amazon EventBridge para automatizar la ejecución de trabajos. Si elige esta opción, la función de Lambda estará siempre activada. La función supervisa el rastreador independientemente de dónde o cuándo inicie la función. Para obtener más información, consulte ¿Cómo puedo usar una función de Lambda para iniciar automáticamente un trabajo de AWS Glue cuando se completa la ejecución de un rastreador?

Resolución

Antes de completar los pasos siguientes, asegúrese de tener:

• Un trabajo de extracción, transformación y carga (ETL) de AWS Glue
• Un rastreador de AWS Glue
• Un rol de AWS Identity and Access Management (IAM) para AWS Glue que tiene adjunta la política AWSGlueServiceRole

Crear el flujo de trabajo

1. Abra la consola de AWS Glue.
2. En el panel de navegación, seleccione Flujos de trabajo y, a continuación, Añadir flujo de trabajo.
3. Introduzca un nombre para el flujo de trabajo y, a continuación, seleccione Añadir flujo de trabajo. El nuevo flujo de trabajo aparece en la lista de la página Flujos de trabajo.

Cree el activador para el rastreador

1. En la página Flujos de trabajo, seleccione su nuevo flujo de trabajo y, a continuación, elija la pestaña Gráfico.
2. Elija Añadir activador y, a continuación, elija Añadir nueva pestaña. En Tipo de activador, seleccione A pedido.
3. Seleccione Añadir. El activador aparecerá en el gráfico.
4. En el gráfico, seleccione Añadir nodo.
5. En la pestaña Rastreadores, seleccione su rastreador y, a continuación, seleccione Añadir.

Cree el activador para el trabajo de AWS Glue

1. En el menú Acción, situado encima del gráfico, seleccione Añadir activador.
2. Elija la pestaña Añadir nuevo y, a continuación, seleccione las siguientes opciones: En Tipo de activador, elija Evento. En Lógica del activador, seleccione Iniciar después de CUALQUIER evento observado.
3. Seleccione Añadir. El activador aparecerá en el gráfico.
4. En el gráfico, a la izquierda del activador de trabajos que acaba de crear, seleccione Añadir nodo.
5. En la pestaña Rastreadores, seleccione su rastreador y, a continuación, seleccione Añadir. El activador aparecerá en el gráfico.
6. En el gráfico, a la derecha del activador de trabajos que acaba de crear, seleccione Añadir nodo.
7. En la pestaña Trabajos, seleccione el trabajo que desea iniciar cuando finalice la ejecución del rastreador y, a continuación, seleccione Añadir.

Probar el flujo de trabajo

1. En el menú Acciones, junto al botón Añadir flujo de trabajo, seleccione Ejecutar. La columna Estado de la última ejecución cambiará a En ejecución.
2. Compruebe la pestaña Gráfico para ver el estado del flujo de trabajo. O bien, abra su rastreador o trabajo correspondiente para confirmar que se está ejecutando.

Información relacionada

Crear y construir un flujo de trabajo manualmente en AWS Glue