Cómo copiar datos de Azure Blob Storage a Amazon S3 usando código

Descripción general de la solución

El diseño utiliza AWS Lambda para crear una solución sin servidor. La comunicación entre las funciones de AWS Lambda y Azure utiliza el SDK de Azure para Python. Para apoyar esta comunicación, se requieren dos bibliotecas: una para manejar la identidad y otra para administrar el almacenamiento. Estas bibliotecas se despliegan como capas Lambda separadas, lo que les permite ser reutilizadas fácilmente en diferentes soluciones.

Cada función Lambda tiene un trabajo específico, lo que mejora la escalabilidad, el rendimiento y la resiliencia. Las funciones de Lambda interactúan entre sí mediante Amazon Simple Notification Service (Amazon SNS) para un patrón de mensajería de publicación-suscripción.

Para activar las funciones de Lambda a diario, Amazon EventBridge emplea una regla EventBridge. El horario puede ser modificado para adaptarse a sus requisitos específicos.

La secuencia de eventos se ilustra en la Figura 1, con flechas que indican la dirección de invocación. En el Cuadro 1 se describe el orden de los eventos.

Figura 1: Servicios de AWS y orden de eventos

Cuadro 1: Orden de los eventos

Los endpoints públicos de Azure Blob Storage se cifran con Transport Layer Security (TLS) 1.2 de forma predeterminada. Esto asegura que los datos estén encriptados en tránsito. A partir del 5 de enero de 2023, todos los objetos nuevos cargados en Amazon S3 se cifran automáticamente con claves administradas de Amazon S3 (SSE-S3). En esta solución, empleamos cifrado del lado del servidor para el bucket utilizando AWS Key Management Service (AWS KMS).

El acceso a los blobs de Azure desde una entidad principal de servicio de aplicaciones está autorizado mediante Azure Active Directory. El ID de aplicación de Azure, el ID de inquilino y el secreto de cliente se almacenan de forma segura en AWS Secrets Manager y se recuperan mediante las funciones de Lambda según sea necesario.

AWS Identity and Access Management (IAM) es un componente clave de cualquier solución de AWS. A cada servicio de AWS solo se le debe permitir hacer lo que necesita hacer en el diseño. Hemos perfeccionado los permisos para aplicar el principio de menor privilegio.

La solución se puede controlar usando dos parámetros. El primer parámetro, isactive, habilita o desactiva el proceso de copia. El segundo parámetro, begindate, permite modificar el requisito de edad mínima para que los objetos sean copiados. Para simplificar el diseño, estos parámetros se almacenan en AWS Secrets Manager. Las funciones de Lambda pueden recuperar de manera eficiente todos los datos requeridos al interactuar únicamente con AWS Secrets Manager, con un impacto mínimo en el costo ($.80 al momento de escribir este artículo).

Para aumentar la observabilidad, un panel de Amazon CloudWatch combina métricas y registros en una sola vista, lo que permite identificar rápidamente los problemas.

El proceso de copia se optimiza en función del tamaño del blob que se está copiando. Para blobs menores de 100MB, se utilizan las funciones Lambda 1-3, mientras que para objetos que superan los 100MB de tamaño, se emplean las funciones Lambda 1-6, como se ilustra en la Figura 2.

Figura 2: Enrutamiento de objetos de Amazon S3

La Figura 3 ilustra la lógica implementada en las funciones Lambda y la Tabla 2 describe el propósito de cada función.

Figura 3: Lógica de función Lambda

Tabla 2: Propósito de la función Lambda

Hemos omitido algunos aspectos del diseño del diagrama y la tabla anteriores para mantener la visión general concisa. Por ejemplo, agregamos una  dead-letter queue Amazon SNS para ayudar con la solución de problemas de fallas, que no se representa en la Figura 2.

En la siguiente sección, te mostraremos cómo implementar la solución.

Prerrequisitos

• Acceso a una cuenta de AWS con permisos suficientes para crear los recursos de la Figura 1.
• Una cuenta de almacenamiento de Azure y un contenedor de almacenamiento de blob que servirá como fuente para la transferencia de datos.
• Principal de servicio y aplicación de Azure Active Directory. Anote el secreto de la aplicación, que solo se muestra durante la configuración.
• Al principal de servicio se le deben asignar funciones de Colaborador de Datos de Blob de Almacenamiento y Colaborador de Datos de Cola de Almacenamiento dentro del alcance de la Cuenta de Almacenamiento.
• El ID de aplicación y el ID de inquilino de la aplicación Azure Active Directory.

Nota: Copiar archivos del almacenamiento de blob de Azure a Amazon S3 incurre en cargos de salida de datos de Azure.

Tutorial

El código de esta entrada de blog está disponible en un repositorio de AWS Samples Git. En el siguiente recorrido, nos centraremos en una implementación de AWS CloudFormation. Este ejercicio tardará unos 20 minutos en completarse.

Para implementar la pila de AWS CloudFormation:

1. Descarga el código fuente y extrae localmente. El archivo contiene un conjunto de carpetas y archivos. No es necesario extraer archivos zip individuales dentro de las carpetas.
2. Cargue archivos de la carpeta AzureBlobtoAmazons3Copy/CFN a un bucket de Amazon S3 de su elección. Este será tu repositorio de artefactos. La carpeta contiene los siguientes archivos:

azure-arm-identity.zip Capa Lambda para Azure Identity

azure-arm-storage.zip Capa Lambda para almacenamiento de Azure

azs3copy-lambda01.zip — azs3copy-lambda06.zip Funciones de Azure blob copy Lambda

azs3copy-stack.yaml Plantilla de AWS CloudFormation

3. Una vez que se hayan subido los archivos, copie la URL del objeto para azs3copy-stack.yaml, como se muestra en la Figura 4:

Figura 4: Recuperación de la ubicación de URL de objeto de Amazon S3

4. Siga esta documentación para crear una nueva pila de AWS CloudFormation. Al elegir una plantilla de pila, utilice la URL de objeto de Amazon S3 que copió en el paso 2.

5. Configure los parámetros de implementación de AWS CloudFormation. Las descripciones y ejemplos de parámetros se incluyen en la plantilla CloudFormation. No cambie los Ajustes Avanzados, estos son actualmente experimentales.

6. El despliegue tomará de 5 a 10 minutos. Cuando termine, se muestra un mensaje CREATE_COMPLETE como se muestra en la Figura 5.

Figura 5: Mensaje completo de la pila de AWS CloudFormation

La solución ya está preparada y lista. Se ejecutará automáticamente en función del horario que se coloraron en los parámetros. Si desea iniciar una copia de inmediato, proceda a la siguiente sección.

Inicializar una copia manual de los datos

1. Vaya a la consola de AWS Secrets Manager y elija el secreto creado por la implementación. En la Figura 6 se puede ver que usamos “etl” como código de prefijo.

Figura 6: Localización de secretos en AWS Secrets Manager

2. Elija Recuperar valor secreto como se muestra en la Figura 7.

Figura 7: Botón de recuperación de valor secreto de ubicación

3. Observe la clave para isactive. Cambiar el valor a False deshabilitará el proceso de copia. Revise la clave para la fecha de inicio como se ilustra en la Figura 8. Esta es la edad mínima de los objetos a copiar. Asegúrate de que se adapte a sus necesidades.

Figura 8: Configuración secreta de AWS Secret Manager

4. Navegue hasta AWS Lambda
5. Buscar las funciones Lambda creadas por el despliegue. En la Figura 9, puede ver que usamos “etl” como código de prefijo.

Figura 9: Selección de soluciones Funciones Lambda

6. Elija la función con lambda01 en el nombre como se muestra en la Figura 10. El código Python será visible en la consola.

Figura 10: Selección de lambda01

7. Seleccione la pestaña Prueba y elija Prueba como se ilustra en la Figura 11.

Figura 11: Visualización del código Python de la función Lambda

8. Debería recibir un mensaje Resultado de ejecución: éxito como se muestra en la Figura 12.

Figura 12: Ejecución exitosa de la función Lambda

9. Navegue hasta el bucket de Amazon S3 creado por la implementación. El nombre del bucket comenzará con el nombre de pila de AWS CloudFormation como se ilustra en la Figura 13. Los archivos comenzarán a aparecer en el directorio. Refresca la página para verificar el progreso.

Figura 13: Localización de objetos copiados en Amazon S3

Solución de problemas

Si no hay archivos en el bucket de destino, puede verificar si hay errores en el panel de Amazon CloudWatch.

1. Navegue hasta Amazon CloudWatch.
2. Seleccione Dashboards a la izquierda y elija el tablero creado por la implementación como se muestra en la Figura 14. En este ejemplo, usamos “etl” como código de prefijo.

Figura 14: Ubicación del panel de Amazon CloudWatch

3. Se muestra un tablero como se muestra en la Figura 15. Revise los datos de los widgets para identificar posibles errores, como llaves de aplicaciones de Azure incorrectos o permisos insuficientes para la cuenta de Azure Blob Storage.

Figura 15: Una vista del panel de control de Amazon CloudWatch

En el ejemplo anterior, copiamos 76 archivos, para un total de 122.11GB en 7.32 segundos.

Limpieza

Antes de eliminar la pila de AWS CloudFormation, deberá vaciar el bucket de Amazon S3.

1. Navegue a Amazon S3 en la consola de administración de AWS.
2. Elija el bucket de Amazon S3 creado durante la implementación y verifique su contenido. Es posible que desee conservar los datos para su uso futuro. Si desea conservar los archivos, mueva la carpeta a otro bucket de Amazon S3.
3. Cuando esté listo, seleccione el bucket de Amazon S3 y elija Empty como se ilustra en la Figura 16

4. Siga las instrucciones que aparecen en pantalla para confirmar la acción.
5. Por último, siga esta documentación para eliminar la plantilla de AWS CloudFormation.

Conclusión

En esta entrada de blog, le mostramos cómo puede usar los servicios de AWS para construir una aplicación sin servidor que copie datos de Azure Blob Storage a Amazon S3 de una manera eficiente y rentable.