Blog de Amazon Web Services (AWS)

Discusión de las opciones de almacenamiento para Windows Server en AWS, parte 1: Gateway de archivos Amazon FSx

Por: Caio Ribeiro César, Arquitecto de Soluciones Especializadas en Microsoft  AWS
Diego Voltz, Arquitecto de Soluciones Senior em Enterprise AWS y
Samuel Sousa, Arquitecto de Soluciones especialista en Storage AWS.

 

AWS Storage Gateway es un conjunto de servicios que permite ampliar los beneficios de la nube a las aplicaciones que residen en las instalaciones. La integración se realiza sin necesidad de modificar la forma en que las aplicaciones se comunican actualmente porque la comunicación se realiza mediante el uso de protocolos de almacenamiento estándar como NFS, SMB e iSCSI. AWS Storage Gateway tiene cuatro tipos: Volume Gateway, Tape Gateway, Amazon S3 File Gateway y Amazon S3 File Gateway.

Los dos últimos serán objetos de estudio de esta serie, pero primero, hablemos un poco de Amazon FSx para Windows.

Amazon FSx para Windows File Server proporciona almacenamiento de archivos altamente fiable, escalable y totalmente administrado, accesible mediante el protocolo Service Message Block (SMB).  Este servicio se basa en el sistema operativo Windows Server y ofrece una amplia gama de características administrativas (cuotas de usuario, instantáneas, integración con Microsoft Active Directory, deduplicación de datos, entre otras). Amazon FSx para Windows ofrece opciones de implementación Multi-AZ y AZ única, copias de seguridad totalmente gestionadas y cifrado de datos en reposo y en tránsito. Además, los clientes pueden optimizar las necesidades de carga de trabajo y el rendimiento con opciones de almacenamiento SSD y HDD, además de escalar el almacenamiento y cambiar el rendimiento del sistema de archivos en cualquier momento. Se puede acceder al almacenamiento de archivos Amazon FSx desde instancias y dispositivos informáticos Windows, Linux y macOS que se ejecutan en AWS o en las instalaciones.

En el 2020, creamos una serie de publicaciones que explican las características de Amazon FSx para Windows. Esta serie tiene cuatro capítulos:

  1. Creación y configuración de FSx
  2. Más características: VolumeShadowCopy, espacio de nombres DFS, deduplicación de datos y cuotas
  3. Asignación de FSx a servidores Linux
  4. Migración de datos con AWS DataSync (escenario multirregional)

También en el 2020 creamos un taller bajo demanda que analiza y demuestra las características y arquitecturas de Amazon FSx para Windows.

En esta nueva serie, analizaremos y compararemos las opciones de almacenamiento de Windows Server en AWS. Se dividirá en tres partes:

  • Parte 1: Amazon FSx File Gateway (usted está aquí)
  • Parte 2: Gateway de archivos de Amazon S3
  • Parte 3: Amazon FSx File Gateway vs. Gateway de archivos de Amazon S3

Como se describe anteriormente,  tenemos varias publicaciones sobre Amazon FSx para Windows. En esta ocasión, hablaremos del lanzamiento realizado en el 2021: Amazon FSx File Gateway.

Amazon FSx File Gateway es un nuevo tipo de puerta de enlace de archivos que proporciona baja latencia y acceso eficiente a recursos compartidos de archivos de Amazon FSx para Windows File Server. En un escenario en el que el acceso se hace desde el entorno local, debido a los requisitos de latencia o ancho de banda, podemos utilizar Amazon FSx File Gateway para obtener acceso directo a sistemas de archivos compartidos Windows totalmente administrados, altamente confiables y escalables hasta PB (utilizando espacios de nombres DFS) proporcionados por Amazon FSx para Windows File Server.

La integración de Amazon FSx para Windows con Amazon FSx File Gateway presenta varias ventajas:

  1. Eliminar los servidores de archivo del entorno local y consolidar todos los datos en AWS para aprovechar la escalabilidad y la economía del almacenamiento en la nube.
  2. Proporcionar opciones que se puedan utilizar para una variedad de cargas de trabajo, incluidas aquellas que requieren acceso local a los datos en la nube (mayor velocidad de acceso híbrido). El acceso de baja latencia permite continuar el uso de aplicaciones sensibles a la latencia. El almacenamiento en caché conserva el ancho de banda compartido entre el entorno local y la nube, el cual es importante cuando muchos usuarios intentan acceder directamente a los archivos compartidos.
  3. Las aplicaciones que requieren permanecer en el entorno local pueden beneficiarse de la misma baja latencia y alto rendimiento que tendrían al ejecutarse en la nube Elastic Compute en AWS (EC2), sin sobrecargar sus redes ni afectar las latencias experimentadas por sus aplicaciones más exigentes.
  4. La adopción de la nube se puede realizar en varios pasos y con una mayor granularidad, lo que reduce el impacto y el tiempo de desmontaje del entorno en las instalaciones.
  5. Este modelo de arquitectura hace que los datos residan en Amazon FSx para Windows, utilizando las diversas ventajas de este producto.
  6. Integración con copias de seguridad (incluidas las copias de seguridad realizadas directamente en Amazon FSx para Windows y AWS Backup). Antes de iniciar una copia de seguridad, Amazon FSx se comunica con cada Amazon FSx File Gateway forzar la escritura de datos que aún no han sido persistidos al almacenamiento, lo que ayuda a reducir aún más la carga administrativa y las preocupaciones al mover los sistemas de archivos compartidos locales a la nube.
  7. Disminución del costo de transferencia de datos en AWS en comparación con el escenario en el cual la aplicación accede directamente a Amazon FSx para Windows. Para obtener más información sobre los costos de transferencia de datos en AWS, haga clic aquí.

Amazon FSx File Gateway está disponible en varias opciones de plataforma: dispositivo físico, máquinas virtuales (VMware ESXi, Microsoft Hyper-V, KVM Linux) o en EC2.

Para mostrar la funcionalidad, utilizaremos un Amazon FSx para Windows en la región de São Paulo (sa-east-1) como fuente de datos de almacenamiento. Recuerde que tenemos como requisitos previos la configuración de una VPC, un grupo de seguridad (como mínimo) y, en el caso de la configuración Multi-AZ, dos subredes (una en cada zona de disponibilidad). Tras validar los requisitos previos, estableceremos la tasa de transferencia en 32 MB/s, mínima necesaria para la demostración de la funcionalidad de auditoría.

 

Imagen 1: Creación de Amazon FSx para Windows con la configuración de Multi-AZ, SSD de 32 GB y 32 MB/S de tasa de transferencia .  La auditoría de acceso a archivos requiere un sistema de archivos con una capacidad de transferencia mínima de 32 MB/s.

 

Imagen 2: Configuración de auditoría de Amazon FSx para Windows.

 

Imagen 3: Se está creando Amazon FSx para Windows.

 

Imagen 4: Se ha creado Amazon FSx para Windows.

 

Imagen 5: Acceso a los datos de Amazon FSx.

 

Para la creación de Amazon FSx File Gateway, seleccionamos la opción «Almacenamiento > Storage Gateway» o buscamos el producto «Storage Gateway».

 

Imagen 6: Búsqueda de Storage Gateway en la lista de productos de AWS.

 

Imagen 7: Búsqueda de Storage Gateway en la barra de búsqueda.

 

Ahora seleccionamos la opción «Create Gateway» (Crear puerta de enlace) para crear la puerta de enlace de archivos que se utilizará en esta demostración.

 

Imagen 8: Inicio de la configuración de File Gateway.

 

Seleccionamos la opción «Amazon FSx File Gateway».

 

Imagen 9: Selección de la opción «Amazon FSx File Gateway».

 

En la opción de plataforma, seleccionaremos «Amazon EC2» a manera de prueba. En general, las opciones más comunes son VMware, Hyper-V, KVM o un dispositivo físico. Note que el modelo de arquitectura consiste en mantener el almacenamiento en caché en el entorno local. El modelo EC2 se utiliza normalmente cuando los datos se encuentran en Amazon FSx para Windows y se requiere almacenamiento en caché de lectura para una aplicación que también reside en EC2, o incluso un almacenamiento en caché para escenarios de varias regiones.

 

Imagen 10: Selección de la plataforma de Amazon FSx File Gateway.

 

Seguiremos las instrucciones de configuración para ejecutar Amazon FSx File Gateway en EC2.

 

Imagen 11: EC2 Amazon FSx File Gateway en ejecución.

 

Ahora seleccionaremos la opción VPC para configurar el punto de enlace. Para obtener más información, haga clic aquí.

 

Imagen 12: Selección del tipo de punto de enlace para Amazon FSx File Gateway.

 

En el siguiente paso, nos conectaremos a Amazon FSx File Gateway.

 

Cuadro 13: Conexión a Amazon FSx File Gateway.

 

Ahora activaremos Amazon FSx File Gateway y asignaremos un nombre al servicio.

 

Cuadro 14: Habilitación de Amazon FSx File Gateway y Attrib.

 

Ahora elegiremos los discos locales de Amazon FSx File Gateway para utilizarlos como almacenamiento en caché (búfer de carga). Los discos locales corresponden a los discos aprovisionados en la instancia de EC2.

 

Cuadro 15: Selección de los discos para almacenar en caché.

 

Creamos un nuevo grupo de registros en CloudWatch para almacenamiento de datos de monitoreo de Amazon FSx File Gateway. *

 

Imagen 16: Habilitación del registro.

 

En la siguiente pantalla, revisamos la configuración y seleccionamos la opción «Finalizar». Nos redirige a la consola de Storage Gateway, con nuestra Amazon FSx File Gateway en ejecución.

 

Imagen 17: Amazon FSx File Gateway en ejecución.

 

Ahora seleccionaremos la opción «Adjuntar sistema de archivos FSx».

 

Imagen 18: Integración de Amazon FSx File Gateway con Amazon FSx para Windows.

 

En la siguiente pantalla de configuración, agregamos la información del Active Directory del cual nuestro Amazon FSx for Windows será miembro, junto con la información de usuario para realizar la unión al dominio.

Asegúrese de que EC2 pueda resolver a través de DNS las direcciones IP de «nombre de dominio».  Para obtener más información sobre el DNS híbrido de AWS con Active Directory, haga clic aquí.

 

Imagen 19: Agregar Amazon FSx File Gateway al dominio.

 

Imagen 20: Agregar Amazon FSx File Gateway al dominio, estado en curso.

 

Ahora asignaremos el Amazon FSx para Windows que utilizará el Amazon FSx File Gatewat. En esta opción, seleccionamos el sistema de archivos Amazon FSx para Windows que se creó para esta demostración.

 

Cuadro 21: Selección de Amazon FSx para Windows.

 

También podemos configurar los intervalos en los que la caché de Amazon FSx File Gateway actualizará los archivos (intervalo de actualización). En esta demostración, usamos un TTL de 1 hora.

 

Imagen 22: Asignación del intervalo de actualización.

 

En la página siguiente, revisamos la configuración y hacemos clic en «Attach FSx file system» (adjuntar el sistema de archivos compartido FSx).

 

Imagen 23: Amazon FSx File Gateway y Amazon FSx para Windows en proceso de integración.

 

Después de unos minutos, el estado cambia a «Available» (disponible).

 

Imagen 24: Amazon FSx File Gateway integrado con Amazon FSx para Windows.

 

Ahora que hemos configurado Amazon FSx File Gateway, podemos utilizar esta función en una instancia EC2 que ejecuta Windows.

 

Imagen 25: Comando para asignar una unidad de red con Amazon FSx File Gateway.

 

Podemos confirmar que Amazon FSx File Gateway está almacenando en caché el contenido de Amazon FSx:

 

Cuadro 26: Archivos de fotos almacenados en Amazon FSx para Windows.

 

Imagen 27: Archivos de fotos almacenados en Amazon FSx File Gateway.

 

Ahora, hemos creado una nueva carpeta en Amazon FSx, llamada «Test». Podemos ver que Amazon FSx File Gateway todavía no la ha «replicado» debido al intervalo de tiempo de actualización configurado (1 hora):

 

Imagen 28: Carpeta de prueba creada en Amazon FSx para Windows.

 

Imagen 29: La carpeta «Test» aún no se ha replicado en FSx File Gateway.

 

Imagen 30: Carpeta de prueba replicada en Amazon FSx File Gateway después de 1 hora.

 

Al hacer clic en «Propiedades» de cualquier archivo o carpeta de Amazon FSx File Gateway, también podemos confirmar que se mantienen los permisos de Active Directory (Seguridad).

 

Imagen 31: Permiso del archivo en Amazon FSx File Gateway.

 

Los registros de  los eventos de auditoría de Amazon FSx para Windows se guardan Cloudwatch:

 

Imagen 32: Eventos de auditoría de Amazon FSx para Windows.

 

Optar por una solución de puerta de enlace cercana a las aplicaciones locales puede tener un impacto positivo en el rendimiento. Para demostrarlo, descargaremos la última versión de DiskSPD y realizaremos una prueba de rendimiento para comparar Amazon FSx con Amazon FSx File Gateway.

En este ejemplo se ejecutará una prueba de I/O aleatorio de 30 segundos utilizando un archivo de prueba de 2 GB con una tasa de escritura del 25% y lectura del 75%, con un tamaño de bloque de 8K. Utilizará ocho hilos de trabajo, cada uno con cuatro operaciones de I/O y un valor de escritura de 1 GB.

Configuración

  • Unidad de disco duro Amazon FSx con una tasa de transferencia de 32 MB/s (EE. UU., Oregón occidental).
  • Servidor de aplicaciones en EC2 M5xLarge (Sudeste Asiático Singapur).
  • Conexión (interconexión de VPC) entre Estados Unidos, Oregón occidental y el sudeste asiático Singapur.
  • Amazon FSx File Gateway Appliance instalado en una instancia de caché EC2 M4xLarge de 150 GB (Sudeste Asiático Singapur)

 

Prueba 1) Amazon FSx para Windows

$random = $(Get-Random)

fsutil file createnew 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1G 
\\amznfsxovuaxsaw.example.com\share\${env:computername}-$random.dat

 

Imagen 33: Ejecución de diskspd en Amazon FSx para Windows

 

Prueba 2) Amazon FSx File Gateway 

$random = $(Get-Random)

fsutil file createnew 
\\amazonfgw.example.com\share\${env:computername}-$random.dat 2000000000

DiskSpd.exe –b8K –d30 –o4 –t8 –h –r –w25 –L –Z1Gdisk 
\\amazonfgw.example.com\share\${env:computername}-$random.dat

Imagen 34: Ejecución de diskspd en Amazon FSx File Gateway

 

Al comparar los resultados, hemos podido demostrar que el uso de Amazon FSx File Gateway mejora el rendimiento:

 

E/S de lectura de Amazon FSx para Windows

Imagen 35: Amazon Fsx para Windows: promedio de 157 IOPS.

 

Lectura de Amazon FSx para Windows (ms)

Imagen 36: Amazon FSx para Windows: 99% de las operaciones de lectura con una latencia promedio de 329 milisegundos.

 

IO de lectura de Amazon FSx File Gateway

Imagen 37: Amazon Fsx File Gateway: media de 1587 IOPS.

 

Lectura de Amazon FSx File Gateway (ms)

Imagen 38: Amazon FSx para Windows: 99% de las operaciones de lectura con una latencia promedio de 215 milisegundos.

En más pruebas realizadas con Amazon FSx File Gateway, hemos demostrado una mejora significativa en el acceso:

Resultados con Amazon FSx para Windows (sin Amazon FSx File Gateway)

  • Entre 30 y 40 minutos para copiar 3 GB a Amazon FSx para Windows.
  • 5 minutos para eliminar los 3 GB (separados en 186 archivos).
  • Entre 30 y 45 minutos para una copia de 8 GB (archivo único) de Amazon FSx para Windows para EC2.

Resultados de Amazon FSx para Windows integrados con Amazon FSx File Gateway

  • Entre 1 a 2 minutos para copiar 3 GB a Amazon FSx File Gateway.
  • 1 o 2 segundos para eliminar los 3 GB (separados en 186 archivos).
  • 1 a 3 minutos para copiar 8 GB (archivo único) desde Amazon FSx File Gateway a EC2.

 

*Para validar las métricas de uso de Amazon FSx File Gateway, simplemente vaya a CloudWatch y cree un panel de control.

Imagen 39: Panel de uso de Amazon FSx File Gateway.

 

En este blog, demostramos el uso de Amazon FSx File Gateway para proporcionar baja latencia y acceso eficiente a los recursos compartidos de archivos de Amazon FSx para Windows File Server.

 

 

 

 

Imagen 40: Arquitectura de Amazon FSx File Gateway, con acceso de cliente SMB (local) y conexión de red a la nube de AWS, usando Amazon FSx para Windows como fuente de almacenamiento de datos.

 

Este artículo fue traducido del Blog de AWS en Portugués

 

Sobre los autores

Caio Ribeiro César es Arquitecto de Soluciones Especialista en Microsoft en AWS Brasil.

 

 

 

 

Diego Voltz trabaja como arquitecto de soluciones sénior, en el segmento enterprise AWS.  Diego se ha desempeñado como CTO de Startups  en los sectores de Web Hosting y HealthTech, centrándose en virtualización, almacenamiento y contenedores. Hoy, ayuda a los clientes de AWS en el proceso de adopción de la nube y la optimización de costos.

 

 

 

Samuel Sousa es Arquitecto de Soluciones especialista en Storage AWS América Latina.