Presentamos KNFSD File Cache, ahora en versión preliminar
Hoy, AWS anuncia la disponibilidad de KNFSD File Cache, una solución de código abierto con licencia Apache-2.0 para implementar una caché de sistema de archivos en red (NFS) escalable y de alta velocidad en AWS. La caché de archivos KNFSD File Cache monta las exportaciones desde uno o más servidores NFS de origen, ya sean locales, en otra zona o región de disponibilidad de AWS o en otra nube a través de AWS Interconnect (multinube), y las reexporta a clientes de NFS en AWS. Puede archivar varios archivadores locales, sistemas de archivos en la nube, como Amazon FSx para OpenZFS y Amazon FSx para NetApp ONTAP, y cualquier otro archivador compatible con NFS v3, v4.1 o v4.2. Los datos que se leen con frecuencia se almacenan en caché en la memoria y en el almacenamiento NVMe local, de modo que los archivos cruzan el enlace de alta latencia con la fuente una vez y, a continuación, se envían a grandes flotas de procesamiento a la velocidad de una VPC local. La solución está diseñada para cargas de trabajo de computación en ráfagas con gran cantidad de lectura, como la representación de efectos visuales, la simulación, los servicios financieros, las ciencias de la salud y biológicas, el diseño de microprocesadores, la previsión meteorológica y la energía.
KNFSD File Cache se basa en la tecnología estándar del kernel de Linux: nfs-kernel-server proporciona la reexportación de NFS y FS-Cache proporciona la caché de disco persistente. Como utiliza la pila NFS nativa, es totalmente compatible con el protocolo cliente-servidor de NFS, incluidas las lecturas y escrituras de rango de bytes, las escrituras sincrónicas y asincrónicas y los modos de escritura directa y alternativa. Crea la caché de imagen de máquina de Amazon (AMI) con Packer y, a continuación, implementa el clúster con el módulo Terraform incluido. Los nodos de caché se ejecutan en un grupo de escalamiento automático de Amazon Elastic Compute Cloud (Amazon EC2) en instancias de AMD, Intel o AWS Graviton, con el tráfico de clientes distribuido por turnos de DNS o un equilibrador de carga de red, y un escalamiento automático opcional en función del número de conexiones de clientes NFS activas. Un panel de Amazon CloudWatch proporciona más de 70 métricas a través de un agente basado en OpenTelemetry, que también puede publicar en herramientas de terceros, como Prometheus y Grafana.
La caché de archivos KNFSD File Cache (versión preliminar) está disponible en todas las regiones de AWS. No hay costos de licencia; solo paga por los recursos de AWS que consume.
Para empezar, visite el repositorio GitHub de KNFSD File Cache, el blog de lanzamiento y la guía de soluciones de AWS. Para obtener una guía detallada de implementación y configuración, consulte la documentación de GitHub.