Publicado en: Mar 13, 2024
El conector de Amazon S3 para PyTorch ahora permite guardar los puntos de control del modelo PyTorch Lightning directamente en Amazon S3, lo que mejora el costo y el rendimiento de sus trabajos de entrenamiento de machine learning. PyTorch Lightning es un marco de código abierto que ofrece una interfaz de alto nivel para el entrenamiento con PyTorch. El conector de Amazon S3 para PyTorch optimiza automáticamente las solicitudes de S3 para mejorar la carga de datos y el rendimiento de los puntos de control para sus cargas de trabajo de entrenamiento. Los puntos de control del modelo de PyTorch Lightning se pueden guardar hasta un 40 % más rápido con el conector de Amazon S3 para PyTorch que con la escritura en el almacenamiento de instancias de Amazon EC2.
El conector de Amazon S3 para PyTorch ofrece una nueva implementación de la primitiva de puntos de control de PyTorch Lightning que puede usar para guardar los puntos de control del modelo de machine learning directamente en Amazon S3. Los puntos de control de los modelos generalmente requieren pausar los trabajos de entrenamiento, por lo que el tiempo necesario para guardar un punto de control afecta a los tiempos generales de entrenamiento. Con esta integración, puede guardar, cargar y eliminar puntos de control directamente desde los trabajos de entrenamiento de PyTorch Lightning en Amazon S3.
El conector de Amazon S3 para PyTorch es un proyecto de código abierto. Para comenzar, visite la página de GitHub.