Publicado en: Nov 22, 2023
El conector de Amazon S3 para PyTorch ofrece un alto rendimiento para los trabajos de entrenamiento de PyTorch que acceden a los datos y los almacenan en Amazon S3. PyTorch es un marco de machine learning de código abierto muy utilizado por los clientes de AWS para crear y entrenar modelos de machine learning. El conector de Amazon S3 para PyTorch optimiza automáticamente las solicitudes de lectura y lista de S3 para mejorar la carga de datos y el rendimiento de los puntos de control para sus cargas de trabajo de entrenamiento. Con el conector de Amazon S3 para PyTorch, puede guardar los puntos de control del modelo de entrenamiento de machine learning hasta un 40 % más rápido que en el almacén de instancias de Amazon EC2.
El conector de Amazon S3 para PyTorch ofrece una nueva implementación de la primitiva de conjuntos de datos de PyTorch que puede utilizar para cargar datos de entrenamiento desde Amazon S3. Admite conjuntos de datos estilo mapa para patrones de acceso a datos aleatorios y también conjuntos de datos estilo iterable para patrones de acceso a datos secuenciales. El conector de Amazon S3 para PyTorch también incluye una interfaz de puntos de control para guardar y cargar puntos de control directamente en Amazon S3, sin tener que guardar primero en el almacenamiento local ni escribir código personalizado para cargarlo en Amazon S3.
El conector de Amazon S3 para PyTorch es un proyecto de código abierto. Para comenzar, visite la página de GitHub.