Publié le: Nov 27, 2023
À compter d'aujourd'hui, l'interface de la ligne de commande AWS (AWS CLI) et le kit SDK Python utilisent automatiquement le Common Runtime (CRT) AWS pour accélérer le transfert de données entre les instances Amazon S3 et les instances Trn1, P4d et P5 d'Amazon EC2. Le CRT AWS met en œuvre les bonnes pratiques d'Amazon S3 en matière de performances (parallélisation des demandes, nouvelle tentative automatique, équilibrage de charge DNS, etc.) afin de fournir des taux de transfert de données élevés entre Amazon EC2 et Amazon S3. Par conséquent, les tâches de machine learning téléchargent désormais jusqu'à trois fois plus vite les données d'apprentissage à partir d'Amazon S3 et chargent jusqu'à cinq fois plus vite les points de contrôle des modèles sur Amazon S3, ce qui réduit la durée totale de l'apprentissage.
Cette modification est automatiquement incluse dans les dernières images AWS Deep Learning AMI (DLAMI) lors du lancement des instances Trn1, P4d et P5 d'Amazon EC2. Celles-ci sont idéales pour les modèles d'IA générative, notamment les grands modèles de langage et de diffusion. Désormais, les applications qui utilisent AWS CLI et le kit SDK Python pour accéder à Amazon S3 bénéficient automatiquement des avantages en termes de performances du CRT AWS. Ce dernier applique en effet des optimisations par rapport à la bande passante élevée du réseau qui est disponible sur les instances. Ainsi, vous pouvez tirer le meilleur parti de vos ressources de calcul sans avoir à régler manuellement les performances de stockage. Pour en savoir plus, consultez la documentation du kit SDK Python et la documentation de l'interface de la ligne de commande.