AWS PCS bietet jetzt ein produktionsbereites Deep-Learning-AMI
Heute führt AWS Parallel Computing Service (AWS PCS) das PCS-fähige DLAMI ein, ein von AWS verwaltetes Amazon Machine Image, das auf dem Deep Learning Base GPU AMI (Ubuntu 24.04) basiert. Es bietet eine Grundlage in Produktionsqualität für KI/ML-Training und High Performance Computing (HPC), wobei die wichtigsten Infrastrukturkomponenten vorinstalliert und auf Kompatibilität getestet wurden.
AWS PCS ist ein verwalteter Service, der das Ausführen und Skalieren von HPC-Workloads und das Erstellen wissenschaftlicher und technischer Modelle auf AWS mit Slurm erleichtert. Mit AWS PCS können Sie vollständige, elastische Umgebungen erstellen, die Rechen-, Speicher-, Netzwerk- und Visualisierungstools integrieren. AWS PCS vereinfacht den Cluster-Betrieb mit verwalteten Updates und integrierten Observability-Features und trägt so dazu bei, den Wartungsaufwand zu reduzieren. Sie können in einer vertrauten Umgebung arbeiten und sich auf Ihre Forschung und Innovation konzentrieren, anstatt sich um die Infrastruktur zu kümmern.
Das AMI übernimmt Betriebssystem, NVIDIA-GPU-Treiber, CUDA-Toolkit, EFA-Treiber und Lustre-Client vom ursprünglichen Deep Learning Base GPU AMI und fügt PCS Agent, Slurm für PCS und EFS-Dienstprogramme hinzu. Es sind mehrere unterstützte Slurm-Versionen enthalten. Die richtige Version wird automatisch basierend auf Ihrer Cluster-Konfiguration aktiviert. Sie können Frameworks, Bibliotheken und Anwendungssoftware hinzufügen, um Ihre Umgebung zu vervollständigen. AWS veröffentlicht regelmäßig aktualisierte AMIs, wenn die DLAMI- oder PCS-Quellkomponenten aktualisiert werden, und stellt fortlaufende Sicherheitspatches und Treiberupdates bereit.
Das AWS PCS-fähige DLAMI ist für x86_64- und arm64-Architekturen ohne zusätzliche Kosten in allen AWS-Regionen verfügbar, in denen AWS PCS verfügbar ist. Geben Sie zunächst ein PCS-fähiges AMI an, wenn Sie Ihre Computing-Knotengruppen konfigurieren. Weitere Informationen finden Sie unter Verwenden von PCS-fähigem DLAMI im AWS-PCS-Benutzerhandbuch. Eine Referenz-Cluster-Architektur, die auf PCS-fähigem DLAMI aufbaut, finden Sie im Repository awsome-distributed-ai auf GitHub.