Veröffentlicht am: Nov 28, 2022
AWS Glue for Ray ist eine neue Engine-Option für AWS Glue. Data Engineers können mit AWS Glue for Ray große Datensätze mit Python und gängigen Python-Bibliotheken verarbeiten. AWS Glue ist ein skalierbarer Serverless-Datenintegrationsservice, der zum Erkennen, Aufbereiten, Verschieben und Integrieren von Daten aus verschiedenen Quellen verwendet wird. AWS Glue for Ray kombiniert diese Serverless-Option für die Datenintegration mit Ray (ray.io), einem beliebten neuen Open-Source-Datenverarbeitungs-Framework, das Sie bei der Skalierung von Python-Workloads unterstützt.
Sie zahlen nur für die Ressourcen, die Sie während der Ausführung des Codes nutzen, und müssen keine Ressourcen konfigurieren oder einstellen. AWS Glue for Ray erleichtert die verteilte Verarbeitung Ihres Python-Codes über Multi-Node-Cluster. Sie können Ray-Aufträge überall dort erstellen und ausführen, wo Sie auch AWS-Glue-ETL-Aufträge (Extrahieren, Transformieren und Laden) ausführen. Dazu gehören bestehende AWS-Glue-Aufträge, Befehlszeilenschnittstellen (CLIs) und APIs. Sie können die Ray-Engine über Notebooks auf AWS Glue Studio, Amazon SageMaker Studio Notebook oder lokal auswählen. Wenn der Ray-Auftrag fertig ist, können Sie ihn bei Bedarf oder nach einem Zeitplan ausführen.
AWS Glue for Ray ist als Vorversion in den folgenden AWS-Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Tokio) und Europa (Irland).
Details finden Sie in der Dokumentation.