投稿日: Jun 5, 2023
AWS Glue のデータ統合エンジンオプションである AWS Glue for Ray が一般利用可能になりました。AWS Glue for Ray は、データエンジニアや ETL (抽出、変換、ロード) デベロッパーが Python ジョブをスケールするのに役立ちます。AWS Glue はサーバーレスでスケーラブルなデータ統合サービスで、複数のソースからデータを検出、準備、移動、統合します。AWS Glue for Ray では、このデータ統合のサーバーレス機能を Ray (ray.io) と組み合わせています。Ray は Python ワークロードをスケールしやすくする、新しくて人気の高いオープンソースのコンピューティングフレームワークです。
AWS Glue の Apache Spark や Python エンジンと同様に、コードの実行中に使用したリソースに対してのみ料金が発生し、リソースの設定や調整は不要です。AWS Glue for Ray は、マルチノードクラスターでの Python コードの分散処理を容易にします。AWS Glue の ETL ジョブを実行する場所でならどこでも、Ray ジョブを作成、実行できます。これには、既存の AWS Glue ジョブ、コマンドラインインターフェイス (CLI)、API が含まれます。AWS Glue for Ray エンジンはローカルで選択することも、AWS Glue Studio と Amazon SageMaker Studio ノートブックのノートブックから選択することもできます。Ray ジョブの準備ができたら、オンデマンドで、またはスケジュールに従って実行できます。
AWS Glue for Ray が一般利用可能な AWS リージョンは、米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド) です。
詳細については、AWS Glue Data Integration Engines を参照するか、AWS Glue 開発者ガイド: AWS Glue for Ray をご覧ください。