投稿日: Nov 28, 2022
AWS Glue for Ray は、AWS Glue 上の新しいエンジンオプションです。データエンジニアは AWS Glue for Ray を使用して、大規模なデータセットの処理を Python とポピュラーな Python ライブラリで行えます。AWS Glue は、サーバーレスでスケーラブルなデータ統合サービスであり、複数のソースからデータを検出、準備、移動、統合します。AWS Glue for Ray は、このデータ統合のサーバーレスオプションを Ray (ray.io) と組み合わせます。Ray は、Python ワークロードがスケールしやすくなる、新しくポピュラーなオープンソースのコンピューティングフレームワークです。
今回の新オプションでは、コードの実行中に使用したリソースの料金のみが請求されます。また、リソースの設定やチューニングが必要ありません。AWS Glue for Ray は、マルチノードクラスターでの Python コードの分散処理を容易にします。 AWS Glue の ETL (抽出、変換、ロード) ジョブを実行する場所でならどこでも、Ray ジョブを作成、実行できます。これには、既存の AWS Glue ジョブ、コマンドラインインターフェイス (CLI)、API が含まれます。Ray エンジンは、AWS Glue Studio ノートブック、Amazon SageMaker Studio ノートブック、またはローカルで選択できます。Ray ジョブの準備ができたら、オンデマンドで、またはスケジュールに従って実行できます。
AWS Glue for Ray のプレビューを利用可能な AWS リージョンは、米国東部 (オハイオ)、米国東部 (バージニア北部)、米国西部 (オレゴン)、アジアパシフィック (東京)、欧州 (アイルランド) です。
詳細については、ドキュメントを参照してください。