Analytics | Amazon Web Services ブログ

AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築

AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。Step Functions では、失敗、中止、タイムアウトしたステートからワークフローを再実行できるようになりました。この投稿では、Step Functions のDistributed Map ステートを使用して、Amazon Relational Database Service (Amazon RDS) のテーブルからデータをエクスポートする ETL パイプラインジョブをご紹介します。その後、障害をシミュレートし、新しい失敗したステートから再実行する機能を使用して、障害が発生したタスクを障害発生地点から再起動する方法をデモンストレーションします。

2023 年 11 月と 12 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内

2023 年 11 月と 12 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。
動画はオンデマンドでご視聴いただけます。

AWS IoT Greengrass V2 コンポーネントを使用した Amazon Kinesis Video Streams への産業用メディアの取り込み

このブログでは、AWS IoT Greengrass V2 コンポーネントを活用し、企業が数百の IP カメラからのメディアを Amazon Kinesis Video Streams に取り込む方法が詳細に説明されています。ライブストリーミング、オンデマンドビデオアップロード、ローカルキャッシュなどの機能を含む Kinesis Video Streams の利用に焦点を当て、具体的なデプロイ手順やスケーリングの考慮事項も提供されています。これにより、企業は様々な業界での利用を想定したスマートビルディングソリューションを構築できます。