Amazon Web Services ブログ

Category: Database

AWS の 1 週間のまとめ – Amazon API Gateway、AWS Step Functions、Amazon ECS、Amazon EKS、Amazon LightSail、Amazon VPC など – 2024 年 1 月 29 日

1月22日週も当社のサービスチームはお客様のためにイノベーションを続けており、Amazon Web Servi […]

AWS 認定の廃止と開始のお知らせ

2024 年 4 月に、AWS Certified Data Analytics – Specialty (DAS)、AWS Certified Database – Specialty (DBS)、AWS Certified: SAP on AWS – Specialty (PAS) の 3 つの AWS 認定を廃止します。また、2024 年 3 月からは新たに AWS Certified Data Engineer – Associate (DEA) の提供を開始します。廃止される AWS 認定の取得や再認定をする場合は、期日までに試験を受験してください。

Amazon DynamoDB のプロビジョンドキャパシティを使用した突発的なトラフィック増加への対処

テーブルでプロビジョンドキャパシティを使用する場合、突然のリクエストトラフィックの増加 ( スパイク ) に対して、スロットルされることなく対処するための最善の方法を検討するのは課題の一つです。スロットルは、リクエストレートが設定された制限を超えたことを DynamoDB が検知した場合に発生するサービス応答です。たとえば、テーブルの書き込み容量ユニット ( WCU ) を 10,000 にプロビジョニングしており、トラフィックが 20,000 を消費するレートでアクセスされた場合、やがてスロットルが発生し、スロットルされたリクエストを処理するためリトライをする必要があります。
突発的かつ長時間続くトラフィックスパイクほど、テーブルにスロットルが発生する可能性が高まります。ただし、突発的なトラフィックに対して、スロットルの発生を避けることができないわけではありません。ここでは、トラフィックのスパイクに対処するための 8 つの設計と、それぞれの利点と欠点を紹介します。

AWS Step Functions の Distributed Map と再実行機能を使用した効率的な ETL パイプラインの構築

AWS Step Functions は、完全マネージドのビジュアルワークフローサービスで、AWS Glue、Amazon EMR、Amazon Redshift などのさまざまな抽出・変換・読み込み (Extract, Transform, Load; ETL) テクノロジーを含む複雑なデータ処理パイプラインを構築できます。Step Functions では、失敗、中止、タイムアウトしたステートからワークフローを再実行できるようになりました。この投稿では、Step Functions のDistributed Map ステートを使用して、Amazon Relational Database Service (Amazon RDS) のテーブルからデータをエクスポートする ETL パイプラインジョブをご紹介します。その後、障害をシミュレートし、新しい失敗したステートから再実行する機能を使用して、障害が発生したタスクを障害発生地点から再起動する方法をデモンストレーションします。

← Older posts
Newer posts →