AWS Step Functions のお客様

Coinbase は、ビットコイン、イーサリアム、ライトコインなどの暗号通貨の購入、販売、保管を容易にする安全なデジタル通貨交換プラットフォームです。2017 年の時点で、Coinbase は世界最大のビットコインブローカーであり、33 か国のユーザーにサービスを提供しています。Coinbase にはパフォーマンスの高いエンジニアリング組織があります。何百ものプロジェクトに 1 日何百回もデプロイし、新機能をアイデアからリリースまで 1 時間以内にリリースして、失敗する確率を低く抑えるようにしています。これが可能なのは、変更管理とデプロイのプロセスのほとんどが自動化されており、エンジニアが DevOps カルチャーを採用しているためです。

その自動化の重要な部分は、安全で自動化されたデプロイパイプラインである Odin です。Odin はプロジェクトリリースの説明を取得し、安全かつ確実に AWS にローンチします。Coinbase は AWS Step Functions を使用して Odin を自動化し、12 要素のアプリケーションを AWS に簡単、確実、安全にデプロイできるようにしました。Step Functions は、インフラストラクチャのプロビジョニングや管理を必要としないサーバーレスの運用モデルで、すぐに使用できる信頼性とエンドツーエンドの可視性を実現するツールを提供しました。Odin を Step Functions ステートマシンとして設計することで、Coinbase はデプロイの進行状況を視覚的に監視し、各デプロイを段階的に監査できます。サービスが失敗した理由に関する新たな insight を得たことで、Coinbase はミッションクリティカルなデプロイの成功率を 90% から 97% に高めることができました。エンジニアに可視性を提供することで、問題を迅速に診断して解決できるようになり、デプロイの失敗に関連するサポートチケットの数が減りました。

「チームがワークフローに高レベルの自動化を組み込むことに集中すれば、安定性が生まれます。Coinbase は、AWS Step Functions のようなサービスを使い高いレベルの自動化を構築することで、安定性のために速度を犠牲にすることなく、その両方を実現しています。」

Coinbase – インストラクチャエンジニア、Graham Jenson 氏

Cox Automotive 社は、自動車の購入、販売、所有、使用をより簡単にします。デジタル広告をサポートするために、機械学習予測モデルの量と質を高めたいと考えていました。しかし、時間が経つとモデルが変動してしまい、判断を誤る可能性があることを懸念していました。データサイエンティストの監視をモデルの再トレーニングプロセスに導入するのが最善の解決策でしたが、課題は意思決定科学チームのペースを落とすことなくそれを実行することでした。

Cox Automotive は、AWS Step Functions で調整するモデル承認パイプラインを含め、機械学習モデルの配信ワークフローを AWS で自動化することに決めました。Amazon SageMaker を使用してモデルを再トレーニングすると、出力アーティファクトと診断が Amazon S3 にアップロードされ、Step Functions がトリガーされてモデル承認ワークフローが実行されます。メールがデータサイエンティストに送信されるので、データサイエンティストはモデルを確認して「承認」または「拒否」をクリックします。承認されると、Step Functions はアーティファクトを宛先の S3 バケットに送信し、新しいモデルが使用可能になったことを示す Amazon SNS 通知も送信します。

自動化への投資により、両チームともより意義の大きい活動に取り組む時間ができました。Cox Automotive は、再利用可能な自動化プロセスを導入することで、より正確なモデルの作成にさらに多くの時間を費やすことができるようになり、デプロイパイプラインの構築にかける時間を減らすことができます。

「Amazon SageMaker や AWS Step Functions などのサービスを使用してモデルのデプロイを自動化することで、人的介入やオーバーヘッドを最小限に抑えながら、ほぼ自動化された高品質のモデルを繰り返しビジネスに提供できるようになりました。」

Cox Automotive – リードソリューションアーキテクト、Jeremy Irwin 氏

CyberGRXは、サードパーティのサイバーリスクを特定、測定、優先順位付けするリスク管理プラットフォームを構築し、世界中の企業のサードパーティサイバーリスク管理を変革しています。Amazon Web Services (AWS) での構築を採用したのは、デプロイが容易であることと、既存のワークフローに容易にマッピングできる設計が理由です。

「ベイズネットワークアルゴリズムで大規模な並列計算を実行する必要があり、AWS Step Functions の分散マップステートを使用することにしました。以前には実現できなかった方法でスケールインできるからです。分散マップを使用することで、これまで処理に 8 日以上かかっていた全データ取引、つまり 227,000 社分のデータ (570 億データポイント) を 1 時間以内に処理できました。人件費を大幅に節約できただけでなく、コストも大幅に削減できました」

チャールズ・バートン、ディレクター、シニアソフトウェアエンジニア －CyberGRX

運転免許庁 (DVLA) は、英国運輸省の執行機関です。5,000 万件を超える運転記録と 4,000 万件を超える車両記録を保管し、年間 70 億ポンドを超える車両消費税 (VED) を徴収しています。DVLA は、データ保護を確保しながら、顧客のニーズに合わせたサービスの開発を優先しています。DVLA は、AWS が提供する幅広いマネージドサービス、特に Amazon Elastic Kubernetes Service (Amazon EKS) を活用することで、運用の複雑さとコストを削減するために Amazon Web Services (AWS) を選択しました。

「DVLAでは、支払い、通知、レポートなどの内部API全体で英国の運転免許証申請を管理する必要があります。通常は個別のアカウントまたはAmazon EKSクラスターで実行されています。また、顧客の写真のアップロードなど、人間による長期にわたる作業をサポートする必要もありました。AWS Step Functions では、すべてのアカウントにわたるスケーラブルなマネージドサービスで複雑なプロセスオーケストレーションワークフローを定義して実行できます。複数の製品チームが、Step Functions を搭載した共有プラットフォームでアプリケーション処理ワークフローを構築しています。このアプローチを使用して、デジタル写真のアップロードと処理を行うまったく新しいサービスを迅速に開発して展開し、これまでに 80 万件を超える運転免許証申請を処理してきました。」

DVLA - ソフトウェアエンジニアリング責任者、Tom Collins 氏

Home24 は、家庭用品や生活用品のオンラインショッピングにおける欧州市場のリーダーです。データ分析プラットフォーム全体を AWS で実行し、市場データ、ソーシャルメディア、検索分析、社内 ERP システムなど、複数のデータソースを分析しています。AWS Step Functions を使用して、柔軟で長時間稼働するサーバーレス ELT パイプラインを構築しました。データエンジニアは、新しいデータソースを迅速に統合し、パイプラインを変更して新しい変換や分析を実行できるようになりました。Step Functions はサービス API が利用できない場合に自動的に再試行するため、プラットフォームは API 障害にも耐えることができます。

Outsystems は、迅速なアプリケーション開発のためのローコードのビジュアル開発プラットフォームを提供しています。ストレージを過剰にプロビジョニングすることなく、お客様がディスク容量を使い果たさないようにしたいと考えていました。そのために、Outsystems は AWS Step Functions を使用して自動サイズ変更プロセスを開発し、Amazon API Gateway の背後にあるサーバーレスマイクロサービスとして公開しました。これにより、Outsystems はデフォルトのデータベースを 1024 GB から 400 GB に変更できるようになり、ストレージコストを 60% 削減できました。これらのデータベースは、お客様の要求に合わせて必要に応じサイズを変更できます。

OutSystemsのユースケースについて詳しく見る

Xylem は、世界の水問題に対する革新的な技術ソリューションの開発に取り組む世界有数の水技術をリードする企業です。分析を行うために、Xylem は Hadoop ベースのオンプレミスデータレイクを使用して、電気、水道、ガスの計測データを大量に保存していました。しかし、このソリューションではデータ分析機能が制限されており、新しいプロジェクトを追加できるほどの柔軟性がありませんでした。データ処理には一日 4 ～ 5 時間かかり、新規顧客を追加した場合は最大で数日かかっていました。

Xylem データレイクを AWS Batch、AWS Step Functions、AWS Lambda を活用した AWS ベースのプラットフォームに移行することで、Xylem データチームはデータ分析機能を劇的に拡張することができました。Xylem は各入力ファイルを Step Functions ステートマシンに送り、そこでファイルを検証し、メタデータを追跡し、最後にデータを処理する AWS Batch ジョブを起動して監視します。各ステートマシンは独立しており、並行して動作します。AWS Batch ジョブはコンテナを自動的に割り当てるので、Xylem は数千ものファイルを同時に解析できるようになりました。ジョブがリソースを奪い合う心配はありません。その結果、Xylem はデータセットのサイズに関係なく、データ処理時間を 20 時間からわずか 2 時間に短縮することができました。

「Xylem データレイクの一部として AWS Step Functions を使用することで、私たちのイノベーションのペースは一変しました。他のエンジニアへのハンドオフを減らし、DevOps による中断を減らし、これまで可能だと思っていたよりも多くのテクノロジーを使用して、社内外の分析プロジェクトを開発できるようになりました。」

Xylem – ソフトウェア戦略担当副社長、Mitchell Hensley 氏

homson Reuters Corporation は、カナダの多国籍マスメディアおよび情報企業です。多くのメディア企業と同様に、大量の受信動画を処理する必要があります。1 日あたり 350 個を超えるニュースビデオクリップを、それぞれ 14 の形式に変換する必要がありました。また、ニュースや情報を提供する信頼できるプロバイダーとして、これをできるだけ早く行う必要もありました。それらのファイルはすべて同じ形式ですが、長さは大きく異なります。この大きな差異に対処するため、Thomson Reuters はAWS Step Functions を使用してサーバーレスの分割動画トランスコーディングアプリケーションを開発しました。ビデオセグメントを並行して処理できるようになり、通常のビデオは20 分かかっていましたが、今では 2 分で処理できるようになりました。

トムソン・ロイターのソリューションの詳細はこちら

Yelp は地元の事業に焦点を当てており、お客様がどの都市にいても、探しているものを見つけるお手伝いをします。Yelp は、ビジネスに不可欠なサブスクリプション請求プロセスをモダナイズしたいと考えていました。コードは過去 10 年間で増大したため、リファクタリングは難しく、費用がかかり、リスクが高いように思えました。Yelp は Step Functions を使って、移行を小さな段階的なステップの積み重ねとしてアプローチしました。まず、Yelp はプロセス全体を Step Functions の中に移動させただけで、明確に定義された API と組み込みのエラー処理という利点がすぐに得られました。時間の経過とともに、Yelp はコードをより使いやすい「ひと口サイズ」の断片に徐々に分解し続け、最小限の労力で、コードを変更することなく、一度に 1 つのタスクをサーバーレスの AWS Lambda 関数またはコンテナに移動できるようになりました。

Yelpが彼らのアプローチを説明しているのを聞くか、この話についてのブログを読んでください。