Amazon、Amazon SageMaker を使って Visual Bin Inspection にかかるインフラストラクチャコストを概算で 40% 削減

VBI チームは、コンピュータビジョン、ML、画像処理アルゴリズムを使用して世界中の FC ネットワーク全体で画像を分析する自律型カウントシステムを構築しています。当初、VBI チームは Amazon Elastic Compute Cloud (Amazon EC2) C4 インスタンスで独自のソリューションを実行していました。このソリューションでは、新しいモデルの試験運用をサポートしていませんでした。つまり、チームの新しいモデルが古い ML モデルと並行してリクエストを処理することも、サービスを中断させるリスクを冒さずに実際のデータを使用してテストすることもできませんでした。そのため、VBI チームは ML モデルをオフラインで開発し、それを手動で検証、テストする必要があり、多くの場合、3～6 か月かかりました。また、新しいモデルのローンチに合わせてボリュームをダイバートする機能も備えていませんでした。さらに、推論 (トレーニングしたモデルを用いて予測を行うプロセス) は CPU ベースの単一入力予測に限られていたため、VBI チームはグラフィックスプロセッシングユニット (GPU) やバッチ実行によるコスト削減を行うことができませんでした。

VBI チームが Amazon SageMaker に惹かれたのは、チームのレガシーソフトウェアソリューションの非効率性を解決し、かつメンテナンスが必要なソフトウェアとインフラの規模を小さくすることができたからです。フルマネージドサービスにより、ソフトウェア開発チームはシステム管理ではなく、コアコンピテンシーに集中することができました。

VBI チームは、12 週間かけて Amazon SageMaker 上で新しいソリューションを開発しました。この間、推論コードをコンテナ化し、デプロイの自動化のためのインフラを構築しています。それに比べ、VBI チームはレガシーソリューションの開発に 8〜12 か月を要しました。その後、VBI チームはさらに 2 か月間パフォーマンステストを実施し、通常業務に支障をきたすことなく 2020 年 4 月に移行を完了させました。

この移行により、AFT の VBI チームのシニアエンジニアである Lalat Nayak は、次のように予測しています。「Amazon SageMaker の機能を利用するだけで、バッチ推論でインフラコストを 40% 削減できます」。 また、チームは 1,000 個の CPU インスタンスについて、100 個未満の GPU インスタンスのフリートを自動的にスケールする 1 つのエンドポイントに交換し、システムを簡素化することもできました。この GPU への移行により、予測までの時間のレイテンシーが 50% 短縮されました。北米、ヨーロッパ、日本のセンサータワーからのトラフィックの処理を行う Amazon SageMaker エンドポイント 1 つで、1 日あたり数百万枚の容器の画像を処理しています。

AFT が新しい地域で FC をローンチする際、レガシーソリューションでは 1～2 か月かかっていたのが、Amazon SageMaker ソリューションでは 1～2 週間でデプロイできる見込みです。「Amazon SageMaker を利用してモデルをホストすることで、すべての倉庫で同じモデルを使用するか、一部の倉庫だけで使用するかを決めることができます」と Nayak は説明します。「ごく一部の倉庫だけを対象に機能をリリースし、テストに成功した後に残りの倉庫に拡大することができるため、自由に実験を行うことができます」。

Amazon SageMaker を使用すると、ソフトウェア開発エンジニアチームはインフラストラクチャとソフトウェアのメンテナンスを年間約 1 か月節約できます。また、VBI チームは、フルマネージドのメッセージキューサービスである Amazon Simple Queue Service (Amazon SQS) と、オブジェクトストレージサービスである Amazon Simple Storage Service (Amazon S3) を ML パイプラインから削除できるようになりました。これにより、AFT は AWS のコストを月あたり 40% 節約できます。従来、ソフトウェア開発エンジニアチームは、ハードウェアを追加注文し、その納品まで実装を遅らせなければなりませんでしたが、Amazon SageMaker は需要の急増に自動的に対応できるようにスケールしています。

Amazon SageMaker は、VBI チームの研究部門の負荷も軽減し、試験的にモデルを立ち上げ、約 2 週間で新モデルをロールアウトできるようになり、ボリュームの増加に対応するためのオーバーヘッドも不要になりました。また、Amazon SageMaker は ML フレームワークに依存しないため、VBI チームはその上に任意のフレームワークを重ねることができます。数年前に Caffe から Apache MXNet に変更する際、VBI チームは 6〜8 か月かかりましたが、Nayak は、将来の変更は Amazon SageMaker でより速く、よりシンプルになると予想しています。「私たちは、シームレスな移行を実現し、技術が最も上手く機能するようにしたいと考えています。その技術を私たちのフレームワークに統合するために多くの時間を費やしたくはありません」。Amazon SageMaker は私たちに代わってそれをしてくれます」。

Amazon SageMaker を使用することで、AFT の VBI チームは、ソリューションの効率を最大化しながら、ソフトウェアデベロッパーのコストとオーバーヘッドを削減しました。VBI チームは、2020 年末までに Amazon SageMaker モデルがすべての FC で使用され、各センターで数百万の画像を処理すると予想しています。AFT は、FC を効率的に監視して配置場所が定かではない在庫をすばやく見つけることができるため、顧客が予定通りに荷物を受け取るという Amazon の約束をより適切に果たすことができます。