Portcast、Amazon SageMaker を使用して海上で機械学習モデルをスケーリング

海上貨物輸送は世界貿易の主要な輸送手段であり、貿易量の 90% を占めています。天候不順や税関の遅れなどに関わらず、港への貨物の到着を予測し、計画する能力は、サプライチェーンの効率性を大きく左右します。

シンガポールのスタートアップ企業である Portcast は、機械学習を活用したプラットフォームを通じて、予測型サプライチェーン向けの Software as a Service (SaaS) を提供し、船会社やメーカーが港に貨物が到着する時刻を予測できるよう支援するサービスを提供しています。Portcast は、顧客のコンテナ追跡の手作業を 80％、コストを 20％ 削減したいと考えています。同社独自の機械学習モデルは、海運やコンテナの動きの過去のパターンと、天候、港の交通状況、船舶の位置などのリアルタイムデータを利用して、サプライチェーンの効率性を高めます。

Portcast は、基盤となるインフラと機械学習モデルを大規模に実行する機能をサポートするために、Amazon Web Services (AWS) の各種サービスを使用しています。機械学習処理のために収集したデータの保存には、Amazon Relational Database Service (Amazon RDS) と Amazon Simple Storage Service (Amazon S3) を利用しています。また、検索ログの分析に Amazon Elasticsearch Service を使用しています。「AWS 上のサービスの連携はシームレスであるため、さまざまなアイデアを絶え間なく試すことができます」と Portcast の共同創立者兼最高技術責任者である Lingxiao Xia 氏は述べています。

2019 年まで、Portcast は Amazon Elastic Compute Cloud (Amazon EC2) ベアメタルインスタンスとセルフホストクラスターを使用して、機械学習モデルのトレーニングとデプロイを行っていました。このアプローチは、当初、同社が一度に追跡していたコンテナの数が数百だったときにはうまく機能していました。しかし、会社が成長するにつれて、各船が頻繁に最大 20,000 個のコンテナを運ぶようになったため、機械学習予測のスケーリングは複雑になり、多額のコストがかかるようになりました。さらに、コンテナごとに 1 日 2 回、最新の到着予測を提供する必要があったことが、事態の複雑化に拍車をかけました。

ベアメタル設定では、Portcast は処理、予測、エンドポイントを含む機械学習インフラストラクチャ全体をまとめて拡張する必要があったため、非常に高いメモリ要件が発生しました。そこで同社は、機械学習モデルの予測部分を分離して独立にスケールさせる必要があり Amazon SageMaker を使用して課題を解決しました。

Amazon SageMaker の導入を決定する前に、Portcast は AWS ソリューションアーキテクトとの実践的なトレーニングセッションを依頼しました。Portcast のデータチームは、Amazon SageMaker を使用して、機械学習モデルのトレーニングを行う少数のインスタンスから始めて、モデルのトレーニングと予測および処理を分離することで、機械学習ワークロードを最適化しました。現在、Portcast は Amazon SageMaker を使用して、トレーニングから処理、そして予測まで、エンドツーエンドの機械学習サイクルにおける自動化を加速しています。

「機械学習モデルから予測を別サービスとして取り出すことで、モデルを独立してスケールさせ、必要なメモリを削減することができるようになりました」と Xia 氏は述べています。

従来、Portcast は、各モデルをメモリにロードする必要があったため、並列に実行できるプロセス数に制限がありました。「すべてのモデルを Amazon SageMaker でホストしているため、メモリの制限なく数百のプロセスを並行して実行することができます。1 日に何百万もの予測を生成できる可能性があります」と Xia 氏は付け加えます。また、Portcast は、Amazon SageMaker のマルチモデルエンドポイント機能を活用して、各インスタンスで複数のモデルをホストすることによってコストを削減し、機械学習の導入で少なくとも 60% のコストを削減しています。

現在、Portcast は 1 日あたり数万のコンテナをモニタリングしています。これは、以前のインフラストラクチャでは技術的に不可能な規模です。「Amazon SageMaker により、効率的なクラウドストレージやデータ計算による予測型ロジスティクスのためのグローバルでスケーラブルなプラットフォームを構築することができます。」と Xia 氏は述べています。

Amazon SageMaker はフルマネージドサービスとして、機械学習モデルのトレーニングおよび実行を行う基盤インフラストラクチャを処理するため、Portcast は初期設定を決定するだけでよいのです。機械学習モデルは自動的に拡張され、異常が検出されると、Amazon CloudWatch がアラートを送信します。Portcast のデータチームは、処理ジョブとそのステータスを手動で操作することなく高い可視性を実現するユーザーインターフェイスを備えています。これにより、これまでインフラストラクチャのモニタリングに費やしていた、週あたり少なくとも 2～3 時間を節約することができます。

Xia 氏は、時間の節約だけでなく、コンテキストの切り替えを減らすことの価値を強調しています。「当社のデータサイエンティストがモデルの分析からタスクのモニタリングに移行する必要がある場合、コンテキストの切り替えのコストは、そのタスクに費やされる時間よりも多くなります」と同氏は説明しています。

Amazon SageMaker の導入により、Portcast のデータサイエンスチームと開発チームの間の依存関係も緩和されました。データチームが機械学習モデルを更新したり、新しい機能を追加したりする前に、デベロッパーがインフラストラクチャを設定する必要はなくなりました。データサイエンティストは、Amazon SageMaker 内で自分の仕事に必要なインフラストラクチャを個別に確立できます。

Amazon SageMaker に精通したデータサイエンティストの中には、社内の推進者となった人もいます。彼らは、処理のボトルネックなどの一般的な課題を解決するためのプロジェクトを定期的に提案したり、開始したりしています。また、データチームは、コストを抑えながらスケーリングするための最適化戦略について、AWS ソリューションアーキテクトとのセッションやディスカッションを通じて、Amazon SageMaker に関する知識を積極的に高めています。

Portcast の共同創立者兼最高経営責任者である Nidhi Gupta 氏は、ロジスティクスのイノベーションにとって最高の時代はこれからであると感じています。「今後数年間は、ちょうどこの業界の変曲点であり、数ヶ月後には 10 倍から 20 倍の成長が見込まれます」と同氏は述べています。「Amazon SageMaker を使用することで、当社の成長に合わせて、同じプラットフォームでより多くのコンテナを処理できます。これにより、リソースを最適化しながらより多くのビジネスチャンスを追及でき、最終的に収益を改善できます」

詳細については、AWS での機械学習をご覧ください。