weathernews_logo

90% を超える予測精度の達成に向け“雨雲レーダー”に AWS の HPC クラスターを活用
「15 時間先まで 10 分間隔の予報」を AWS ParallelCluster の動的な計算リソース活用で実現

2021

世界最大規模の民間気象会社として、気象予測の世界をリードしている株式会社ウェザーニューズ。「15 時間先まで 10 分間隔の予報」という、これまでにない高解像な予報を実現した同社が計算リソースとして活用しているのが、AWS ParallelCluster です。スケーラブルな HPC 環境を活用することによって大量の計算リソースを柔軟に調達し、負荷の変動にも柔軟に対応できる環境を構築。90% 以上の高い予測精度を実現しています。

AWS 導入事例  | 株式会社ウェザーニューズ
kr_quotemark

AWS の活用により 15 時間先まで 10 分間隔での雨雲の予報を実現することができました。エンジニアが自由な発想で遊び、新しいサービスを作り出すことのできるプラットフォーム、それが AWS です

石橋 知博 氏
株式会社ウェザーニューズ
常務取締役 執行役員

より遠くまで、より細かく予測したい “気象屋”の夢に向けた新たな一歩

1986 年に創立されたウェザーニューズは世界の主要都市に販売拠点と運営拠点を置き、世界約 50 ヶ国にサービスを展開する世界最大規模の民間気象会社です。サービスの市場は航海気象や航空気象をはじめ鉄道気象、道路気象、流通気象など多岐にわたり、スマートフォン向けのお天気アプリ『ウェザーニュース』の提供でも知られています。

気象業界では一般的に、ベースとなる情報を政府関係機関から入手します。これに加えてウェザーニューズでは、創業期から観測や通信網、画像処理、配信などのインフラを自前で構築してきました。2005 年には独自の気象モデルとして『OWN(Original Weather Numerator)』を開発し、その処理を行うための HPC(High Performance Computing)システムをオンプレミス環境で構築し、継続的にサーバー数を増やして増強。1 時間間隔で 3 日先までの独自予測の生成が可能になりました。また、レーダーや個人会員から寄せられた天気報告を AI 技術を用いて解析することで、3 時間先までは 10 分間隔、そこから 15 時間先までは 1 時間間隔の予報を実現しました。

「しかし 1 時間間隔になると『急に雨雲がぼやけてわかりにくい』と指摘されることがありました。また近年はゲリラ豪雨のような天気の急変が増えているため、より長時間にわたって解像度の高い予報のニーズも高まっています。さらに、より先の時間まで細かく予測したいというのは、私たち“気象屋”にとっての夢でもありました」と、ウェザーニューズ 常務取締役 執行役員の石橋知博氏は語ります。

そこで同社は、15 時間先までも 10 分間隔で予報するサービス実現に向けた取り組みをスタート。予測の頻度も従来の 6 時間ごと(1 日 4 回)から、3 時間ごと(1 日 8 回)にすることを目指しました。

AWS ParallelCluster を採用し大量の追加計算リソースを柔軟に確保

大きな課題は、予測に必要な大量の計算リソースの調達でした。
「従来どおりオンプレミスで追加しようとすると、膨大な投資が必要でした」と予報センター 開発チーム リーダーの坂本晃平氏は振り返り、サーバーの台数が増えれば故障発生の可能性、運用負担の増大も懸念されたと語ります。さらに台風やゲリラ豪雨が発生しやすい 6~10 月は、他の季節よりも大きな計算リソースが必要です。オンプレミスではこのような負荷変動にも柔軟に対応することが困難でした。

そこで 2018 年に、AWS ParallelCluster を用いた 次世代 OWN のクラウド実装の検討を開始。徹底的な検証を経て 2020 年 4 月に採用を決定します。
「パフォーマンスは実際のモデル計算を行うことで、AWS ParallelCluster のインスタンス台数とパフォーマンスの関係や、EFA(Elastic Fabric Adapter)の効果、インスタンスタイプによる処理速度の変化などを検証していきました」と、予報センター 開発チームの高橋一成氏は語ります。当初、クラウド HPC では MPI(Message Passing Interface)を使用した際のスケーラビリティに懸念もありましたが、実際に測定してみると約 5,000 vCPU 規模でも速度向上が見られ、さらに MPI 専用の低レイテンシネットワークアダプタである EFA を活用することで、25% の計算速度向上が得られたそうです。

信頼性確保に関しては、AWS の 2 つのリージョンに「正系」と「副系」の環境を構築。通常はバージニア北部リージョンの「正系」で処理を行い、それが失敗した場合には東京リージョンの「副系」で再度処理を試みる構成です。さらに「正系」環境では料金が安価な Amazon EC2 のスポットインスタンスを活用。これらの検証や構成検討には、当初から AWS のソリューションアーキテクトが参画し、どのような構成であれば次世代のシステムに求められる可用性・コスト・パフォーマンスの要件を満たせるのか、議論を重ねてきたといいます。

diagram_weathernews

オンプレミスに比べて 5 年間の TCO は 1/3 に

予測の高解像化に加え、予測精度を90%以上に

「AWS のマルチリージョン構成にすることで初期投資はもちろん、ランニングコストも大幅に抑えられました。5 年間の試算では、トータルコストが 1/3 以下になっています」と坂本氏は語ります。

その一方で「運用の人的負荷も下げることが可能になりました」と高橋氏は語ります。オンプレミスでは 2~3 ヶ月に 1 回の頻度でサーバーがダウンし、設置場所まで足を運んで対処する必要がありました。しかし AWS ParallelCluster はその必要がありません。「正系」で処理に失敗した場合でも、管理者に通知した上で、自動的に「副系」に処理が移行されるようになっています。

AWS ParallelCluster で計算リソースを追加したことにより、当初の目的だった「15 時間先まで 10 分間隔の予測」を実現。2020 年 7 月にはスマートフォンアプリ『ウェザーニュース』の有料会員向け機能として提供を開始。時間だけではなく空間の解像度も、従来の 1~5km から 250m メッシュへと細かくなっています。この高解像化には新開発の AI 技術が活用されており、その学習も AWS 上で行われています。

15 時間先まで 10 分間隔で予測できるようになったことで、より直感的でわかりやすくなった反響は大きく、有料機能を使うユーザー数も増加。「例えば、台風の回転の様子もはっきりと把握できます。過去の延長としてそのまま未来の天気が見えるのです。これは今まで誰も見たことのない情報であり、かなりのインパクトをもたらしています」(石橋氏)

さらに、予報精度も向上。すでに 2020 年には 91% の予報精度(日毎の降水捕捉率)を実現していましたが、2021 年には 94% を達成見込みです。必要となる計算リソースをダイナミックに調達できるため、予測モデル改善のスピードも向上しています。

自由な発想で新たな予報にチャレンジできる基盤として活用

このように AWS は、「より遠く、より細かく予測する」気象予報に大きな貢献を果たしています。しかし AWS がもたらすメリットは、これだけではないと石橋氏は語ります。
「経営的な観点から言えば、社内の気象屋やエンジニアに自由な発想で『遊んでもらう』ことで、これまでできなかった予報が可能になるという期待があります。未来を切り拓く先進的な発想は、遊びの中から生まれるからです。もちろんそのために膨大な投資が必要であれば、その一歩をなかなか踏み出すことができません。しかし AWS なら小さなリスクで取り組むことができ、うまくいかない場合のサンクコストも最小限にとどめることができます」

さらに AWS を使うことで、社外との協業や新しい技術の取り込みも容易になるといいます。新たなチャレンジの中から、どのようなイノベーションが生まれるのか。ウェザーニューズの今後の動きから目が離せません。

weathernews_casestudy_shugo
weathernews_ishibashi-sama

石橋 知博 氏

weathernews_sakamoto-sama

坂本 晃平 氏

weathernews_takahashi-sama

高橋 一成 氏


カスタマープロフィール:株式会社ウェザーニューズ

  • 設立:1986 年 6 月
  • 資本金:17 億 600 万円
  • 従業員数:1,049 人(2020 年 5 月 31 日現在)
  • 事業内容:気象情報サービスの提供

AWS 導入後の効果と今後の展開

  • 気象予報の更新頻度を 2 倍に向上
  • 計算リソース調達コストを 5 年間で 1/3 に削減
  • サーバー運用負荷の大幅軽減
  • 予報の高解像化と予測精度の向上

ご利用中の主なサービス

AWS ParallelCluster

AWS ParallelCluster は、AWS がサポートするオープンソースのクラスター管理ツールです。このツールは、AWS クラウドでハイパフォーマンスコンピューティング (HPC) クラスターを簡単にデプロイおよび管理するのに役立ちます。

詳細はこちら »

Amazon EC2

Amazon Elastic Compute Cloud (Amazon EC2) は、安全でサイズ変更可能なコンピューティング性能をクラウド内で提供するウェブサービスです。ウェブスケールのクラウドコンピューティングを開発者が簡単に利用できるよう設計されています。

詳細はこちら »

Amazon DynamoDB

Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。完全マネージド型マルチリージョン、マルチマスターで耐久性があるデータベースで、セキュリティ、バックアップおよび復元と、インターネット規模のアプリケーション用のメモリ内キャッシュが組み込まれています。

詳細はこちら »

AWS Systems Manager Session Manager

AWS Systems Manager では、Windows や EC2 インスタンスを管理するためのブラウザベースのインタラクティブな Shell と CLI を利用できます。

詳細はこちら »