Amazon Web Services ブログ
気象庁の衛星”ひまわり”の収集データが、AWSと米国政府機関とのコラボにて公開されました
米政府機関とAWSの連携により、気象衛星「ひまわり」が収集したデータの公開に至りましたので、AWSジャパン・パブリックセクターよりお知らせします。
「アメリカ海洋大気庁 (NOAA)」 に属する「アメリカ環境衛星データ情報局 (NESDIS)」 は、宇宙衛星・船舶・基地局などの情報源から生成される地球観測データへのアクセスをセキュアかつタイムリーに提供し、国民の安全・環境・経済・生活の質を向上させることを使命としています。アメリカ環境衛星データ情報局は現在、「ひまわり 8 号」によって収集された主要な気象データセットを、 AWS を通じてPublic Datasetとして公開しており、同情報局は「ひまわり8号」から直接受信を行う米国内で唯一の機関となっています。ひまわり8号は、日本の気象庁(Japan Meteorological Agency) が開発した静止地球環境観測衛星です。この観測衛星は、日本及び東アジア・西太平洋域内の各国における天気予報、台風・集中豪雨、気候変動などの監視・予測、船舶や航空機の運航の安全確保、地球環境の監視を目的として2014年に打ち上げられました。
以下、アメリカ海洋大気庁とAWSがどのように連携し、重要な気象データへのアクセスを向上させているのか、その方法について紹介します。
重要な気象データへのアクセスを可能に
AWS は2019年 12 月、アメリカ海洋大気庁とのコラボレーションの拡大を発表しました。アメリカ海洋大気庁 は日々、膨大な量のデータを生成しています。これらの大量のデータは “商用クラウド” 、つまりAWSの利用を宣言している同庁の「ビッグデータプログラム (BDP)」 を通じ、容易に分析・研究することができます。従来、こうした研究を行うためには、ユーザーは、自分の分析環境のために莫大なデータ量の ”コピー” を ”ダウンロード” して ”保存” する必要がありました。AWSを用いれば、これらの各工程は、全て過去の遺物となります。ユーザーはAWS を通じ、世界最高峰のデータ収集体制を持つ同庁の最新のデータセット、それも常に更新され続けるデータ群にアクセスできるようになるのです。 研究者や起業家は、クラウド上にオンデマンドベースでコンピューティングリソースを展開し、迅速かつ効率的に分析を、それもかつてないほどの低コストで実行することができます。 これまで多大な手間を要していたコピーもダウンロードも保存も必要なく、そしてそれらに要してきた時間もコストも人員も、圧倒的な効率化が可能です ──── つまりは、真にミッションクリティカルな研究課題や新ビジネスの創造にのみ、集中することができるのです。
このAWSとアメリカ海洋大気庁のコラボレーションを通じて現在利用できる最も重要なデータセットの 1 つが、気象庁 が運用するひまわり 8 号のもたらす衛星データセットです。このデータセットは、オープンデータの公開ライブラリーであるAWS の Registry of Open Data を通じて誰でもアクセスできます。(なお、公的機関向けにストレージ費用をAWSが負担する「AWS Public Dataset Program」の取り組みについては、日本の農水省との取り組みを紹介したこちらのブログもご参照ください。)
AWSクラウドで、衛星データ情報局はミッションを達成
将来に渡る大規模なクラウド導入計画の一部として、アメリカ環境衛星データ情報局は、同機関の「共通クラウドフレームワーク (Common Cloud Framework)」 を策定しました。こうした、クラウド導入のための基本方針を策定することは、公的機関にとってのベストプラクティスとなりつつあります。
アメリカ環境衛星データ情報局の「共通クラウドフレームワーク」で運用可能な機能の 1 つは、海外データおよび商用データを安全に取り込むための、統合機能 です(Consolidated Ingest Service) 。この機能は、まず、気象庁の「ひまわり 8 号」のデータを受信し、ウイルスやその他の悪意のあるコードがないかデータを検査します。検査されたデータは、アメリカ国立気象局 (NWS) や他の運用パートナーなどのユーザーコミュニティに配信され、アメリカ海洋大気庁の多種多様なプロダクト生成・分析の実行に使用されます。同時に、同機関の「ビッグデータプログラム 」の提携パートナーである民間企業もこれらのデータを利用できるようになり、その一員であるAWS 基盤を通じて、より広範囲のコミュニティがさらに簡単にデータにアクセスできるようになるという好循環が生まれています。
諸外国、あるいは外部機関のデータセットと商用データセットを”送信”し、”配布”し合う従来型の方法では、データや分析結果は、ネットワーク帯域幅とハードウェアリソースに制限があるオンプレミスのハードウェアを経由しなければならず、こうした制約は越境的な研究のためのボトルネックとなっていました。上記「ビッグデータプログラム」 を介した AWS とのコラボレーションにより、データを広範に公開するための効率的で費用効果の高い、信頼できるメカニズムが確立されました。この方法では、クラウドを使用してデータをステージング(=本番環境とほぼ同じ環境での最終確認)および分析するためのスケーラブルなアプローチが提供されるため、アメリカ環境衛星データ情報局およびアメリカ海洋大気庁は、当初の計画時点よりも多くのデータセットを一般に公開することができました。「ビッグデータプログラム」を介して、このようにデータやその分析環境を「共有」するメカニズムが、研究のニューノーマルとなりつつあります。AWSクラウド上でデータをステージング・分析・公開することにより、米国の政府機関や各国の研究機関がデータを「持ち回りで送受信しあう」必要性を最小限に抑えるなど、気象情報を扱う研究分野に革命がもたらされています。
データ共有・分析のパラダイムを変える
アメリカ環境衛星データ情報局は「ビッグデータプログラム」を介して、ひまわり 8 号などから受信したデータが、ミッションクリティカルなシステムに取り入れられる前の段階で、セキュリティ脅威が無いかどうか検査を行えます。こうしたセキュリティ向上のためにAWS クラウドを使用することで、アメリカ環境衛星データ情報局は安全かつ信頼性の高い方法で海外データおよび商用データを検査する能力を確立しています。
クラウドの導入により、アメリカ環境衛星データ情報局は追加のオンプレミスハードウェアを調達する必要がなくなり、また、必要に応じた計算能力を使えるようになりました。クラウドがもたらす、冗長性に優れ可用性の高いインフラは、堅牢で障害耐性のある行政サービスにもつながります。また、サービス構築に要する時間の観点からも、クラウドを用いることでオンプレミスソリューションに比べて実装をはるかに高速化できます。現在、同機関の「共通クラウドフレームワーク」 v1.0 サービスは運用が既に始まっており、低レイテンシーかつ高可用性を備えた状態で気象庁から 1 日あたり約 41,000 個のファイルを受信し、処理しています。
さらに、同情報局の取り組みは、多様なネットワークプロバイダーと AWS Direct Connect を備えた大規模な冗長ネットワークにより支えられ、信頼性と可用性の高いネットワークアーキテクチャに基づいています。AWS を使用することで、サービスの迅速なデプロイが可能となり、オープンソースの視覚化ダッシュボードである Kibana から提供されるさまざまなダッシュボードを介してモニターされ、アメリカ環境衛星データ情報局ヘルプデスクと分析官に各種のアラートや通知がリアルタイムで配信されています。
見込まれるインパクト: 天気予報の精度向上
AWS 上で情報共有を行う各国の研究コミュニティが、ひまわり 8 号のデータを容易に利用できるようになることで、気象予測を行うための協力体制が量・質ともに進化し、研究グループ間のコラボレーションが飛躍的に促進されます。ひまわり 8 号の Advanced Himawari Imager は、以前の静止衛星、例えば「7号」に比べて多くの新型のチャネル (合計 16 個) を備え、解像度も2倍・観測頻度も3倍に向上、さらには地球全体を10分でスキャンして全球画像を作る能力を備えています。このデータセットに対し、より広汎な研究者・起業家からのアクセスが実現することで、気象学者は気象分析と予報の精度を改善させ、新しいビジネスも芽吹く環境が整います。
たとえば、このデータを用いて構築された情報システムの 1 つは、熱帯低気圧の分析と予測を行うものです。ひまわり 8 号の収集する画像は、北太平洋西部 (地球上で最も活発な熱帯低気圧盆地) と南半球およびインド洋の一部を網羅しています。このため、ひまわり 8 号のデータは、各国の気象情報の横断的な分析、特にも熱帯低気圧の研究において価値のある情報となります。これまでも、NASAが開発と打上げを担当するGeostationary Operational Environmental Satelliteである「GOES-16/17 のデータ」もまた、 AWSのOpen Dataのイニシアチブを通じてアクセス可能でした。今回、ひまわり 8 号のデータの追加により、最新鋭の衛星データの応用分析を駆使し、熱帯低気圧の強度変化などの分析を深め、さらなる気象予測の精度向上が実現します。
宇宙・惑星規模の地理情報に係るAWSのサービスや取り組み
以下に、今回のアメリカ海洋大気庁、及びアメリカ環境衛星データ情報局取り組みとの関連性の高いAWSのサービスやイニシアティブを、幾つかご紹介させていただきます。
- 「AWS Public Dataset Program」は現在、「衛星画像」「地理情報」「気候」等のカテゴリーを設け、アメリカ海洋大気庁等の各国の政府機関・研究機関が収集した、合計で150に迫るDatasetを公開しております(2020年5月現在)。
- “AWS Ground Station”, ”Amazon Rekognition”, “Amazon S3 (Simple Storage Service)”など、この分野で頻出するサービスについては、農水省との取組みを紹介したこちらのブログや各サービスの詳細説明のページもご覧ください。
- Amazonでは「Unlocking sustainability insights around the world」を合言葉とし、惑星規模での環境保全に注力しています(Amazon Sustainability Data Initiative; ASDI) 、詳細はこちら。
また、AWSのクラウドは、宇宙の謎の解明に挑む各国の最先端の研究の場、あるいは、衛星情報を利用した先進的なビジネスの現場で用いられています。特に、パブリック・セクター部門では例年、最大級の年次イベント「Washington D.C. Public Sector サミット」の前日に「Earth and Space」に特化したプレイベントを開催しており、ユーザー・コミュニティの進化を支援しています(昨年のKeynoteはこちら。2020年のオンライン開催の予告はこちら)。他にも、以下の複数の事例をご参照ください。
- NASAとAWSが2019年10月に共同で実施した、宇宙からの中継の模様です:「Proof-of-Concept Live-From-Space Streaming Workflow」
- オーストラリア西部の研究機関では、50億光年の彼方から届く数十テラバイト級のデータをAWS上で処理しています: Looking Deep into our Universe with AWS
- ハッブル宇宙望遠鏡での過去28年分のデータが、AWS上で参照可能となっています: Hubble Space Imagery on AWS: 28 Years of Data Now Available in the Cloud
- 5,000個超の光学センサーと 史上最多の51,500 cloud GPUを動員し「宇宙からのメッセージ」を解読する研究が行われています: AWS helps researchers study “messages” from the universe
- 世界の7割超の宇宙望遠鏡が所在するチリ国政府と協定を締結し、宇宙観測のデータ収集に協力しています:AWS and Chile Launch the Data Observatory Project
日本の公共部門の皆様へのご案内
AWSでは、Public Dataset Programの趣旨に賛同いただき、収集したデータを世界中にオープンデータとして公開・提供いただける公共機関を募集しています。
また、政府機関・教育機関・研究機関・非営利団体の皆様に、ぜひともご参照いただきたいコンテンツとして、
今後ともAWS 公共部門ブログで AWS の最新ニュース・公共事例をフォローいただき、併せまして、クラウドを利用してミッションを推進している世界中の AWS のお客様を紹介するこちらのビデオや日本の農水省DX室との取り組みなどの過去の投稿に関しても、ぜひご覧いただければ幸いです。
* * * *
このブログは、アメリカ環境衛星データ情報局 職員のManan Dalal氏とアメリカ国立海洋局職員であり海洋学者でもあるJena Kent氏によって執筆された英語版の投稿などを参照し、アマゾンウェブサービスジャパン株式会社 パブリックセクター 統括本部長補佐(公共調達渉外担当)の小木郁夫が執筆し、プリンシパルソリューションアーキテクト 荒木靖宏と、パブリックセクター シニアソリューションアーキテクト櫻田武嗣が監修・加筆しました。