Astro の紹介 - AWS で構築およびホストされている天文学者のマネージド Apache Airflow サービス

現代の企業でデータが役立つためには、さまざまなソースからデータを収集して一元化し、拡大を続けるツールのエコシステム全体で処理し、チーム全体で利用できる方法で組織全体のシステムに供給する必要があります。このデータオーケストレーション、つまりダッシュボードからパーソナライゼーションアルゴリズムまであらゆるもののビジネスロジックをデータスタックに織り込むには、数千とは言わないまでも数百のデータパイプラインが必要です。

データオーケストレーションは、あらゆる業界、あらゆる規模の組織で必要です。2,200 人を超える貢献者と 1,200 万を超える月間ダウンロード数を誇る Apache Airflow は、データパイプラインをプログラム的に作成、スケジューリング、モニタリングするためのオープンソース標準として台頭してきました。Airflow は、そのコミュニティ、柔軟性、データエコシステムを一元的に把握できる能力により、データ運用者に愛用されています。

しかし、データチームは当然、オープンソースの Airflow 単体以上のものを必要としています。データ品質を保証するテストパイプライン、データ運用者を生産的にする SDK、基礎となるデータのオブザーバビリティと系統が、運用上のオーバーヘッドを最小化する努力と同時に必要です。データリネージは、データソース間の関係、データの出所、データライフサイクルを通じてどのように変換および収束されるかをより詳細に把握することで、データの完全なコンテキストを提供します。

最新のデータオーケストレーションのニーズに応える

2018 年に設立されたスタートアップ企業である Astronomer は、過去 5 年間、データ運用者がデータオーケストレーションとデータリネージを最大限に活用するのに役立つツールを備えたオープンソースプロジェクトとして Airflow を発展させてきました。Astronomer の主力製品である Astro を使用すると、お客様はマネージドサービスとして Airflow でデータパイプラインを構築、実行、モニタリングできます。これにより、データチームはビジネスロジックの記述とデータへのアクセスの拡大により多くの時間を費やすことができます。

「Astro がお客様のためにオーケストレーションする基本的なビジネスプロセスの多くは、Amazon Web Services (AWS) を利用しています。Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon EMR、Amazon SageMaker、他にも多数あります」と、Astronomer’s Field、CTO の Viraj Parekh 氏は説明します。

Paola Peraza Calderon 氏、Pete DeJoy 氏、および Viraj Parekh 氏 という 3 人の友を含む小さなチームによって共同設立された Astronomer は、現在の使命を 3 つ挙げています。

• データチームがデータオーケストレーションとデータリネージから得られる価値を高める製品を構築します。
• Airflow オープンソースプロジェクトとそのコミュニティの有機的な成長を促進します。
• データ活用を成功に導くための教育、ベストプラクティス、サポートをデータ運用者に提供します。

350 人以上の従業員と世界中に分散したチームを擁する Astronomer とその顧客基盤は、どちらも急速に成長しています。「オープンソースの Airflow を実行している人々が、その背後にあるインフラストラクチャの管理について私たちに助けを求めたことから始まりました」と Pete 氏は言います。「インフラ管理の問題が解決した今では、Airflow を完全なオーケストレーションプラットフォームの基盤として使用するために必要な、より幅広い機能に焦点を当てています」

AWS での構築とスケーリング

Astronomer 製品に対する市場のニーズと、同社の成功の可能性は、早い段階から明らかでした。Viraj 氏は笑いながら彼らの初期の頃の話をし、こう述べます。「私たちは皆、ある大手ゲーム会社で概念実証のための準備をしていました。同社は、今年最大の立ち上げに向けて、Astronomer にデータフローの調整を任せました。立ち上げの翌朝に、サポートチケットはありませんでしたので、『何か問題があったのか』と思いました。結局のところ、何かがうまくいったのです。すべてうまくいきました。同社が立ち上げた最大規模のデータ収集を 100% 処理していたので、すべてが滞りなく実行できました」

Astronomer がスタートアップ企業を AWS で構築したのはなぜですか?「決断だったとは言えません。これは当然の選択でした。AWS は当社のクラウド戦略の基礎となっています」と Paola 氏は言います。「基本的には、国や地域を問わず AWS のサービスが広く普及していることで、世界中の組織と連携できるようになりました。これにより、当社の市場を単独で開拓できます」。

Astronomer は、顧客ベースの拡大するニーズに応えるため、データ運用者がデータパイプラインを開発し、エコシステムを一元的に把握できるよう、Airflow を最大限に活用できるインターフェースを構築しています。Viraj 氏は次のように説明しています。「当社は、チームが使用するツールやサービスを問わず、あらゆるシステムを介したデータオーケストレーションをデータリネージと統合しています。すべてのシステムにわたってデータをオーケストレーションできるだけでなく、そのデータがどのように移動するかを確認できます」。

アーキテクチャ図に示すように、Astro は、Astronomer がホストするコントロールプレーンと、クラウドまたは Astronomer がホストするシングルテナントアカウントで実行できるデータプレーンで構成されるマルチプレーンアーキテクチャで構築されています。

Astronomer が成長するにつれ、同社は顧客ニーズに合わせて AWS のフットプリントを拡大してきました。現在、Astronomer は Amazon Elastic Kubernetes Service (Amazon EKS) を利用して Astro をマネージドサービスとしてお客様の企業ネットワーク内で運用しています。また、AWS Transit Gateway や AWS や Private Link などのツールをサポートしてネットワーク内の他のデータサービスに安全に接続しています。Astro は AWS CloudFormation を使用して新しい Kubernetes クラスターをプロビジョニングし、Amazon S3 を使用してログを保存し、顧客がパイプラインを実行するのに最適なハードウェアを選択できるようにノードインスタンスタイプを提供しています。これにより、データ運用者は必要な場所で選択性、パフォーマンス、効率性を得ることができます。

「市場と顧客基盤が拡大するにつれて、AWS も私たちと共に成長できると確信しています。AWS のサービスを当社のニーズに合わせて微調整できることで、Astro をより速く、より費用対効果が高く、お客様にとってより簡単に実行できるようになったのです」と Paola 氏は述べます。

成功するスタートアップ企業の構築

成功を再現したいと考えているスタートアップ企業にとって、製品のアーリーアダプターと共に仕事をすることが重要であるというのが、Astronomer 創設チームの一致した意見です。これにより、製品を早い段階で改善するための緊密なフィードバックループを作り出し、多くの場合、会社設立までの道のりを導いてくれる強固な個人的関係が築かれます。

「特に初期段階のスタートアップ企業の場合、製品のアーリーアダプターが、あなたの解決しようとしている問題を理解している可能性が高いのです。こうした関係を時間をかけて構築してください。これらのお客様は、あなたと同じくらい長い間、あなたの問題を考え、あなたのソリューションを使っているからです」- Viraj Parekh 氏

「たくさん質問をし、仕事に取り掛かってください。会社の初期段階を切り開くには、袖まくりをして、繰り返し作業を行い、小さなチームを結集させることが大切です。単純なことに聞こえますが、実行力こそが、成功している多くのベンチャーを最終的に差別化するのです」- Paola Peraza Calderon 氏

「会社が成長しても、やるべきことは尽きません。リストの中で優先順位の高い項目を特定し、その達成に集中する方法を学ぶのが本当のスキルです」- Pete DeJoy 氏

Astronomer の今後

Astronomer の今後について、Pete 氏は次のように説明しています。「私たちは、従業員の間で才能を育み、キャリアの中で自己実現できるようにしながら、真の顧客価値を創造する世代を超えた企業を構築したいと考えています。そして、私たちは、日常的に目に見える有意義な顧客成果をもたらすことで、その実現を目指します」