このパートナーソルーションは、アマゾン ウェブ サービス (AWS) クラウドで Databricks ワークスペースを作成するために Databricks API を使用したいと考えている IT インフラストラクチャアーキテクト、管理者、DevOps 専門家の方を対象としています。このパートナーソルーションは、お客様の AWS アカウントで新規ワークスペースを作成し、追加のワークスペースをデプロイするための環境をセットアップします。
Databricks は、データエンジニアリング、機械学習、およびコラボレーションデータサイエンス用の統合データ分析プラットフォームです。Databricks ワークスペースは、すべての Databricks アセットにアクセスするための SaaS (Software-as-a-Service) 環境です。ワークスペースは、オブジェクト (例えば、ノートブック、ライブラリ、実験など) をフォルダーに編成し、データおよび計算リソース (クラスターやジョブなど) にアクセスできるようにします。
重要: この AWS パートナーソルーションのデプロイでは、お客様の Databricks アカウントが プラットフォームの E2 バージョンである必要があります。詳細については、 Databricks までお問い合わせください。
このパートナーソルーションは、Databricks が AWS と協力して作成したものです。Databricks は AWS パートナーです。
-
構築するもの
-
デプロイ方法
-
コストとライセンス
-
構築するもの
-
このパートナーソルーションは、Databricks ワークスペースを構成する以下のものをセットアップします。
- 少なくとも 3 つのアベイラビリティーゾーンまたがる可用性の高いアーキテクチャ。
- お客様の AWS アカウント内の、Databricks 管理またはカスタマー管理の Virtual Private Cloud (VPC)。この VPC では、AWS ベストプラクティスに基づいてパブリックサブネットとプライベートサブネットが設定されます。これにより、AWS で独自の仮想ネットワークが提供されます。
- プライベートサブネット内:
- Amazon Elastic Compute Cloud (Amazon EC2) インスタンスの Databricks クラスター。
- セキュアなクラスター接続を実現するための 1 つ以上のセキュリティグループ。
- Amazon Elastic Compute Cloud (Amazon EC2) インスタンスの Databricks クラスター。
- パブリックサブネット内:
- ネットワークアドレス変換 (NAT) ゲートウェイ。アウトバウンドのインターネットアクセスを提供します。
- ネットワークアドレス変換 (NAT) ゲートウェイ。アウトバウンドのインターネットアクセスを提供します。
- Databricks ワークスペースインスタンスのログ用の Amazon CloudWatch。
- (オプション) ノートブックを暗号化するためのカスタマー管理の AWS Key Management Service (AWS KMS) キー。
- クラスターのログ、ノートブックのリビジョン、ジョブの結果などのオブジェクトを保存するための Amazon Simple Storage Service (Amazon S3) バケット。
- ユーザーが認証するための、権限が制限された一時的な認証情報をリクエストできるようにする AWS Security Token Service (AWS STS)。
- S3 アーティファクトおよびログにアクセスするための VPC エンドポイント。
- Databricks が新規ワークスペースのために VPC 内にクラスターをデプロイできるようにするクロスアカウント AWS Identity and Access Management (IAM) ロール。選択したデプロイオプションに応じて、デプロイ時にこの IAM ロールを作成するか、既存の IAM ロールを使用します。
-
デプロイ方法
-
デプロイガイドの指示に従って、Databricks をデプロイします。 Databricks では、新規ワークスペースの VPC にクラスターを起動するために、お客様の AWS アカウント内のクロスアカウント IAM ロールにアクセスできる必要があります。デプロイプロセスには約 15 分かかり、次のステップが含まれます。
- AWS アカウントをお持ちでない場合は、https://aws.amazon.com でサインアップし、アカウントにサインインしてください。
- 次のオプションから選択して、パートナーソリューションを起動します。
Amazon は、本ソリューションで AWS と協力した AWS パートナーとユーザーデプロイ情報を共有する場合があります。
-
コストとライセンス
-
このパートナーソリューション実行中に AWS のサービスにかかる費用は、お客様のご負担となります。このパートナーソリューションを使用しても追加コストは発生しません。
このパートナーソリューションの AWS CloudFormation テンプレートには、カスタマイズ可能な設定パラメータが含まれています。インスタンスタイプなどの設定の一部は、デプロイにかかるコストに影響します。料金の見積もりについては、利用する AWS の各サービスの料金ページを参照してください。料金は変更される場合があります。
ヒント: パートナーソルーションをデプロイしたら、 AWS Cost and Usage Report を有効にして、お客様のアカウントでの Amazon S3 バケットへの請求メトリクスを提供します。各月の使用量に基づいてコストを見積もり、月末にデータを集計します。詳細については、 AWS Cost and Usage Report とはを参照してください。
Databricks のコスト見積もりについては、Databricks の料金ページで製品ティアおよび機能を参照してください。
関連コンテンツ
Databricks は、複雑な設定手順を減らし、Databricks ワークスペースをAWS クラウドにデプロイする時間を短縮するという課題に直面したとき、AWS Integration and Automation チームと協力して、統合されたベストプラクティスを備えた AWS CloudFormation テンプレート上に構築された自動化されたリファレンスアーキテクチャである AWS パートナーソルーションを設計しました。