參考部署

Databricks on AWS

用於資料科學、機器學習和分析的協作工作區。

本合作夥伴解決方案適用於想要使用 Databricks API 在 Amazon Web Services (AWS) 雲端建立 Databricks 工作區的 IT 基礎架構的架構師、管理員和 DevOps 專業人員。本合作夥伴解決方案會在您的 AWS 帳戶中建立一個新的工作區,並設定可部署更多工作區的環境。

Databricks 是用於資料工程、機器學習和協作資料科學的統一資料分析平台。Databricks Workspace 是一種軟體即服務 (SaaS) 環境,可用於存取所有 Databricks 資產。該工作區將物件 (例如,筆記本、庫和實驗) 整理到資料夾中,並提供對資料和運算資源 (如叢集和任務) 的存取。

重要事項:本 AWS 合作夥伴解決方案部署需要您的 Databricks 帳戶位於 E2 版本的平台。如需更多資訊,請 聯絡 Databricks
檢視相關內容

本合作夥伴解決方案由 Databricks 與 AWS 合作開發。Databricks 是 AWS 合作夥伴

  •  您將建置的項目
  • 合作夥伴解決方案會設定以下內容,這將構成 Databricks 工作區:

    • 橫跨至少三個可用區域的高可用性架構。
    • 客戶 AWS 帳戶中的 Databricks 受管或客戶受管 Virtual Private Cloud (VPC)。根據 AWS 最佳實務,藉由私有子網路和公有子網路設定的此 VPC,能在 AWS 為您提供自己的虛擬網路。
    • 在私有子網路中:
      • Amazon Elastic Compute Cloud (Amazon EC2) 執行個體的 Databricks 叢集。
      • 一個或多個安全群組,可用於啟用安全的叢集連線。
    • 在公有子網路中:
      • 網路地址轉譯 (NAT) 閘道,允許進行對外網際網路存取。
    • Amazon CloudWatch,適用於 Databricks 工作區執行個體日誌。
    • (選用) 客戶受管 AWS Key Management Service (AWS KMS) 金鑰,用於加密筆記本。
    • Amazon Simple Storage Service (Amazon S3) 儲存貯體,用於存放叢集日誌、筆記本修訂和任務結果等物件。
    • AWS Security Token Service (AWS STS),可讓您請求臨時、有限權限的登入資料,以供使用者進行身份驗證。
    • VPC 端點,用於存取 S3 成品和日誌。
    • 跨帳戶 AWS Identity and Access Management (IAM) 角色,讓 Databricks 能夠在 VPC 中為新工作區部署叢集。視乎您選擇的部署選項,可以在部署期間建立此 IAM 角色,或使用現有的 IAM 角色。
  •  部署方式
  • 若要部署 Databricks,請遵循部署指南中的指示操作。 Databricks 需要存取您的 AWS 帳戶中的跨帳戶 IAM 角色,才能將叢集啟動到新工作區的 VPC 中。部署過程大約需要 15 分鐘,包括以下步驟:

    1. 如果您尚未擁有 AWS 帳戶,請到 https://aws.amazon.com 註冊並登入您的帳戶。
    2. 從下列選項中選擇即可啟動合作夥伴解決方案:

    Amazon 可能會與 AWS 合作夥伴 (與 AWS 在此解決方案上協作的合作夥伴) 分享使用者部署資訊。  

  •  成本和授權
  • 您需自行負擔執行本合作夥伴解決方案所用 AWS 服務的費用。使用本合作夥伴解決方案無須額外付費。

    本合作夥伴解決方案的 AWS CloudFormation 範本包含可以自訂的組態參數。某些設定 (例如執行個體類型) 會影響到部署的費用。若要估算成本,請參閱您所使用每項 AWS 服務的定價頁面。定價可能會隨時變更。

    提示︰部署合作夥伴解決方案後, 啟用 AWS Cost and Usage Report,以將帳單指標交付至您帳戶中的 Amazon S3 儲存貯體。它會根據每個月的用量提供成本估算,並在月底彙總資料。如需詳細資訊,請參閱 什麼是 AWS Cost and Usage Report?

    有關 Databricks 成本估算,請參閱產品層級和功能的 Databricks 定價頁面。

合作夥伴成功案例
Databricks 使用 AWS 合作夥伴解決方案來簡化部署

在將 Databricks 工作區部署至 AWS 雲端時,Databricks 面臨著減少複雜組態設定步驟和時間方面的挑戰,它與 AWS Integration and Automation 團隊合作設計了 AWS 合作夥伴解決方案,這是使用整合的最佳實務透過 AWS CloudFormation 範本建置的自動化參考架構。 

閱讀完整的合作夥伴參考
回到頁首