使用 Talend 大數據平台的資料湖

資料湖快速入門架構包含以下要素：

• 跨兩個可用區域的 VPC。每個可用區域包含兩個子網路：允許透過網際網路連線的公用子網路以及適用於 Talend 工作伺服器、Amazon Redshift、Amazon RDS 和 Amazon EMR 的私有子網路。(第二個可用區域的私有子網域僅包含工作伺服器。)*
  
• 允許存取網際網路的網際網路閘道。堡疊主機會利用此閘道傳送和接收流量。*
  
• 公用子網路中的受管網路位址轉譯 (NAT) 閘道，允許對私有子網路中的資源進行傳出網際網路存取。*
  
• 在一個或兩個公用子網路中的 Linux 堡壘主機，允許在私有子網路中，傳入安全殼層 (SSH) 存取資源。*您可以在啟動快速入門時選擇堡壘主機的數量。*
• 在第一個可用區域的公用子網路中：
  • 主控 Talend 管理中心 (TAC) 的 Talend 公用伺服器可透過瀏覽器管理 Talend 工作。
  • 不想在筆記型電腦上執行 Talend Studio 的使用者可透過 X2Go 用戶端取得 Talend Studio 遠端桌面執行個體。
  • 適用於二進位和來源組態管理的 Nexus 成品儲存庫和 Git 伺服器。
  • 使用 Amazon Elasticsearch Service (Amazon ES)、Logstash 和 Kibana 的 Talend 日誌伺服器。

• 在第一個可用區域的私有子網路中：
  • Amazon RDS MySQL 資料庫執行個體可主控 Talend 中繼資料。
  • 具有 Pig、Hive 和 Spark 的 Amazon EMR 叢集與 Talend 大數據平台緊密整合，並在資料湖中提供 Hadoop 功能。
  • Amazon Redshift 叢集可用作資料倉儲或資料市集。
• 在私有子網路中，Talend 工作伺服器執行個體在 Auto Scaling 群組中執行由 TAC 排程的 Talend 工作。Auto Scaling 可讓 EC2 執行個體針對 Talend 工作伺服器的需求自動擴展和縮減。您可以設定部署期間所需的執行個體數目及其數目上限。
  
• 在公用子網路中，Talend 遠距離執行工作伺服器執行個體，以在 Auto Scaling 群組中代表 Talend Studio 使用者執行 Talend 工作。您可以在 Talend Studio 或這些伺服器上本機執行 Talend 工作。Auto Scaling 群組可讓 EC2 執行個體視 Talend 工作伺服器的需求自動擴展和縮減。您可以設定部署期間的執行個體的指定數目和數目上限。
  
• Amazon S3 可為資料湖導入資料。
  

 

*  將快速入門部署至現有 VPC 的範本會略過標有星號的任務，並提示您輸入現有的 VPC 組態。

切換至全螢幕檢視