AWS Quick Starts — Soluções prontas para o cliente

Data lake híbrido na AWS

Com o WANdisco Fusion, o Amazon S3 e o Amazon Athena

Este Quick Start implanta um ambiente de nuvem híbrido que integra clusters de Hadoop no local a um data lake na Nuvem Amazon Web Services (AWS). A implantação inclui o WANdisco Fusion, o Amazon Simple Storage Service (Amazon S3) e o Amazon Athena. Além disso, tem suporte para cenários de migração de nuvem e de processamento burst-out.

O Quick Start provisiona a opção de implantar um contêiner do Docker, que representa seu cluster de Hadoop no local para fins de demonstração, e ajuda a ganhar experiência pessoal com a arquitetura do data lake híbrido. O WANdisco Fusion replica dados do Docker para o Amazon S3 continuamente, garantindo uma forte consistência entre os dados que residem no local e os dados na nuvem. Você pode usar o Amazon Athena para analisar e visualizar os dados que foram replicados.

Veja também: se esta arquitetura não atende aos seus requisitos específicos, consulte as outras implantações de data lake no catálogo de Quick Start.

datalake_icon_crs

Este Quick Start foi desenvolvido pela Sturdy e pela WANdisco em colaboração com a AWS. Sturdy e WANdisco são
Parceiros do APN.

  •  O que você criará
  •  Como implantar
  •  Custo e licenças
  •  Recursos
  •  O que você criará
  • A arquitetura Quick Start para o data lake híbrido inclui o seguinte:

    • Uma Virtual Private Cloud (VPC) que abrange duas zonas de disponibilidade e inclui duas sub-redes públicas.*
    • Um Internet Gateway para fornecer acesso à Internet.*
    • Nas sub-redes públicas, as instâncias do servidor do WANdisco Fusion em um grupo de Auto Scaling, funcionando como um serviço em cluster único.
    • (Opcional) No servidor do WANdisco no local implantado em um contêiner do Docker, para demonstrar a sincronização do HDFS com o bucket do S3 na nuvem. O Quick Start usa uma amostra de conjunto de dados aberto que consiste em dados de táxi da cidade de Nova York publicamente disponíveis.
    • (Opcional) O Amazon Athena para consultar e analisar os dados do servidor local do WANdisco Fusion, que é sincronizado com o Amazon S3.
    • (Opcional) Um bucket do S3 para armazenar o conteúdo que está sendo sincronizado pelo WANdisco Fusion e as informações da análise processadas pelo Athena.

    * O modelo que implanta o Quick Start em uma VPC existente pula os componentes marcados com asteriscos.

  •  Como implantar
  • Você pode criar seu ambiente de data lake híbrido na AWS em cerca de 15 minutos, seguindo as etapas a seguir:

    1. Caso ainda não tenha uma conta da AWS, cadastre-se em https://aws.amazon.com.
    2. Inscreva-se na imagem de máquina da Amazon (AMI) para o WANdisco Fusion no AWS Marketplace.
    3. Inicie o Quick Start. Você pode escolher entre duas opções:
    4. (Opcional) Implante no servidor do WANdisco no local em um contêiner do Docker e configure a replicação para ver a capacidade de sincronização do HDFS para o Amazon S3.

    O Quick Start inclui parâmetros personalizáveis. Por exemplo, você pode configurar sua rede ou personalizar as configurações do WANdisco Fusion e do Amazon Athena.

  •  Custo e licenças
  • É sua a responsabilidade pelo custo dos serviços da AWS usados durante a implantação de referência do Quick Start. Não há custo adicional pelo uso do Quick Start.

    Os modelos do AWS CloudFormation para este Quick Start incluem parâmetros de configuração personalizáveis. Algumas dessas configurações, como o tipo de instância, afetarão o custo de implantação. Para obter estimativas de custo, leia as páginas de definição de preço de cada serviço da AWS que você usará.

    Este Quick Start requer uma assinatura de AMI do WANdisco Fusion no AWS Marketplace. O software WANdisco Fusion é provisionado com o modelo Bring Your Own License. Se nenhuma licença for provisionada, o Quick Start configurará o aplicativo com uma chave de avaliação. Para continuar usando o WANdisco Fusion depois do período de avaliação de 14 dias, você deve comprar uma licença entrando em contato com a WANdisco pelo site http://www.wandisco.com/contact.

  •  Recursos
  • A implantação de referência do Quick Start está relacionada a uma solução em destaque no Espaço de soluções que inclui um resumo da solução, ofertas de consultoria opcionais projetadas por Parceiros de competência da AWS e o investimento conjunto da AWS em projetos de prova do conceito (PoC). Para saber mais sobre esses recursos, acesse o Espaço de soluções.