Publicado: Nov 7, 2017
Este Quick Start automatiza o design, a instalação e a configuração de hardware e software para implantar o data lake na nuvem da Amazon Web Services (AWS). O Quick Start provisiona componentes da plataforma de big data da Talend e serviços da AWS, como o Amazon EMR, o Amazon Redshift, o Amazon Simple Storage Service (Amazon S3) e o Amazon Relational Database Service (Amazon RDS) para criar um data lake. Ele também fornece um exemplo de dataset opcional e trabalhos da Talend desenvolvidos pela Cognizant Technology Solutions para ilustrar as práticas de big data para a integração das tecnologias do Apache Spark, do Apache Hadoop, do Amazon EMR, do Amazon Redshift e do Amazon S3 em uma implementação de data lake.
O Quick Start é para usuários que estão avaliando big data na nuvem ou procurando acelerar suas iniciativas de big data pela adoção de melhores práticas para a integração de big data. O Quick Start fornece os seguintes recursos:
- Permite o autoatendimento provisionando os serviços e os componentes necessários para criar um data lake.
- Fornece flexibilidade para ativar ambientes para desenvolvimento, teste e produção.
- Inclui um exemplo de dataset opcional e trabalhos do Spark pré-criados da Talend que ajudam você a explorar a arquitetura e entender os estágios do fluxo de dados de ponta a ponta.
- Inclui recursos de ingestão de dados, processamento de dados e repositório de dados, usando recursos da Talend e do Spark.
- Como opção, oferece a estrutura de ingestão da Cognizant, a validação de big data e a plataforma de DevOps para ingerir, validar e implantar soluções de big data. (Esses recursos não são automatizados pelo modelo do CloudFormation do Quick Start.)
Os modelos do AWS CloudFormation que automatizam a implantação são personalizáveis.
Para começar, utilize estes recursos:
- Saiba mais sobre a arquitetura de data lake
- Exibir o guia de implantação
- Procurar e iniciar outras implantações de referência do AWS Quick Start
Sobre os Quick Starts
Os Quick Starts são implantações de referência automatizadas para as principais cargas de trabalho na nuvem da AWS. Cada Quick Start inicia, configura e executa a computação, a rede e o armazenamento da AWS, além de outros serviços necessários para implantar uma carga de trabalho específica na AWS, usando as melhores práticas da AWS para segurança e disponibilidade. Esta é a mais recente de um conjunto de soluções da AWS prontas para o cliente, que são arquiteturas de referência prontas para implantação e melhores práticas adequadas a casos de uso ou processos de negócios específicos. O Quick Start foi criado pela Talend e pela Cognizant em parceria com a AWS.