Nuvem AWS
Nuvem AWS
Comece a usar o AWS Data Pipeline

O AWS Data Pipeline é um web service que ajuda você a processar e movimentar dados com segurança entre diferentes serviços de armazenamento e computação da AWS, bem como fontes de dados locais, em intervalos especificados. Com o AWS Data Pipeline, você pode acessar regularmente seus dados onde eles estiverem armazenados, transformá-los e processá-los em escala, bem como transferir com eficiência os resultados para serviços da AWS como o Amazon S3, o Amazon RDS, o Amazon DynamoDB e o Amazon EMR.

O AWS Data Pipeline ajuda você a criar facilmente cargas de trabalho complexas de processamento de dados tolerantes a falhas, repetíveis e altamente disponíveis. Não se preocupe em garantir a disponibilidade de recursos, gerenciar as dependências entre tarefas, tentar processar novamente tarefas individuais com falhas temporárias ou tempo limite excedido, ou criar um sistema de notificação de falhas. O AWS Data Pipeline também permite que você mova e processe dados que anteriormente estavam limitados a silos de dados locais.

Coursera-reInvent-2
Construct your ETL with AW Data Pipeline, Amazon EMR, and Amazon Redshift (41min11s)

Confiável

Confiável

O AWS Data Pipeline foi desenvolvido em uma infraestrutura distribuída e extremamente disponível, criada para execução tolerante a falhas de suas atividades. Se ocorrerem falhas na lógica de atividades ou nas fontes de dados, o AWS Data Pipeline automaticamente tentará executar a atividade novamente. Se a falha persistir, o AWS Data Pipeline enviará a você notificações de falha por meio do Amazon Simple Notification Service (Amazon SNS). Você pode configurar notificações para execuções bem-sucedidas, atrasos em atividades planejadas ou falhas.

Fácil de usar

Fácil de usar

A criação de um pipeline é rápida e fácil usando nosso console com recurso de arrastar e soltar. Pré-condições comuns são incluídas no serviço; portanto, não é necessário criar lógica extra para usá-las. Por exemplo, para verificar a existência de um arquivo do Amazon S3, basta fornecer o nome do bucket do Amazon S3 e o caminho do arquivo que deseja verificar. O AWS Data Pipeline fará o resto. 
Além do criador visual de pipelines fácil de usar, o AWS Data Pipeline fornece uma biblioteca de modelos de pipelines. Esses modelos facilitam a criação de pipelines para diversos casos de uso mais complexos, como processamento regular de seus arquivos de log, arquivamento de dados no Amazon S3 ou execução periódica de consultas SQL.

Flexível

Flexível

O AWS Data Pipeline permite que você utilize uma variedade de recursos, como agendamento, rastreamento de dependências e processamento de erros. Você pode usar atividades e pré-condições fornecidas pela AWS e/ou criar suas próprias atividades e pré-condições personalizadas. Isso significa que você pode configurar um AWS Data Pipeline para realizar ações como executar trabalhos do Amazon EMR, executar consultas SQL diretamente em bancos de dados ou executar aplicativos personalizadas no Amazon EC2 ou em seu próprio datacenter. Isso permite que você crie pipelines personalizados avançados para analisar e processar os dados, sem precisar lidar com as complexidades do agendamento e execução confiáveis da lógica do aplicativo

Escalável

Escalável

Com o AWS Data Pipeline, é igualmente fácil enviar trabalho para outra máquina ou para muitas, em série ou paralelo. Com o projeto flexível do AWS Data Pipeline, o processamento de um milhão de arquivos é tão fácil quanto processar um único arquivo.

 

Baixo custo

Baixo custo

O AWS Data Pipeline tem baixo custo de utilização e é cobrado usando uma reduzida taxa mensal. Você pode testá-lo gratuitamente no uso gratuito da AWS. Saiba mais.

Transparente

Transparente

Você tem controle total dos recursos computacionais que executam a lógica comercial, facilitando o aprimoramento ou depuração da lógica. Além disso, os logs de execução completos são fornecidos automaticamente para o Amazon S3, oferecendo a você um registro persistente e detalhado do que aconteceu em seu pipeline.

Comece a usar