Nuvem da AWS
Nuvem da AWS
Comece a usar o AWS Data Pipeline

O AWS Data Pipeline é um web service que ajuda você a processar e transferir dados com segurança entre diferentes serviços de armazenamento e computação da AWS, bem como fontes de dados locais, em intervalos especificados. Com o AWS Data Pipeline, você pode acessar seus dados com frequência onde eles estiverem armazenados, transformá-los e processá-los em escala, bem como transferir com eficiência os resultados para serviços da AWS, como o Amazon S3, o Amazon RDS, o Amazon DynamoDB e o Amazon EMR.

O AWS Data Pipeline ajuda você a criar facilmente cargas de trabalho de processamento de dados complexos, que são tolerantes a falhas, repetíveis e extremamente disponíveis. Não se preocupe em garantir a disponibilidade de recursos, gerenciar dependências entre tarefas, tentar novamente falhas transitórias ou limites de tempo em tarefas individuais ou criar um sistema de notificação de falhas. O AWS Data Pipeline também permite que você mova e processe dados que foram anteriormente bloqueados em compartimentos de dados locais.

Coursera-reInvent-2


Confiável

Confiável

O AWS Data Pipeline foi desenvolvido em uma infraestrutura distribuída e extremamente disponível, criada para execução tolerante a falhas de suas atividades. Se ocorrerem falhas na lógica de atividades ou nas origens de dados, o AWS Data Pipeline automaticamente tentará executar a atividade novamente. Se a falha persistir, o AWS Data Pipeline enviará a você notificações de falha por meio do Amazon Simple Notification Service (Amazon SNS). Você pode configurar notificações para execuções bem-sucedidas, atrasos em atividades planejadas ou falhas.

Fácil de usar

Fácil de usar

A criação de um pipeline é rápida e fácil usando nosso console de arrastar e soltar. Pré-condições comuns são incluídas no serviço; portanto, não é necessário criar lógica extra para usá-las. Por exemplo, você pode verificar a existência de um arquivo do Amazon S3 simplesmente ao fornecer o nome do bucket do Amazon S3 e o caminho do arquivo que deseja verificar; o AWS Data Pipeline fará o restante. Além de seu criador de pipeline visual fácil de usar, o AWS Data Pipeline fornece uma biblioteca de modelos de pipeline. Esses modelos facilitam a criação de pipelines para um número de casos de uso mais complexos, como processamento regular de seus arquivos de log, arquivamento de dados no Amazon S3 ou execução de consultas SQL periódicas.

Flexível

Flexível

O AWS Data Pipeline permite que você utilize uma variedade de recursos, como agendamento, rastreamento de dependências e processamento de erros. Você pode usar atividades e pré-condições que a AWS fornece e/ou criar suas próprias atividades e pré-condições personalizadas. Isso significa que você pode configurar um AWS Data Pipeline para realizar ações como executar trabalhos do Amazon EMR, executar consultas SQL diretamente em bancos de dados ou executar aplicações personalizadas no Amazon EC2 ou no seu próprio datacenter. Isso permite que você crie pipelines personalizados avançados para analisar e processar seus dados, sem precisar lidar com as complexidades do agendamento e execução confiáveis da lógica da sua aplicação

Escalável

Escalável

O AWS Data Pipeline torna igualmente fácil enviar trabalho para outra máquina ou para muitas, em série ou paralelamente. Com o design flexível do AWS Data Pipeline, o processamento de um milhão de arquivos é tão fácil quanto processar um único arquivo.

 

Baixo custo

Baixo custo

O AWS Data Pipeline tem baixo custo de utilização e é cobrado a uma taxa mensal de pequeno valor. Você pode testá-lo gratuitamente no uso gratuito da AWS. Saiba mais.

Transparente

Transparente

Você terá total controle dos recursos computacionais que executam sua lógica comercial, facilitando o aprimoramento ou depuração de sua lógica. Além disso, os logs de execução completos são entregues automaticamente ao Amazon S3, proporcionando um registro persistente e detalhado do que aconteceu em seu pipeline.

Comece a usar