Integração de dados com a AWS

Seus dados vêm de várias fontes em vários formatos: aplicações hospedadas por terceiros, armazenamentos de dados on-premises e armazenamentos de dados operacionais. Os serviços da AWS se conectam a centenas de fontes de dados, incluindo software como serviço (SaaS) de terceiros, on-premises e em outras nuvens. Depois de conectar ou mover dados para data lakes, data warehouses e bancos de dados, você pode disponibilizá-los com segurança em toda a organização.

O AWS Glue, um dos muitos serviços de integração de dados da AWS, consolida os principais recursos de integração de dados em um só lugar, incluindo descoberta, extração, transformação e carregamento de dados (ETL), limpeza, transformação e catalogação centralizada. Ele é uma tecnologia sem servidor e é capaz de provisionar e gerenciar automaticamente os trabalhadores conforme necessário.

A AWS fornece ferramentas que atendem às necessidades de engenheiros de dados, desenvolvedores de ETL e analistas de negócios, ajudando usuários de todos os níveis técnicos a explorar e trabalhar interativamente com seus dados. Você pode transformar os dados visualmente com uma interface de arrastar e soltar no AWS Glue Studio, limpar e normalizar dados com a ferramenta de preparação de dados AWS Glue DataBrew e testar dados usando seu ambiente de desenvolvimento integrado (IDE) ou caderno de sua preferência.

Muitas vezes, as organizações precisam oferecer suporte a uma variedade de estruturas de processamento de dados, como ETL, ETL reverso e extração, carregamento e transformação (ELT), além de diferentes workloads, como lotes, microlotes e transmissões. A AWS fornece suporte flexível para todas as frameworks e workloads e permite a portabilidade aproveitando padrões de código aberto.

A AWS ajuda a acessar e integrar dados de qualquer lugar em que você os armazene, permitindo que suas equipes de integração de dados se concentrem em atividades de alto valor que maximizam o valor dos seus dados.

O AWS Glue facilita a descoberta, a preparação e a integração de todos os seus dados em qualquer escala. O AWS Database Migration Service ajuda a mover workloads de banco de dados e análises para a AWS de maneira rápida, segura e com o mínimo de tempo de inatividade e sem perda de dados. O Amazon Managed Workflows para Apache Airflow (MWAA) fornece orquestração segura e altamente disponível de fluxos de trabalhos gerenciados para o Apache Airflow. O AWS Data Exchange se conecta com dados de terceiros de mais de 300 provedores de dados e mais de 3.500 produtos de dados.

O AWS Glue facilita a preparação e a integração dos dados para casos de uso complexos em que você precisa transformá-los e normalizá-los, verificar sua qualidade antes de os ingerir de um datastore bruto ou ainda reduzir colunas, linhas ou tamanho de dados de tabelas.

Para casos de uso comuns em que o processo de ETL é repetido regularmente, você pode usar os recursos de ETL zero da AWS, que eliminam a necessidade de criar e gerenciar pipelines de ETL. Com os recursos de ETL zero da AWS, você pode ingerir dados de transmissão diretamente do Amazon Managed Streaming para Apache Kafka no Amazon Redshift, analisar dados do Amazon Aurora com o Amazon Redshift quase em tempo real e fazer muito mais.

Usuários de toda a empresa têm habilidades técnicas variadas para interagir com os dados e talvez não consigam fazer isso sem as ferramentas certas.

A AWS fornece interfaces específicas de habilidades e ferramentas de criação de trabalhos para todos os tipos de usuários, desde desenvolvedores até usuários corporativos. O AWS Glue Studio gera automaticamente código ETL e permite que desenvolvedores de ETL e analistas de negócios transformem dados com uma interface sem código. O AWS Glue também permite que desenvolvedores e engenheiros usem seus mecanismos de IDE, cadernos e processamento preferidos. O Amazon Managed Workflows para Apache Airflow permite que cientistas e engenheiros orquestrem pipelines de dados de ponta a ponta.

A AWS fornece suporte para várias workloads sem restrições.

O AWS Glue Studio ajuda a criar trabalhos de ETL altamente escaláveis, sem que você precise se tornar especialista em Apache Spark e a carregar dados estruturados e não estruturados em data warehouses e data lakes. O Amazon Managed Streaming para Apache Kafka (MSK) e o Amazon Kinesis facilitam a ingestão e o processamento de dados de transmissão em tempo real. Outras workloads comuns incluem transformação de dados em lote, replicação de banco de dados, ingestão de dados de SaaS, compartilhamento de dados entre equipes e assinatura de dados de terceiros.