O que é o AWS Glue?
Preparar seus dados para obter resultados de qualidade é a primeira etapa de um projeto de análise ou ML. O AWS Glue é um serviço de integração de dados com tecnologia sem servidor que torna a preparação de dados mais simples, rápida e barata. Você pode descobrir e se conectar a mais de 70 fontes de dados diversas, gerenciar seus dados em um catálogo de dados centralizado e criar, executar e monitorar visualmente pipelines ETL para carregar dados em seus data lakes.
Introduction to AWS Glue (01:54)

Benefícios do AWS Glue

Escala de petabytes, cobrança conforme o uso, qualquer tamanho de dados
Ofereça suporte a todos os usuários de dados, de desenvolvedores a usuários corporativos
Suporte flexível para ETL, ELT, batch, streaming e muito mais, sem bloqueio
Recursos completos de integração de dados em um serviço sem servidor

Como funciona

O AWS Glue é um serviço de integração de dados com tecnologia sem servidor que facilita a descoberta, preparação, movimentação e integração de dados de várias fontes para análise, machine learning (ML) e desenvolvimento de aplicações.

  • Opções de mecanismo de integração de dados
  • Escolha seu mecanismo de integração de dados preferido no AWS Glue para atender aos seus usuários e workloads.

    O diagrama mostra várias opções de mecanismo de processamento de dados do AWS Glue.
  • ETL orientado por eventos
  • O AWS Glue pode executar seus trabalhos de extração, transformação e carregamento (ETL) à medida que chegam novos dados. Por exemplo, é possível configurar o AWS Glue para iniciar trabalhos de ETL a serem executados assim que novos dados estão disponíveis no Amazon Simple Storage Service (S3).

    Diagrama mostrando como o AWS Glue pode executar trabalhos de ETL à medida que novos dados chegam.
  • Catálogo de Dados do AWS Glue
  • Você pode usar o catálogo de dados para descobrir e pesquisar rapidamente diversos conjuntos de dados da AWS sem mover os dados. Quando são catalogados, os dados são disponibilizados imediatamente para pesquisa e consulta por meio do Amazon Athena, do Amazon EMR e do Amazon Redshift Spectrum.

    O diagrama mostra o Data Catalog descobrindo e pesquisando conjuntos de dados sem migrar os dados.
  • Trabalhos de ETL sem código
  • O AWS Glue Studio torna mais fácil criar, executar e monitorar visualmente os trabalhos ETL do AWS Glue. Você pode criar trabalhos ETL que migram e transformam os dados usando um editor do tipo arrastar e soltar, e o AWS Glue gera automaticamente o código.

    O diagrama mostra como os usuários podem compor trabalhos ETL que migram e transformam dados usando um editor do tipo arrastar e soltar.
  • Gerencie e monitore a qualidade dos dados
  • A Qualidade de dados do AWS Glue automatiza a criação, o gerenciamento e o monitoramento de regras de qualidade de dados para ajudar a garantir dados de alta qualidade nos data lakes e pipelines.

    O diagrama mostra como a Qualidade de dados do AWS Glue mede, monitora e gerencia automaticamente a qualidade dos dados em data lakes e pipelines de dados.
  • Preparação dos dados
  • Com o AWS Glue DataBrew, é possível explorar e fazer experimentos dos dados diretamente de seu data lake, data warehouses e bancos de dados, incluindo o Amazon S3, o Amazon Redshift, o AWS Lake Formation, o Amazon Aurora e o Amazon Relacional Database Service (RDS). Escolha entre mais de 250 transformações predefinidas no DataBrew para automatizar tarefas de preparação de dados, como filtragem de anomalias, padronização de formatos e correção de valores inválidos.

    Além disso, o AWS Glue oferece uma ferramenta de preparação de dados visual que permite preparar dados usando uma interface visual interativa estilo apontar e clicar que dispensa a criação de código.

    O diagrama mostra como o DataBrew automatiza as tarefas de preparação de dados para os usuários.

Casos de uso

Explore, experimente e processe dados de forma interativa

Ao usar sessões interativas do AWS Glue, os engenheiros de dados podem explorar e preparar dados de forma interativa usando o ambiente de desenvolvimento integrado (IDE) ou o caderno de sua escolha.

Descubra dados de forma eficiente

Identifique rapidamente os dados na AWS, no local e em outras nuvens e, em seguida, disponibilize-os instantaneamente para consulta e transformação.

Simplifique o desenvolvimento de pipeline ETL

Remova o gerenciamento de infraestrutura com provisionamento automático e gerenciamento de funcionários e consolide todas as suas necessidades de integração de dados em um único serviço.

Suporte a várias estruturas de processamento e workloads

Suporte mais fácil a várias estruturas de processamento de dados, como ETL e ELT, e várias workloads, incluindo batch, microbatch e streaming.

Novidades

  • Data (do mais recente ao mais antigo)
Nenhum resultado encontrado
1

Conheça mais a AWS