Amazon Kinesis Data Analytics
O Amazon Kinesis Data Analytics é a maneira mais fácil de transformar e analisar dados de streaming em tempo real com o Apache Flink. O Apache Flink é uma estrutura e um mecanismo de código aberto para o processamento de streams de dados. O Amazon Kinesis Data Analytics reduz a complexidade de criar, gerenciar e integrar aplicações do Apache Flink com outros serviços da AWS.
O Amazon Kinesis Data Analytics se encarrega de tudo o que é necessário para executar continuamente as aplicações de streaming e dimensionar automaticamente para atender ao volume e à transferência de dados recebidos. Com o Amazon Kinesis Data Analytics, não há servidores para gerenciar, nenhuma taxa mínima ou custo de configuração, e você paga apenas pelos recursos que suas aplicações de streaming utilizam.
Solicite suporte para realizar a prova de conceito ou uma avaliação >>
Benefícios
Processamento avançado em tempo real
O Amazon Kinesis Data Analytics oferece funções incorporadas para filtrar, agregar e transformar dados de streaming para análises avançadas. O serviço processa dados de streaming com latências de processamento de menos de 1 segundo, o que permite que você analise e responda a dados recebidos e eventos em tempo real.
Não há servidores para gerenciar
O Amazon Kinesis Data Analytics tem uma arquitetura sem servidor, ou seja, não há servidores para serem gerenciados. O serviço executa aplicações de streaming sem necessidade de provisionamento ou gerenciamento de qualquer infraestrutura. O Amazon Kinesis Data Analytics aumenta e diminui automaticamente a escala vertical da infraestrutura necessária para processar dados de entrada.
Pague somente pelo que usar
Com o Amazon Kinesis Data Analytics, você paga somente pelos recursos de processamento usados pela aplicação de streaming. Não há taxas mínimas nem compromissos antecipados.
Fácil de usar
O Amazon Kinesis Data Analytics permite que você crie de forma rápida e fácil consultas e aplicações de streaming sofisticados em três etapas simples: configure as fontes de dados de streaming, crie as consultas ou aplicações de streaming e configure o destino para dados processados.
Crie aplicações de streaming avançadas com Apache Flink
O Amazon Kinesis Data Analytics inclui bibliotecas de código aberto e tempos de execução baseados no Apache Flink que possibilitam a criação de uma aplicação em horas, em vez de meses, usando seu IDE favorito. As bibliotecas extensíveis têm APIs especializadas para diferentes casos de uso, incluindo processamento de eventos stateful, streaming de ETL e análises em tempo real. Você pode usar as bibliotecas para integração aos serviços da AWS como Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Elasticsearch Service, Amazon S3, Amazon DynamoDB e muito mais.
Uso do seu idioma favorito
O Amazon Kinesis Data Analytics oferece suporte a criação de aplicações em Java, Scala, e Python. Você pode usar essas linguagens para criar facilmente aplicações que realizam junções, agregações em janelas de tempo, filtros e muito mais. Você pode estender as bibliotecas de código aberto e incluir bibliotecas personalizadas com a linguagem de sua preferência. Você também pode usar SQL para analisar dados de streaming interativamente usando o console AWS e enviar os resultados para outros serviços da AWS.
Criação de aplicações de streaming com o Apache Beam
O Amazon Kinesis Data Analytics é compatível com a execução de aplicações de streaming criadas por meio do Java SDK do Apache Beam em um ambiente sem servidor do Apache Flink. O Apache Beam é um modelo unificado de código aberto para definir aplicações de streaming e processamento de dados em lote que podem ser executadas em vários mecanismos de execução. Você pode criar facilmente aplicações de streaming do Apache Beam em Java e executá-las no Amazon Kinesis Data Analytics e outros mecanismos de execução.
Como funciona
Casos de uso
Streaming ETL
Você pode desenvolver aplicações de extração-transformação-carga (ETL) de streaming com operadores integrados do Amazon Kinesis Data Analytics para transformar, agregar e filtrar dados de streaming. É possível enviar seus dados de forma fácil, em segundos para o Amazon Kinesis Data Streams, Amazon Managed Streaming para Apache Kafka (Amazon MSK), Amazon Elasticsearch Service, Amazon S3, integrações personalizadas e muito mais usando conectores integrados.
Observe como a John Deere extrai medidas do sensor de IoT obtidas de equipamento agrícola, transforma os dados em informações úteis para o cliente em tempo real e carrega os dados transformados em um data lake.
Análises em tempo real
Você pode consultar dados de streaming interativamente usando SQL padrão, criar aplicações Apache Flink usando Java Python e Scala e criar aplicações Apache Beam usando Java para analisar streams de dados.
Verifique nossos resumos de solução de análise em tempo real sobre monitoramento de log e análise de dados da Web.
Processamento de evento stateful
Você pode desenvolver aplicações que processam eventos de um ou mais fluxos de dados e acionar processamento condicional e ações externas. É possível identificar padrões como detecção de anomalias em seus fluxos de dados usando SQL padrão e bibliotecas Apache Flink para processamento de eventos complexos.
Verifique como a Zynga processa eventos de jogos acionados por ações do jogador.
Clientes
Comece a usar o Amazon Kinesis Data Analytics
Saiba como usar o Amazon Kinesis Data Analytics no guia passo a passo para SQL ou Apache Flink.
Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.