O Amazon Kinesis Data Analytics é a maneira mais fácil de analisar dados de streaming em tempo real. Usando modelos e operadores integrados, você pode rapidamente e facilmente criar consultas e aplicações de stream em tempo real. O Amazon Kinesis Data Analytics configura os recursos para executar suas aplicações e é escalado automaticamente para manipular qualquer volume de dados de entrada.

Sem servidor

Você não precisa configurar e gerenciar uma infraestrutura complexa para alta disponibilidade e processamento com estado. O Amazon Kinesis Data Analytics opera sem servidor e cuida de tudo que é necessário para a execução contínua de sua aplicação. Isso inclui o provisionamento automático da infraestrutura para processar continuamente dados de streaming.

Elasticidade automática com a definição de preços conforme o uso

O Amazon Kinesis Data Analytics escala aplicativos elasticamente para acompanhar qualquer volume do fluxo de entrada de dados. Você só paga pelos recursos usados para executar suas aplicações de streaming. Você não precisa se preocupar com o provisionamento da infraestrutura ou em pagar por capacidade ociosa.

Latência de processamento de menos de um segundo

O Amazon Kinesis Data Analytics disponibiliza latências de processamento de menos de um segundo para que você possa gerar alertas, painéis e informações importantes em tempo real.

Código aberto

O Amazon Kinesis Data Analytics inclui bibliotecas de código aberto, como Apache Flink, Apache Beam, Apache ZeppelinAWS SDK e integrações de produtos da AWS. O Apache Flink é uma estrutura e um mecanismo de código aberto para a criação de aplicações de streaming altamente disponíveis e precisos. O Apache Beam é um modelo unificado de código aberto para definir aplicações de streaming e processamento de dados em lote que podem ser executadas em vários mecanismos de execução. Os SDKs da AWS ajudam a eliminar a complexidade da codificação de muitos serviços da AWS, fornecendo APIs em seu idioma preferido e inclui as bibliotecas da AWS, exemplos de código e documentação.

APIs flexíveis

São fornecidas APIs flexíveis em Java, Scala, Python e SQL que são especializadas para diferentes casos de uso, incluindo processamento de eventos com estado, streaming de ETL e análises em tempo real. Operadores predefinidos permitem que você crie uma aplicação de streaming em Apache Flink em questão de horas, não de meses. As bibliotecas do Amazon Kinesis Data Analytics são extensíveis, permitindo a execução de processamento em tempo real para uma ampla variedade de casos de uso.

Integração com os serviços da AWS

Você pode configurar e integrar uma origem ou um destino de dados com código mínimo. É possível usar as bibliotecas do Amazon Kinesis Data Analytics para integração com o Amazon S3, Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service (sucessor do Amazon Elasticsearch Service)Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatch e AWS Glue Schema Registry.

Recursos avançados de integração

Além das integrações da AWS, as bibliotecas do Amazon Kinesis Data Analytics incluem mais de dez conectores do Apache Flink e a capacidade de criar integrações personalizadas. Com algumas linhas de código adicionais, você pode modificar como cada integração se comporta com recursos avançados. Além disso, você pode criar integrações personalizadas usando um conjunto de dados primitivos do Apache Flink que permitem que você leia e grave em arquivos, diretórios, soquetes ou outras fontes que você pode acessar na Internet.

Compatível com o AWS Glue Schema Registry

O Amazon Kinesis Data Analytics for Apache Flink é compatível com o AWS Glue Schema Registry, um recurso sem servidor do AWS Glue que permite validar e controlar a evolução dos dados de streaming usando esquemas Apache Avro registrados, sem custo adicional. O Schema Registry ajuda a gerenciar seus esquemas no Amazon Kinesis Data Analytics para cargas de trabalho Apache Flink que se conectam ao Apache Kafka, Amazon Managed Streaming for Apache Kafka (MSK) ou Amazon Kinesis Data Streams, como fonte ou coletor. Quando as aplicações de streaming de dados são integradas ao Schema Registry, você pode melhorar a qualidade dos dados e se proteger contra mudanças inesperadas usando verificações de compatibilidade que controlam a evolução do esquema.

Processamento exatamente uma vez

Você pode usar o Apache Flink no Amazon Kinesis Data Analytics para criar aplicações cujos registros processados afetam os resultados exatamente uma vez, o que é conhecido como processamento exatamente uma vez. Isso significa que, mesmo no caso da interrupção de uma aplicação, como manutenção de serviços internos ou atualização de aplicações iniciada pelo usuário, o serviço garantirá que todos os dados serão processados e que não haverá dados em duplicidade.

Processamento stateful

O serviço armazena computações prévias e em andamento, ou estado, no armazenamento de aplicativos em execução. Isso permite que você compare resultados em tempo real e resultados anteriores ao longo de qualquer período e tenha uma recuperação rápida em interrupções de aplicativos. O estado sempre é criptografado e salvo incrementalmente no armazenamento de aplicações em execução.

Backups duráveis de aplicações

Você pode criar e excluir backups duráveis de aplicativos por meio de uma simples chamada de API. Você pode imediatamente restaurar suas aplicações pelo backup mais recente após uma interrupção, ou pode restaurar sua aplicação para uma versão anterior.

Amazon Kinesis Data Analytics Studio

Inspeção e visualização de stream

O Kinesis Data Analytics Studio oferece suporte a consultas de subsegundos com visualizações integradas. É possível realizar consultas ad-hoc para inspecionar rapidamente seu stream de dados e visualizar os resultados em segundos.

Ambiente simples de construção e execução

Os blocos de anotações do Studio fornecem uma experiência de desenvolvimento de interface única para desenvolver, depurar código e executar aplicações de processamento de stream.

Processar usando SQL, Python ou Scala

O Kinesis Data Analytics Studio oferece suporte a SQL, Python e Scala no mesmo ambiente de desenvolvimento. O realce de sintaxe, a validação e as sugestões sensíveis ao contexto o guiam dentro do bloco de anotações para interagir com seus dados com suporte integrado para recursos específicos do Apache Flink.

Desenvolvimento rápido e sem servidor de aplicações de processamento de stream

Não há servidores para provisionar, gerenciar ou dimensionar, apenas gravar o código e pagar pelos recursos que suas aplicações consomem. Implante facilmente seu código no bloco de anotações para uma aplicação de processamento de stream em execução contínua com autoescalabilidade e estado durável.

Código aberto

O Kinesis Data Analytics Studio é executado e produz aplicações de Apache Flink usadas ​​na produção e os blocos de anotações do Apache Zeppelin fornecem uma experiência familiar e fácil de usar para a criação de aplicações de streaming em um idioma de sua escolha.

Integra com o AWS Glue Data Catalog

O AWS Glue Data Catalog é um armazenamento de metadados persistente que funciona como um repositório central contendo definições de tabela. É possível usar o AWS Glue Data Catalog para descobrir e pesquisar rapidamente vários conjuntos de dados da AWS. O Amazon Kinesis Data Analytics Studio é compatível com o AWS Glue Data Catalog, onde você pode definir o esquema para suas tabelas de origem e destino.

Amazon Kinesis Data Analytics para aplicações SQL

Para novos projetos, recomendamos que você use o novo Kinesis Data Analytics Studio, em vez do Kinesis Data Analytics para aplicações SQL. O Kinesis Data Analytics Studio combina facilidade de uso com recursos analíticos avançados, permitindo que você crie aplicações sofisticadas de processamento de stream em minutos.

Suporte a SQL padrão

O Amazon Kinesis Data Analytics suporta SQL padrão ANSI. Portanto, você só precisa ter familiaridade com SQL.

Entrada e saída integradas

O Amazon Kinesis Data Analytics se integra ao Amazon Kinesis Data Streams e ao Amazon Kinesis Data Firehose para que você possa ingerir prontamente dados em streaming. Basta indicar o Amazon Kinesis Data Analytics no fluxo de entrada e ele lerá e analisará automaticamente os dados, além de disponibilizá-los para processamento. Você pode enviar os resultados processados para outros Serviços da AWS, como o Amazon S3, Amazon Redshift e Amazon OpenSearch Service, por meio do Amazon Kinesis Data Firehose. Também é possível enviar dados de saída para o Amazon Kinesis Data Streams para criar pipelines de processamento de fluxos avançados.

Editor de SQL com base no console

Você obterá um editor com base no console para criar consultas SQL usando operações de dados de streaming, como médias de intervalo de tempo variáveis. Você também pode ver resultados e erros de streaming usando dados em tempo real para depurar ou refinar ainda mais seu script de modo interativo.

Editor de esquema fácil de usar

O Amazon Kinesis Data Analytics disponibiliza um editor de esquema fácil de usar para descobrir e editar a estrutura dos dados de entrada. O assistente automaticamente reconhece formatos de dados padrão, como JSON e CSV. Ele infere a estrutura dos dados de entrada para criar um esquema de linha de base, que poderá ser posteriormente refinado por meio do editor de esquema.

Modelos SQL pré-criados

O editor SQL interativo é disponibilizado em um pacote com um conjunto de modelos SQL que disponibilizam código SQL de linha de base para os tipos de operações mais comuns, como agregação, transformação por evento e filtragem. Basta selecionar o modelo adequado para a sua tarefa de análise e editar o código disponibilizado usando o editor SQL para personalizá-lo para o seu caso de uso específico.

Funções avançadas de processamento de streams

O Amazon Kinesis Data Analytics oferece funções otimizadas para o processamento de streams de modo que você possa executar facilmente análises avançadas, como a detecção de anomalias e a análise top-K nos seus dados de streaming.

Comece a usar o Amazon Kinesis Data Analytics

Visite a página de definição de preço do Kinesis Data Analytics
Calcule seus custos

Visite a página de definição de preço do Amazon Kinesis Data Analytics.

Consulte o guia de conceitos básicos
Consulte o guia de conceitos básicos

Saiba como usar o Amazon Kinesis Data Analytics neste guia detalhado para SQL e Apache Flink.

Comece a criar no console
Comece a criar aplicativos de streaming

Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.