Código aberto

O Amazon Kinesis Data Analytics inclui bibliotecas de código aberto, como Apache Flink, Apache Beam, Apache ZeppelinAWS SDK e integrações de produtos da AWS. O Apache Flink é um framework e um mecanismo de código aberto para a criação de aplicações de transmissão altamente disponíveis e precisas. O Apache Beam é um modelo unificado de código aberto para definir aplicações de transmissão e processamento de dados em lote executadas em vários mecanismos de execução. Os Kits de desenvolvimento de software (SDKs) da AWS ajudam a eliminar a complexidade da codificação de muitos produtos da AWS ao fornecer interfaces do programa da aplicação (APIs) no seu idioma preferencial e inclui as bibliotecas, exemplos de código e documentação da AWS.

APIs flexíveis

O Kinesis Data Analytics oferece APIs flexíveis em Java, Scala, Python e SQL que são especializadas para diferentes casos de uso, incluindo processamento de eventos com estado, transmissão de ETL e análise em tempo real. Operadores e recursos de análise predefinidos permitem que você crie uma aplicação de transmissão no Apache Flink em questão de horas e não de meses. As bibliotecas do Kinesis Data Analytics são extensíveis, permitindo a execução de processamento em tempo real para uma ampla variedade de casos de uso.

Integrações de produtos da AWS

Você pode configurar e integrar uma origem ou um destino de dados com código mínimo. Você pode usar as bibliotecas do Amazon Kinesis Data Analytics para integração com o Amazon Simple Storage Service (S3), Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch ServiceAmazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatch e o AWS Glue Schema Registry.

Recursos avançados de integração

Além das integrações da AWS, as bibliotecas do Kinesis Data Analytics incluem mais de dez conectores do Apache Flink e a capacidade de criar integrações personalizadas. Com algumas linhas de código adicionais, você pode modificar como cada integração se comporta com funcionalidades avançadas. Você também pode criar integrações personalizadas usando um conjunto de dados primitivos do Apache Flink que permitem que você leia e grave em arquivos, diretórios, soquetes ou outras fontes que você pode acessar na Internet.

Compatível com o AWS Glue Schema Registry

O Kinesis Data Analytics para Apache Flink é compatível com o AWS Glue Schema Registry. Esse recurso sem servidor do AWS Glue permite validar e controlar a evolução dos dados de transmissão usando esquemas do Apache Avro registrados sem custo adicional. O Schema Registry ajuda a gerenciar os esquemas no Amazon Kinesis Data Analytics para workloads do Apache Flink que se conectam ao Apache Kafka, Amazon Managed Streaming para Apache Kafka (MSK) ou Amazon Kinesis Data Streams, como fonte ou coletor. Quando as aplicações de fluxo de dados são integradas ao Schema Registry, é possível melhorar a qualidade dos dados e se proteger de mudanças inesperadas usando verificações de compatibilidade que controlam a evolução do esquema.

Processamento exatamente uma vez

Use o Apache Flink no Amazon Kinesis Data Analytics para criar aplicações cujos registros processados afetam os resultados exatamente uma vez, o que é conhecido como processamento exatamente uma vez. Mesmo no caso da interrupção de uma aplicação, como uma manutenção de serviços internos ou uma atualização de aplicações iniciada pelo usuário, o serviço garantirá que todos os dados sejam processados e que não haverá dados em duplicidade.

Processamento com estado

O serviço armazena computações prévias e em andamento, ou estado, no armazenamento de aplicações em execução. Compare resultados em tempo real e resultados anteriores em qualquer período e tenha uma recuperação rápida durante interrupções de aplicações. O estado sempre é criptografado e salvo incrementalmente no armazenamento de aplicações em execução.

Backups duráveis de aplicações

Você pode criar e excluir backups duráveis de aplicações por meio de uma simples chamada de API. Restaure imediatamente suas aplicações segundo o backup mais recente após uma interrupção, ou restaure a aplicação para uma versão anterior. 

Amazon Kinesis Data Analytics Studio

Inspeção e visualização de transmissão

O Kinesis Data Analytics Studio oferece suporte a consultas de subsegundos com visualizações integradas. É possível realizar consultas ad-hoc para inspecionar rapidamente seu fluxo de dados e visualizar os resultados em segundos.

Ambiente simples de criação e execução

Os blocos de anotações do Studio fornecem uma experiência de desenvolvimento de interface única para desenvolver, depurar código e executar aplicações de processamento de transmissões.

Processar usando SQL, Python ou Scala

O Kinesis Data Analytics Studio oferece suporte a SQL, Python e Scala no mesmo ambiente de desenvolvimento. Realce de sintaxe, validação e sugestões sensíveis ao contexto orientam você dentro do bloco de anotações para interagir com seus dados com suporte integrado para recursos específicos do Apache Flink.

Desenvolvimento rápido e sem servidor de aplicações de processamento de transmissões

Não é necessário provisionar, gerenciar ou escalar servidores. Simplesmente escreva o código e pague pelos recursos que suas aplicações consumirem. Implante facilmente seu código no bloco de anotações para uma aplicação de processamento de transmissão em execução contínua com autoescalabilidade e estado durável.

Código aberto

O Kinesis Data Analytics Studio é executado e produz aplicações do Apache Flink usadas ​​na produção e os blocos de anotações do Apache Zeppelin fornecem uma experiência familiar e fácil de usar para a criação de aplicações de transmissão em um idioma de sua escolha.

Integra-se com o catálogo de dados do AWS Glue

O AWS Glue Data Catalog é um armazenamento de metadados persistente que funciona como um repositório central contendo definições de tabela. É possível usar o catálogo de dados do AWS Glue para descobrir e pesquisar rapidamente vários conjuntos de dados da AWS. O Kinesis Data Analytics Studio é compatível com o catálogo de dados do AWS Glue, onde você pode definir o esquema para suas tabelas de origem e destino.

Kinesis Data Analytics para aplicações SQL

Para novos projetos, recomendamos que você use o novo Kinesis Data Analytics Studio em vez do Kinesis Data Analytics para aplicações SQL. O Kinesis Data Analytics Studio combina facilidade de uso com recursos analíticos avançados, permitindo que você crie aplicações sofisticadas de processamento de transmissão em questão de minutos.

Compatibilidade com o SQL padrão

O Kinesis Data Analytics oferece suporte ao SQL padrão ANSI. Portanto, você só precisa ter familiaridade com o SQL.

Entrada e saída integradas

O Kinesis Data Analytics se integra ao Amazon Kinesis Data Streams e ao Amazon Kinesis Data Firehose para que você possa ingerir prontamente dados de transmissão. Basta indicar o Kinesis Data Analytics na transmissão de entrada e ele lerá e analisará automaticamente os dados, além de disponibilizá-los para processamento. Você pode enviar os resultados processados para outros produtos da AWS, como o Simple Storage Service (Amazon S3), o Amazon Redshift e o Amazon OpenSearch Service, por meio do Kinesis Data Firehose. Também é possível enviar dados de saída para o Amazon Kinesis Data Streams para criar pipelines avançados de processamento de transmissões.

Editor de SQL baseado no console

Use um editor baseado no console para criar consultas SQL usando operações de dados de transmissão, como médias de janelas de tempo variáveis. Você também pode ver resultados e erros de transmissão usando dados em tempo real para depurar ou refinar ainda mais seu script de modo interativo.

Editor de esquema fácil de usar

O Kinesis Data Analytics disponibiliza um editor de esquema fácil de usar para descobrir e editar a estrutura dos dados de entrada. O assistente automaticamente reconhece formatos de dados padrão, como JSON e CSV. Ele infere a estrutura dos dados de entrada para criar um esquema de linha de base, que poderá ser posteriormente refinado por meio do editor de esquema.

Modelos SQL pré-criados

O editor SQL interativo é fornecido em um pacote com um conjunto de modelos SQL que disponibilizam código SQL de linha de base para os tipos de operações mais comuns, como agregação, transformação por evento e filtragem. Basta selecionar o modelo adequado para sua tarefa de análise e editar o código disponibilizado usando o editor SQL para personalizá-lo para o caso de uso específico.

Funções avançadas de processamento de transmissão

O Kinesis Data Analytics oferece funções otimizadas para o processamento de transmissões de modo que você possa executar facilmente análises avançadas, como a detecção de anomalias e a análise top-K nos dados de transmissão.

Comece a usar o Amazon Kinesis Data Analytics

Visite a página de definição de preço do Kinesis Data Analytics
Calcule seus custos

Visite a página de definição de preço do Amazon Kinesis Data Analytics.

Consulte o guia de conceitos básicos
Consulte o guia de conceitos básicos

Saiba como usar o Amazon Kinesis Data Analytics neste guia detalhado para SQL e Apache Flink.

Comece a criar no console
Comece a criar aplicativos de streaming

Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.