Recursos do Amazon Kinesis Data Analytics

O Amazon Kinesis Data Analytics inclui bibliotecas de código aberto, como Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK e integrações de produtos da AWS. O Apache Flink é um framework e um mecanismo de código aberto para a criação de aplicações de transmissão altamente disponíveis e precisas. O Apache Beam é um modelo unificado de código aberto para definir aplicações de transmissão e processamento de dados em lote executadas em vários mecanismos de execução. Os Kits de desenvolvimento de software (SDKs) da AWS ajudam a eliminar a complexidade da codificação de muitos produtos da AWS ao fornecer interfaces do programa da aplicação (APIs) no seu idioma preferencial e inclui as bibliotecas, exemplos de código e documentação da AWS.

O Kinesis Data Analytics oferece APIs flexíveis em Java, Scala, Python e SQL que são especializadas para diferentes casos de uso, incluindo processamento de eventos com estado, transmissão de ETL e análise em tempo real. Operadores e recursos de análise predefinidos permitem que você crie uma aplicação de transmissão no Apache Flink em questão de horas e não de meses. As bibliotecas do Kinesis Data Analytics são extensíveis, permitindo a execução de processamento em tempo real para uma ampla variedade de casos de uso.

Você pode configurar e integrar uma origem ou um destino de dados com código mínimo. Você pode usar as bibliotecas do Amazon Kinesis Data Analytics para integração com o Amazon Simple Storage Service (S3), Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service, Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon CloudWatch e o AWS Glue Schema Registry.

Além das integrações da AWS, as bibliotecas do Kinesis Data Analytics incluem mais de dez conectores do Apache Flink e a capacidade de criar integrações personalizadas. Com algumas linhas de código adicionais, você pode modificar como cada integração se comporta com funcionalidades avançadas. Você também pode criar integrações personalizadas usando um conjunto de dados primitivos do Apache Flink que permitem que você leia e grave em arquivos, diretórios, soquetes ou outras fontes que você pode acessar na Internet.

O Kinesis Data Analytics para Apache Flink é compatível com o AWS Glue Schema Registry. Esse recurso sem servidor do AWS Glue permite validar e controlar a evolução dos dados de transmissão usando esquemas do Apache Avro registrados sem custo adicional. O Schema Registry ajuda a gerenciar os esquemas no Amazon Kinesis Data Analytics para workloads do Apache Flink que se conectam ao Apache Kafka, Amazon Managed Streaming para Apache Kafka (MSK) ou Amazon Kinesis Data Streams, como fonte ou coletor. Quando as aplicações de fluxo de dados são integradas ao Schema Registry, é possível melhorar a qualidade dos dados e se proteger de mudanças inesperadas usando verificações de compatibilidade que controlam a evolução do esquema.

Use o Apache Flink no Amazon Kinesis Data Analytics para criar aplicações cujos registros processados afetam os resultados exatamente uma vez, o que é conhecido como processamento exatamente uma vez. Mesmo no caso da interrupção de uma aplicação, como uma manutenção de serviços internos ou uma atualização de aplicações iniciada pelo usuário, o serviço garantirá que todos os dados sejam processados e que não haverá dados em duplicidade.

O serviço armazena computações prévias e em andamento, ou estado, no armazenamento de aplicações em execução. Compare resultados em tempo real e resultados anteriores em qualquer período e tenha uma recuperação rápida durante interrupções de aplicações. O estado sempre é criptografado e salvo incrementalmente no armazenamento de aplicações em execução.

Você pode criar e excluir backups duráveis de aplicações por meio de uma simples chamada de API. Restaure imediatamente suas aplicações segundo o backup mais recente após uma interrupção, ou restaure a aplicação para uma versão anterior. 

O Kinesis Data Analytics Studio oferece suporte a consultas de subsegundos com visualizações integradas. É possível realizar consultas ad-hoc para inspecionar rapidamente seu fluxo de dados e visualizar os resultados em segundos.

Os blocos de anotações do Studio fornecem uma experiência de desenvolvimento de interface única para desenvolver, depurar código e executar aplicações de processamento de transmissões.

O Kinesis Data Analytics Studio oferece suporte a SQL, Python e Scala no mesmo ambiente de desenvolvimento. Realce de sintaxe, validação e sugestões sensíveis ao contexto orientam você dentro do bloco de anotações para interagir com seus dados com suporte integrado para recursos específicos do Apache Flink.

Não é necessário provisionar, gerenciar ou escalar servidores. Simplesmente escreva o código e pague pelos recursos que suas aplicações consumirem. Implante facilmente seu código no bloco de anotações para uma aplicação de processamento de transmissão em execução contínua com autoescalabilidade e estado durável.

O Kinesis Data Analytics Studio é executado e produz aplicações do Apache Flink usadas ​​na produção e os blocos de anotações do Apache Zeppelin fornecem uma experiência familiar e fácil de usar para a criação de aplicações de transmissão em um idioma de sua escolha.

O AWS Glue Data Catalog é um armazenamento de metadados persistente que funciona como um repositório central contendo definições de tabela. É possível usar o catálogo de dados do AWS Glue para descobrir e pesquisar rapidamente vários conjuntos de dados da AWS. O Kinesis Data Analytics Studio é compatível com o catálogo de dados do AWS Glue, onde você pode definir o esquema para suas tabelas de origem e destino.

Para novos projetos, recomendamos que você use o novo Kinesis Data Analytics Studio em vez do Kinesis Data Analytics para aplicações SQL. O Kinesis Data Analytics Studio combina facilidade de uso com recursos analíticos avançados, permitindo que você crie aplicações sofisticadas de processamento de transmissão em questão de minutos.

O Kinesis Data Analytics oferece suporte ao SQL padrão ANSI. Portanto, você só precisa ter familiaridade com o SQL.

O Kinesis Data Analytics se integra ao Amazon Kinesis Data Streams e ao Amazon Kinesis Data Firehose para que você possa ingerir prontamente dados de transmissão. Basta indicar o Kinesis Data Analytics na transmissão de entrada e ele lerá e analisará automaticamente os dados, além de disponibilizá-los para processamento. Você pode enviar os resultados processados para outros produtos da AWS, como o Simple Storage Service (Amazon S3), o Amazon Redshift e o Amazon OpenSearch Service, por meio do Kinesis Data Firehose. Também é possível enviar dados de saída para o Amazon Kinesis Data Streams para criar pipelines avançados de processamento de transmissões.

Use um editor baseado no console para criar consultas SQL usando operações de dados de transmissão, como médias de janelas de tempo variáveis. Você também pode ver resultados e erros de transmissão usando dados em tempo real para depurar ou refinar ainda mais seu script de modo interativo.

O Kinesis Data Analytics disponibiliza um editor de esquema fácil de usar para descobrir e editar a estrutura dos dados de entrada. O assistente automaticamente reconhece formatos de dados padrão, como JSON e CSV. Ele infere a estrutura dos dados de entrada para criar um esquema de linha de base, que poderá ser posteriormente refinado por meio do editor de esquema.

O editor SQL interativo é fornecido em um pacote com um conjunto de modelos SQL que disponibilizam código SQL de linha de base para os tipos de operações mais comuns, como agregação, transformação por evento e filtragem. Basta selecionar o modelo adequado para sua tarefa de análise e editar o código disponibilizado usando o editor SQL para personalizá-lo para o caso de uso específico.

O Kinesis Data Analytics oferece funções otimizadas para o processamento de transmissões de modo que você possa executar facilmente análises avançadas, como a detecção de anomalias e a análise top-K nos dados de transmissão.