Com o Amazon Managed Service for Apache Flink, é possível transformar e analisar dados de transmissão em tempo real usando o Apache Flink. O Amazon Managed Service for Apache Flink simplifica a criação e o gerenciamento de workloads do Apache Flink e permite integrar as aplicações com outros serviços da AWS.
Crie aplicações de transmissão com o Apache Flink e o Apache Beam
Etapa 1: baixe as bibliotecas de código aberto para o IDE de sua preferência
Você pode começar baixando as bibliotecas de código aberto que incluem AWS SDK, Apache Flink e os conectores dos produtos da AWS.
Etapa 2: crie uma aplicação de teste no Apache Flink ou no Apache Beam
Você escreve o código da aplicação Apache Flink usando fluxos de dados e operadores de fluxo. Os fluxos de dados da aplicação são a estrutura de dados que são executadas durante o processamento usando o código da aplicação. Os dados fluem continuamente das fontes para os fluxos de dados da aplicação. Um ou mais operadores de fluxo são usados para definir seu processamento nos fluxos de dados da aplicação.
Etapa 3: carregue o código no Amazon Managed Service for Apache Flink
Depois de criado, carregue o código para o Amazon Managed Service for Apache Flink. O serviço se encarregará de tudo o que é necessário para executar continuamente as aplicações em tempo real, inclusive fazer ajuste de escala automático para atender ao volume e ao throughput dos dados recebidos.
Use intuitivamente o Amazon Managed Service for Apache Flink Studio
Etapa 1: crie uma aplicação do Amazon Managed Service for Apache Flink Studio
Comece pelo console do Amazon Managed Service for Apache Flink, Amazon MSK ou Amazon Kinesis Data Streams. Use conectores personalizados para se conectar a qualquer outra fonte de dados.
Etapa 2: grave código no caderno sem servidor em SQL, Python e Scala e desenvolva aplicações do Apache Flink
Execute parágrafos individuais no caderno, visualize os resultados em contexto e use a visualização integrada do Apache Zeppelin para acelerar o desenvolvimento. Você também pode usar funções definidas pelo usuário em seu código.
Etapa 3: crie e implante como uma aplicação de transmissão do Amazon Managed Service for Apache Flink
Implante seu código como uma aplicação de processamento de fluxos em execução contínua em poucas etapas. A aplicação implantada será uma aplicação do Amazon Managed Service for Apache Flink com estado durável e ajuste de escala automático. Você também terá a oportunidade de alterar fontes, destinos, registros em log e níveis de monitoramento antes de produzir o código.
E-learning
Treinamento autoguiado para criar aplicações do Apache Flink no Amazon Managed Service for Apache Flink
Neste workshop, você criará uma arquitetura de transmissão completa para consumir, analisar e visualizar dados de transmissão quase em tempo real. Você definirá como otimizar as operações da frota de uma empresa de táxi na cidade de Nova York analisando os dados de telemetria da frota de táxis quase em tempo real.
AWS Streaming Data Solution for Amazon Managed Service for Apache Flink
Use uma solução predefinida para começar rapidamente. Com a solução de dados de transmissão da AWS para Amazon Managed Service for Apache Flink, você pode resolver casos de uso de transmissão em tempo real, como captura de logs de aplicações de alto volume, análise de dados de sequência de cliques, entrega contínua para um data lake e muito mais.
Event detection with Amazon Managed Service for Apache Flink and Studio
Neste workshop, você criará uma aplicação de processamento de fluxos para identificar clientes que estão apostando alto em seu cassino e que envia um e-mail quando grandes gastadores se sentam a uma mesa de jogo. Você também identificará mesas que precisam ser reabastecidas com fichas e detectará possíveis trapaceiros em seu cassino por meio de seus padrões de apostas e vitórias.
Comece a usar o Amazon Kinesis Data Analytics
Saiba como usar o Amazon Kinesis Data Analytics no guia passo a passo para SQL ou Apache Flink.
Crie sua primeira aplicação de transmissão no console do Amazon Kinesis Data Analytics.