- Análises›
- Amazon Managed Service for Apache Flink›
- Conceitos básicos
Conceitos básicos do Amazon Managed Service for Apache Flink
Por que usar o Amazon Managed Service for Apache Flink?
Crie aplicações de transmissão com o Apache Flink e o Apache Beam
1. Etapa 1: baixe as bibliotecas de código aberto para o IDE de sua preferência
Você pode começar baixando as bibliotecas de código aberto que incluem o AWS SDK, o Apache Flink e os conectores de serviços da AWS.
2. Etapa 2: criar uma aplicação de teste no Apache Flink ou no Apache Beam
Você escreve o código da aplicação Apache Flink usando fluxos de dados e operadores de fluxo. Os fluxos de dados da aplicação são a estrutura de dados que são executadas durante o processamento usando o código da aplicação. Os dados fluem continuamente das fontes para os fluxos de dados da aplicação. Um ou mais operadores de fluxo são usados para definir seu processamento nos fluxos de dados da aplicação.
3. Etapa 3: carregue o código no Amazon Managed Service for Apache Flink
Depois de criado, carregue o código para o Amazon Managed Service for Apache Flink. O serviço se encarregará de tudo o que é necessário para executar continuamente as aplicações em tempo real, inclusive fazer ajuste de escala automático para atender ao volume e ao throughput dos dados recebidos.
Use intuitivamente o Amazon Managed Service for Apache Flink Studio
1. Etapa 1: crie uma aplicação do Amazon Managed Service for Apache Flink Studio
Comece pelo console do Amazon Managed Service for Apache Flink, Amazon MSK ou Amazon Kinesis Data Streams. Use conectores personalizados para se conectar a qualquer outra fonte de dados.
2. Etapa 2: grave código no caderno sem servidor em SQL, Python e Scala e desenvolva aplicações do Apache Flink
Execute parágrafos individuais no caderno, visualize os resultados em contexto e use a visualização integrada do Apache Zeppelin para acelerar o desenvolvimento. Você também pode usar funções definidas pelo usuário em seu código.
3. Etapa 3: crie e implante como uma aplicação de transmissão do Amazon Managed Service for Apache Flink
Implante seu código como uma aplicação de processamento de fluxos em execução contínua em poucas etapas. A aplicação implantada será uma aplicação do Amazon Managed Service for Apache Flink com estado durável e ajuste de escala automático. Você também poderá alterar fontes, destinos, registros em log e níveis de monitoramento antes de produzir o código.
E-Learning
Neste workshop, você criará uma arquitetura de transmissão completa para consumir, analisar e visualizar dados de transmissão quase em tempo real. Você definirá como otimizar as operações da frota de uma empresa de táxi na cidade de Nova York analisando os dados de telemetria da frota de táxis quase em tempo real.
Use uma solução predefinida para começar rapidamente. Com a solução de dados de transmissão da AWS para Amazon Managed Service for Apache Flink, você pode resolver casos de uso de transmissão em tempo real, como captura de logs de aplicações de alto volume, análise de dados de sequência de cliques, entrega contínua para um data lake e muito mais.
Neste workshop, você criará uma aplicação de processamento de fluxos para identificar clientes que estão apostando alto em seu cassino. A aplicação enviará um e-mail quando grandes gastadores se sentarem em uma mesa de jogo. Você também identificará mesas que precisam ser reabastecidas com fichas e detectará possíveis trapaceiros no cassino com base nos padrões de apostas e vitórias deles.
Nesta série de aprendizado em cinco partes, você criará uma arquitetura moderna de fluxo de dados para uma tabela de classificação de jogos em tempo real usando o Amazon Managed Service for Apache Flink Studio. Essa arquitetura inclui ingestão de dados, enriquecimento em tempo real com captura de dados de alteração (CDC) de banco de dados, processamento de dados, bem como computação, armazenamento e visualização dos resultados.