Com o Amazon Managed Service for Apache Flink, é mais fácil criar e executar aplicações de processamento de fluxo em tempo real usando o Apache Flink. O Amazon Managed Service for Apache Flink provisiona e configura seus clusters do Flink e orquestra o gerenciamento de tarefas do Flink. Ele configura monitoramento e alarmes, oferece ajuste de escala automático e foi criado para fornecer alta disponibilidade (incluindo failover de zona de disponibilidade). O serviço oferece acesso às expressivas APIs do Apache Flink e, pelo Amazon Managed Service for Apache Flink Studio, você pode consultar interativamente fluxos de dados ou executar aplicações com estado em poucas etapas. Com esse serviço gerenciado, você pode começar a usar o Apache Flink e implantar e operar rapidamente suas aplicações de processamento de fluxo de dados.
Com o Amazon Managed Service for Apache Flink, você tem acesso a toda a gama de recursos líderes de mercado do Apache Flink, incluindo processamento de dados de baixa latência e alto throughput, processamento exatamente uma vez e estado durável da aplicação. Com o Amazon Managed Service for Apache Flink, você pode implantar aplicações seguras, compatíveis e altamente disponíveis. O Amazon Managed Service for Apache Flink replica facilmente dados e workloads em várias zonas de disponibilidade, garantindo performance e confiabilidade ininterruptas, sem precisar pagar por capacidade adicional.
O desenvolvimento de aplicações é facilitado pelo Amazon Managed Service for Apache Flink porque o serviço oferece suporte às APIs flexíveis do Flink em Java, Scala, Python e SQL. O Amazon Managed Service for Apache Flink se integra a centenas de fontes e destinos de dados, como Amazon MSK, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon S3, Amazon DynamoDB, conectores JDBC e conectores personalizados.
Aplicações de processamento de fluxo que usam o Apache Flink
Código aberto
O Amazon Managed Service for Apache Flink inclui bibliotecas de código aberto, como Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK e integrações de serviços da AWS. O Apache Flink é uma estrutura e um mecanismo para desenvolvimento de aplicações de transmissão altamente disponíveis e precisas. O Apache Beam é um modelo unificado para definir aplicações de transmissão e processamento de dados em lote que são executados em vários mecanismos de runtime. Os AWS SDKs ajudam a eliminar a complexidade da codificação de muitos serviços da AWS, fornecendo APIs na linguagem de sua preferência e inclui bibliotecas da AWS, exemplos de código e documentação.
APIs flexíveis
O Amazon Managed Service for Apache Flink é compatível com APIs flexíveis em Java, Scala, Python e SQL que são especializadas para diferentes casos de uso, como processamento de eventos com estado, ETL de transmissão e análise em tempo real. Com operadores e recursos de análise predefinidos, é possível criar uma aplicação de transmissão do Apache Flink em horas em vez de meses, e as bibliotecas são extensíveis para que você possa realizar o processamento em tempo real para uma grande variedade de casos de uso.
Integrações de serviços da AWS
É possível configurar e integrar uma fonte ou um destino de dados com código mínimo. Use bibliotecas do Amazon Managed Service for Apache Flink para integração com os seguintes serviços da AWS:
Recursos avançados de integração
Além das integrações da AWS, as bibliotecas do Amazon Managed Service for Apache Flink incluem mais de 40 conectores do Apache Flink e a capacidade de criar integrações personalizadas. Com poucas linhas de código adicionais, você pode modificar como cada integração se comporta com funcionalidades avançadas. Também é possível criar integrações personalizadas usando um conjunto de dados primitivos do Apache Flink para poder ler e gravar em arquivos, diretórios, soquetes ou outras fontes que você pode acessar na Internet.
Processamento exatamente uma vez
Com o Amazon Managed Service for Apache Flink, você pode criar aplicações cujos registros processados afetam os resultados exatamente uma vez, o que é conhecido como processamento exatamente uma vez. Mesmo no caso da interrupção da aplicação, como durante uma manutenção de serviços internos ou uma atualização de aplicações iniciada pelo usuário, o serviço garante que todos os dados sejam processados e que não há dados em duplicidade.
Processamento com estado
O serviço armazena computações prévias e em andamento, ou estado, no armazenamento de aplicações em execução. Compare resultados em tempo real e resultados anteriores em qualquer período e tenha uma recuperação rápida durante interrupções de aplicações. O estado sempre é criptografado e salvo incrementalmente no armazenamento de aplicações em execução.
Backups duráveis de aplicações
Você pode criar e excluir backups duráveis de aplicações por meio de uma simples chamada de API. Restaure imediatamente suas aplicações segundo o backup mais recente após uma interrupção, ou restaure a aplicação para uma versão anterior.
Integração de ML
O Amazon Managed Service for Apache Flink oferece suporte a algoritmos de machine learning (ML). Você pode criar aplicações em tempo real para classificação, agrupamento em clusters, avaliação, recomendações de engenharia de atributos, regressões e estatísticas.
Compatível com o AWS Glue Schema Registry
O Amazon Managed Service for Apache Flink é compatível com o AWS Glue Schema Registry. O Schema Registry ajuda você a melhorar a qualidade dos dados e a se proteger contra mudanças inesperadas usando verificações de compatibilidade que controlam a evolução do esquema de seus esquemas em workloads do Amazon Managed Service for Apache Flink conectadas ao Apache Kafka, Amazon Managed Streaming for Apache Kafka (Amazon MSK) ou Amazon Kinesis Data Streams, como conector de origem ou coletor.
Amazon Kinesis Data Analytics Studio
Inspeção e visualização de transmissão
O Kinesis Data Analytics Studio oferece suporte a consultas de subsegundos com visualizações integradas. É possível realizar consultas ad-hoc para inspecionar rapidamente seu fluxo de dados e visualizar os resultados em segundos.
Ambiente simples de criação e execução
Os blocos de anotações do Studio fornecem uma experiência de desenvolvimento de interface única para desenvolver, depurar código e executar aplicações de processamento de transmissões.
Processar usando SQL, Python ou Scala
O Kinesis Data Analytics Studio oferece suporte a SQL, Python e Scala no mesmo ambiente de desenvolvimento. Realce de sintaxe, validação e sugestões sensíveis ao contexto orientam você dentro do bloco de anotações para interagir com seus dados com suporte integrado para recursos específicos do Apache Flink.
Desenvolvimento rápido e sem servidor de aplicações de processamento de transmissões
Não é necessário provisionar, gerenciar ou escalar servidores. Simplesmente escreva o código e pague pelos recursos que suas aplicações consumirem. Implante facilmente seu código no bloco de anotações para uma aplicação de processamento de transmissão em execução contínua com autoescalabilidade e estado durável.
Código aberto
O Kinesis Data Analytics Studio é executado e produz aplicações do Apache Flink usadas na produção e os blocos de anotações do Apache Zeppelin fornecem uma experiência familiar e fácil de usar para a criação de aplicações de transmissão em um idioma de sua escolha.
Integra-se com o catálogo de dados do AWS Glue
O AWS Glue Data Catalog é um armazenamento de metadados persistente que funciona como um repositório central contendo definições de tabela. É possível usar o catálogo de dados do AWS Glue para descobrir e pesquisar rapidamente vários conjuntos de dados da AWS. O Kinesis Data Analytics Studio é compatível com o catálogo de dados do AWS Glue, onde você pode definir o esquema para suas tabelas de origem e destino.
Comece a usar o Amazon Kinesis Data Analytics
Saiba como usar o Amazon Kinesis Data Analytics neste guia detalhado para SQL e Apache Flink.
Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.