Com o Amazon Managed Service for Apache Flink, é mais fácil criar e executar aplicações de processamento de fluxo em tempo real usando o Apache Flink. O Amazon Managed Service for Apache Flink provisiona e configura clusters do Flink e orquestra o gerenciamento de tarefas do Flink. Ele configura monitoramento e alarmes, oferece ajuste de escala automático e foi criado para fornecer alta disponibilidade (incluindo failover de zona de disponibilidade). O serviço oferece acesso às APIs expressivas do Apache Flink e, com o Amazon Managed Service for Apache Flink Studio, você pode consultar interativamente fluxos de dados ou executar aplicações com estado em poucas etapas. Com esse serviço gerenciado, você pode começar a usar o Apache Flink e implantar e operar rapidamente suas aplicações de processamento de fluxo de dados.
Com o Amazon Managed Service for Apache Flink, você tem acesso a toda a gama de recursos líderes de mercado do Apache Flink, incluindo processamento de dados de baixa latência e alto throughput, processamento exatamente uma vez e estado durável da aplicação. Com o Amazon Managed Service for Apache Flink, você pode implantar aplicações seguras, compatíveis e altamente disponíveis. O Amazon Managed Service for Apache Flink replica facilmente dados e workloads em várias zonas de disponibilidade, garantindo performance e confiabilidade ininterruptas, sem precisar pagar por capacidade adicional.
O desenvolvimento de aplicações é facilitado pelo Amazon Managed Service for Apache Flink devido ao suporte às APIs flexíveis do Flink em Java, Scala, Python e SQL. O Amazon Managed Service for Apache Flink se integra a centenas de fontes e destinos de dados, como Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB, conectores JDBC e conectores personalizados.
Aplicações de processamento de fluxo que usam o Apache Flink
Código aberto
O Amazon Managed Service for Apache Flink inclui bibliotecas de código aberto, como Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK e integrações de serviços da AWS. O Apache Flink é uma estrutura e um mecanismo para desenvolvimento de aplicações de transmissão altamente disponíveis e precisas. O Apache Beam é um modelo unificado para definir aplicações de streaming e processamento de dados em lote que são executados em vários mecanismos de runtime. Os SDKs da AWS fornecem APIs na linguagem de sua preferência para ajudar a simplificar a codificação de vários serviços da AWS e incluem bibliotecas da AWS, exemplos de código e documentação.
APIs flexíveis
O Amazon Managed Service for Apache Flink é compatível com APIs flexíveis em Java, Scala, Python e SQL que são especializadas para diferentes casos de uso, como processamento de eventos com estado, ETL (extração transformação e carregamento) de streaming e análises em tempo real. Com os operadores e recursos de análise predefinidos, você pode criar uma aplicação de streaming do Apache Flink em horas em vez de meses, e as bibliotecas são extensíveis para permitir o processamento em tempo real de uma grande variedade de casos de uso.
Integrações de serviços da AWS
É possível configurar e integrar uma fonte ou um destino de dados com código mínimo. Use bibliotecas do Amazon Managed Service for Apache Flink para integração com os seguintes serviços da AWS:
Recursos avançados de integração
Além das integrações da AWS, as bibliotecas do Amazon Managed Service for Apache Flink incluem mais de 40 conectores do Apache Flink e a capacidade de criar integrações personalizadas. Com poucas linhas de código adicionais, você pode modificar como cada integração se comporta com funcionalidades avançadas. Também é possível criar integrações personalizadas usando um conjunto de dados primitivos do Apache Flink para poder ler e gravar em arquivos, diretórios, soquetes ou outras fontes acessíveis na Internet.
Processamento exatamente uma vez
Com o Amazon Managed Service for Apache Flink, você pode criar aplicações cujos registros processados afetam os resultados exatamente uma vez, o que é conhecido como processamento exatamente uma vez. Mesmo no caso da interrupção da aplicação, por exemplo, durante uma manutenção de serviços internos ou em uma atualização iniciada pelo usuário, o serviço garante que todos os dados são processados e que nenhuma dado é duplicado.
Processamento com estado
O serviço armazena computações prévias e em andamento, ou estado, no armazenamento de aplicações em execução. Compare resultados em tempo real e resultados anteriores em qualquer período e tenha uma recuperação rápida durante interrupções de aplicações. O estado sempre é criptografado e salvo incrementalmente no armazenamento de aplicações em execução.
Backups duráveis de aplicações
Você pode criar e excluir backups duráveis de aplicações com uma simples chamada de API. Restaure imediatamente as aplicações usando o backup mais recente após uma interrupção, ou restaure a aplicação para uma versão anterior.
Integração de ML
O Amazon Managed Service for Apache Flink oferece suporte a algoritmos de machine learning (ML). Você pode criar aplicações em tempo real para classificação, agrupamento em clusters, avaliação, recomendações de engenharia de atributos, regressões e estatísticas.
Compatibilidade com o AWS Glue Schema Registry
O Amazon Managed Service for Apache Flink é compatível com o AWS Glue Schema Registry. O Schema Registry ajuda você a melhorar a qualidade dos dados e a se proteger contra mudanças inesperadas usando verificações de compatibilidade que controlam a evolução dos esquemas em workloads do Amazon Managed Service for Apache Flink conectadas ao Apache Kafka, Amazon MSK ou Amazon Kinesis Data Streams, seja como conector de origem ou como coletor.
Amazon Kinesis Data Analytics Studio
Inspeção e visualização de transmissão
O Kinesis Data Analytics Studio oferece suporte a consultas de subsegundos com visualizações integradas. É possível realizar consultas ad-hoc para inspecionar rapidamente seu fluxo de dados e visualizar os resultados em segundos.
Ambiente simples de criação e execução
Os blocos de anotações do Studio fornecem uma experiência de desenvolvimento de interface única para desenvolver, depurar código e executar aplicações de processamento de transmissões.
Processar usando SQL, Python ou Scala
O Kinesis Data Analytics Studio oferece suporte a SQL, Python e Scala no mesmo ambiente de desenvolvimento. Realce de sintaxe, validação e sugestões sensíveis ao contexto orientam você dentro do bloco de anotações para interagir com seus dados com suporte integrado para recursos específicos do Apache Flink.
Desenvolvimento rápido e sem servidor de aplicações de processamento de transmissões
Não é necessário provisionar, gerenciar ou escalar servidores. Simplesmente escreva o código e pague pelos recursos que suas aplicações consumirem. Implante facilmente seu código no bloco de anotações para uma aplicação de processamento de transmissão em execução contínua com autoescalabilidade e estado durável.
Código aberto
O Kinesis Data Analytics Studio é executado e produz aplicações do Apache Flink usadas na produção e os blocos de anotações do Apache Zeppelin fornecem uma experiência familiar e fácil de usar para a criação de aplicações de transmissão em um idioma de sua escolha.
Integra-se com o catálogo de dados do AWS Glue
O AWS Glue Data Catalog é um armazenamento de metadados persistente que funciona como um repositório central contendo definições de tabela. É possível usar o catálogo de dados do AWS Glue para descobrir e pesquisar rapidamente vários conjuntos de dados da AWS. O Kinesis Data Analytics Studio é compatível com o catálogo de dados do AWS Glue, onde você pode definir o esquema para suas tabelas de origem e destino.
Comece a usar o Amazon Kinesis Data Analytics
Saiba como usar o Amazon Kinesis Data Analytics neste guia detalhado para SQL e Apache Flink.
Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.