Crie pipelines de streaming de ponta a ponta com o Amazon Managed Service for Apache Flink Blueprints com um único clique. Saiba mais.
Com o Amazon Managed Service for Apache Flink, você pode transformar e analisar dados de streaming em tempo real usando o Apache Flink, uma estrutura e um mecanismo de código aberto para processamento de fluxos de dados. O Amazon Managed Service for Apache Flink simplifica a criação e o gerenciamento de workloads do Apache Flink e ajuda você a integrar aplicações a serviços da AWS com mais facilidade.
Com o Amazon Managed Service for Apache Flink, você paga somente pelo que usar. Não há recursos para provisionar e nenhum custo inicial. É cobrada uma taxa por hora com base no número de unidades de processamento do Kinesis (KPUs) usadas para executar suas aplicações. Uma única KPU compreende computação de 1 vCPU e 4 GB de memória.
Preço de aplicações de streaming do Amazon Managed Service for Apache Flink
Para aplicações do Apache Flink, é cobrada uma única KPU adicional por aplicação, usada para orquestração. As aplicações também são cobradas pelo armazenamento em execução e pelos backups duráveis. O armazenamento de aplicações em execução é usado pelos recursos de processamento com estado no Amazon Managed Service for Apache Flink e é cobrado por GB/mês. Os backups duráveis são opcionais, fornecem recuperação em um ponto no tempo para aplicações e são cobrados por GB/mês.
No modo de transmissão, o Amazon Managed Service for Apache Flink escala automaticamente o número de KPUs necessárias para sua aplicação de processamento de fluxos de dados, já que as demandas de memória e de computação variam. Você pode optar por fornecer à sua aplicação o número de KPUs necessárias.
Preço do Amazon Managed Service for Apache Flink Studio
São cobradas duas KPUs adicionais por aplicação do Studio no modo interativo. Um KPU é usado para orquestração de aplicações do Apache Flink e o outro para o ambiente de desenvolvimento interativo sem servidor. Também haverá cobrança pelo armazenamento de aplicações em execução usado para recursos de processamento com estado. A cobrança pelo armazenamento de aplicações em execução é feita por gigabyte por mês.
Ao desenvolver em cadernos do Studio, você não terá a opção de criar backups de aplicações duráveis. No entanto, ao implantar sua aplicação em cadernos do Studio do modo interativo para o modo de streaming, você poderá criar backups duráveis de aplicações.
Orientação geral de uso da KPU
Recomendamos que você teste sua aplicação com cargas de produção para obter uma estimativa precisa do número de KPUs necessário para a aplicação. O uso de KPUs pode variar muito com base no volume e na velocidade dos dados, na complexidade do código, nas integrações e muito mais. Isso ocorre principalmente ao usar o runtime do Apache Flink no Amazon Managed Service for Apache Flink. Por exemplo, realizando testes internos, observamos um throughput de centenas de MB por segundo por KPU em aplicações simples sem estado e um throughput inferior a 1 MB por segundo por KPU em aplicações complexas que fazem uso intensivo de algoritmos de machine learning (ML). Com essas ressalvas em mente, a recomendação geral que damos antes de testar sua aplicação é de 1 MB por segundo por KPU.
Preços por região da AWS
Exemplos de preço
Exemplo de preço 1: caderno do Studio com um filtro de streaming simples
Use o Amazon Managed Service for Apache Flink Studio para filtrar continuamente os dados de streaming capturados pelo Amazon Kinesis Data Streams e reter apenas os registros de interesse. Você quer poder visualizar registros em tempo real e gravar facilmente consultas e programas em SQL e Python. Você não deseja fazer backups de estado duráveis. Você provisiona 4 KPUs para seu caderno do Studio com base no throughput do fluxo de entrada. Suas cobranças mensais do Amazon Managed Service for Apache Flink serão calculadas da seguinte forma:
Cobranças mensais
O preço na região Leste dos EUA (Norte da Virgínia) é de USD 0,11 por KPU/hora usado para sua aplicação de processamento de fluxo de dados. Essa aplicação simples usa 4 KPUs para processar o fluxo de dados de entrada. Cada aplicação de caderno do Studio (exemplo: modo interativo) é cobrada 2 KPUs adicionais. Cobranças mensais de KPU = 30 dias * 24 horas* ([4 KPUs + 2 KPUs adicionais] * USD 0,11/hora) = USD 475,20
As aplicações do Apache Flink usam 50 GB de armazenamento de aplicações em execução por KPU e geram uma cobrança de USD 0,10 por GB/mês na região Leste dos EUA-1.
Cobranças mensais de armazenamento de aplicações em execução = 30 dias * 24 horas * 4 KPUs * (50 GB * USD 0,10/GB/mês) = USD 20,00
Cobrança total = USD 475,20 + USD 20,00 = USD 495,20
Exemplo de preço 2: caderno do Studio com janela deslizante implantado no modo de streaming
Use o Amazon Managed Service for Apache Flink Studio para criar uma janela deslizante em dados de streaming capturados por um tópico em seu cluster do Amazon Managed Streaming for Apache Kafka (Amazon MSK). Use um caderno do Studio com quatro KPUs por oito horas durante dois dias para desenvolver e testar suas consultas. Após o desenvolvimento, implante a aplicação no modo de streaming com 12 KPUs. Depois que a aplicação de streaming é implantada, interrompa o caderno do Studio. A aplicação de transmissão pode usar o estado de aplicação durável, e você cria backups de estado duráveis todos os dias.
O preço na região Leste dos EUA (Norte da Virgínia) é de USD 0,11 por KPU/hora usado para sua aplicação de processamento de fluxo de dados.
Cobranças mensais
Desenvolver e testar a consulta do Amazon Managed Service for Apache Flink Studio:
Cobranças de KPU = 2 dias * 8 horas * (4 KPUs + 2 KPUs adicionais para caderno do Studio) * USD 0,11/hora) = USD 10,56
As aplicações do Apache Flink usam 50 GB de armazenamento de aplicações em execução por KPU e implicam uma cobrança de USD 0,10 por gigabyte/mês na região US-East-1.
Executando cobranças de armazenamento de aplicações = 2 dias * 8 horas * 4 KPUs * (50 GB * USD 0,10/GB por mês) = USD 0,44
Implantação como aplicação de transmissão para executar continuamente e fazer backups da aplicação:
Cobranças de KPU = 28 dias * 24 horas * (2 KPUs + 1 KPU adicional para aplicação de streaming) * USD 0,11/hora) = USD 221,76
As aplicações do Apache Flink usam 50 GB de armazenamento de aplicações em execução por KPU e implicam uma cobrança de USD 0,121 por gigabyte/mês na região US-East-1.
Executando cobranças de armazenamento de aplicações = 28 dias * 24 horas * 2 KPUs * (50 GB* USD 0,10/GB por mês) = USD 9,33
Cobranças de armazenamento de aplicações duráveis = 28* (1 MB/backup * 1 GB/1.000 MB) * 0,023/gigabyte por mês = USD 0,01 (arredondado para o centavo mais próximo)
Cobrança total = USD 10.56 + (USD 0,44 + USD 221,76) + (USD 9,33 + USD 0,01) = USD 242,10
Exemplo de preço 3: aplicação do Apache Flink executando ETL de streaming com mudanças de workload
Use uma aplicação do Apache Flink no Amazon Managed Service for Apache Flink para transformar e entregar continuamente dados de logs capturados pelo Kinesis Data Streams ao Amazon Simple Storage Service (Amazon S3). Os dados de logs são transformados usando vários operadores, incluindo a aplicação de um esquema para os diferentes eventos de logs, o particionamento de dados por tipo de evento, a classificação de dados por carimbo de data e hora e o armazenamento em buffer de dados por uma hora antes da entrega. A aplicação tem muitas etapas de transformação, mas nenhuma é computacionalmente intensiva. Esse fluxo ingere dados a 2.000 registros/segundo por 12 horas por dia e aumenta para 8.000 registros/segundo por 12 horas por dia. Você não cria nenhum backup de aplicação durável. As cobranças mensais do Amazon Managed Service for Apache Flink serão calculadas da seguinte forma:
Cobranças mensais
O preço na região Leste (Norte da Virgínia) é USD 0,11 por KPU-hora. O Amazon Managed Service for Apache Flink aloca 50 GB de armazenamento de aplicações em execução por KPU e cobra USD 0,10 por GB/mês.
Workload intensa: durante o período de 12 horas de workload intensa, a aplicação do Amazon Managed Service for Apache Flink processa 8 mil registros/segundo e aumenta a escala verticalmente automaticamente até 8 KPUs. Após o período de workload intensa, a aplicação do Amazon Managed Service for Apache Flink reduz a escala da aplicação após seis horas do menor throughput. A aplicação aumenta a escala verticalmente para até 8 KPUs para um total de 18 horas por dia.
30 dias/mês * 18 horas/dia = 540 horas/mês
Cobranças mensais de KPU = 540 horas/mês * 8 KPUs * USD 0,11/hora = USD 475,20
Cobranças mensais de armazenamento de aplicações em execução = 540 horas/mês * 8 KPUs * 50 GB/KPUs * USD 0,10 GB/mês = USD 30,00
Cobranças de KPU e armazenamento mensais = USD 475,20 + USD 30,00 = USD 505,20
Workload leve: durante o período de workload leve para as seis horas restantes, a aplicação do Amazon Managed Service for Apache Flink processa 2 mil registros/segundo e reduz a escala verticalmente automaticamente até 2 KPUs.
30 dias/mês * 6 horas/dia = 180 horas/mês
Cobranças mensais de KPU = 180 horas/mês * 2 KPUs * USD 0,11/hora = USD 39,60
Cobranças mensais de armazenamento de aplicações em execução = 180 horas/mês * 2 KPUs * 50 GB * USD 0,10/GB por mês = USD 2,50
Cobrança de KPUs e armazenamento mensais = USD 39,60 + USD 2,50 = USD 42,10
De cada aplicação no Apache Flink, é cobrada uma KPU adicional por aplicação.
Cobranças mensais = 30 * 24 * 1 KPU * USD 0,11/hora = USD 79,20
Cobrança total = USD 505,20 + USD 42,10 + USD 79,20 = USD 626,50
Recursos adicionais de preço
Calcule facilmente os custos mensais na AWS
Entre em contato com os especialistas da AWS para obter um orçamento personalizado
Conceitos básicos do Amazon Kinesis Data Analytics
Saiba como usar o Amazon Kinesis Data Analytics no guia passo a passo para SQL ou Apache Flink.
Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.