Preços do Amazon MSK
-
MSK provisionado
-
MSK com tecnologia sem servidor
-
MSK Connect
-
MSK Replicator
-
Entrega de dados
-
MSK provisionado
-
O MSK provisionado oferece dois tipos de agentes: 1) Os agentes do Express foram criados especificamente para tornar o Apache Kafka mais fácil de gerenciar, oferecer até 3x mais throughput por agente, aumentar a escala verticalmente até 20x mais rápido – além de proporcionar uma redução de 90% no tempo de recuperação em comparação aos agentes padrão; e 2) os agentes padrão, que oferecem máxima flexibilidade e opções de controle.
Agentes do ExpressVocê paga uma taxa por hora pelo uso da instância do agente do Express (cobrada com resolução de um segundo), com taxas variáveis dependendo do tamanho e do número de instâncias do agente no cluster do Amazon MSK. Consulte as tabelas de preços das instâncias de agentes para obter mais detalhes. Você também paga pela quantidade de armazenamento usada em seu cluster. Esse cálculo é feito somando-se os GB armazenados por hora e dividindo o resultado pelo total de horas no mês, o que resulta no valor em “GB-meses”. Como mostrado no exemplo de definição de preço. Consulte as tabelas de preços de armazenamento dos agentes para obter mais detalhes. Você também paga uma taxa por GB pelos dados gravados em um agente do Express (cobrados na resolução por byte).
Não há cobrança pela transferência de dados usada para replicação entre agentes ou entre nós de metadados e agentes. Você paga as taxas de transferência de dados padrão da AWS pelos dados transferidos de e para os clusters do Amazon MSK.
Também é possível habilitar a conectividade privada (baseada no AWS PrivateLink) se precisar conectar seus clientes do Kafka em uma ou mais VPCs a um cluster do MSK em uma VPC diferente. Com esse recurso, você paga uma taxa por hora para cada cluster e esquema de autenticação que tenha a conectividade privada ativada. Um esquema de autenticação é usado pelos clientes para autenticar as solicitações do cliente no cluster do MSK. Além disso, você também paga por GB de dados processados por meio da conectividade privada. Você pagará as taxas padrão do AWS PrivateLink
Agentes padrãoVocê paga uma taxa por hora pelo uso da instância do agente do Apache Kafka (cobrada com resolução de um segundo), com taxas variáveis dependendo do tamanho da instância do agente e dos agentes ativos nos clusters do Amazon MSK. Consulte as tabelas de preços das instâncias de agentes para obter mais detalhes.
Você também paga pela quantidade de armazenamento provisionada em seu cluster. Esse cálculo é feito somando-se os GB provisionados por hora e dividindo o resultado pelo total de horas no mês, o que resulta no valor "GB-months" mostrado no exemplo de definição de preço. Consulte as tabelas de preços de armazenamento dos agentes para obter mais detalhes. Você também pode provisionar throughput de armazenamento adicional de forma independente, com cobrança pela quantidade provisionada em MB/s por mês. Esse cálculo é feito somando-se os MB/s provisionados por hora por agente e dividindo o resultado pelo total de horas no mês, o que resulta no valor em “MB/s-mês”, conforme mostrado no exemplo de throughput de armazenamento provisionado (opcional). Não há cobrança pela transferência dos dados usados para replicação entre agentes ou entre nós de metadados e agentes. Você paga as taxas de transferência de dados padrão da AWS pelos dados transferidos de e para os clusters do Amazon MSK.
Também é possível habilitar a conectividade privada (baseada no AWS PrivateLink) se precisar conectar seus clientes do Kafka em uma ou mais VPCs a um cluster do MSK em uma VPC diferente. Com esse recurso, você paga uma taxa por hora para cada cluster e esquema de autenticação que tenha a conectividade privada ativada. Um esquema de autenticação é usado pelos clientes para autenticar as solicitações do cliente no cluster do MSK. Além disso, você também paga por GB de dados processados por meio da conectividade privada. Você pagará as taxas padrão do AWS PrivateLink pelas conexões VPC gerenciadas pelo Amazon MSK usadas por seus clientes do Apache Kafka para se conectarem de forma privada ao cluster.
Exemplo 1 (Agentes padrão)
Se três instâncias kafka.m7g.large estiverem ativas na região da AWS Leste dos EUA (Norte da Virgínia) e seus agentes usarem 1 TB de armazenamento por 15 dias em março e 2 TB de armazenamento nos últimos 16 dias de março, você pagará o seguinte pelo mês:
Cobrança total = (taxa da instância do agente) + (taxa do armazenamento)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias * 24 horas/dia * 3 agentes = 2.232 horas
US$ 0,204 (preço por hora para uma kafka.m7g.large)
2.232 horas * US$ 0,204 = US$ 455,33
Cobranças de armazenamento em GB-mês
- Cálculo em GB-hora: (1000 GB * 15 dias * 24 horas/dia) + (2.000 GB * 16 dias * (24 horas/dia) = 1.128.000 GB-horas
- Calcular GB-meses: 1.128.000 GB-horas / 24 horas / 31 dias = 1.516,13 GB-meses
US$ 0,10 (preço por GB-mês na região Leste dos EUA)
1.516,13 GB-meses * US$ 0,10 = US$ 151,61
Total = US$ 455,33 + US$ 151,61 = US$ 606,94 *Esta workload representa uma taxa de ingestão de 100 KB/segundo com 24 horas de retenção e um fator de replicação igual a 2. Taxas de transferência de dados são aplicadas, calculadas como US$ 5/mês para essa workload.
Exemplo 2 (agentes padrão)
Se três instâncias kafka.m5.large estiverem ativas na região da AWS Leste dos EUA (Norte da Virgínia) e seus agentes usarem 1 TB de armazenamento por 15 dias em março e 2 TB de armazenamento nos últimos 16 dias de março, você pagará o seguinte pelo mês:
Cobrança total = (taxa da instância do agente) + (taxa do armazenamento)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias * 24 horas/dia * 3 agentes = 2.232 horas
US$ 0,21 (preço por hora para uma kafka.m5.large)
2.232 horas x US$ 0,21 = US$ 468,72
Cobranças de armazenamento em GB-mês
- Cálculo em GB-hora: (1000 GB * 15 dias * 24 horas/dia) + (2.000 GB * 16 dias * (24 horas/dia) = 1.128.000 GB-horas
- Calcular GB-meses: 1.128.000 GB-horas / 24 horas / 31 dias = 1.516,13 GB-meses
US$ 0,10 (preço por GB-mês na região Leste dos EUA)
1.516,13 GB-meses * US$ 0,10 = US$ 151,61
Total = US$ 468,72 + US$ 151,61 = US$ 620,33 Exemplo 3 (Agentes padrão)
Vamos supor que você tenha três instâncias kafka.m5.large ativas na região da AWS Leste dos EUA (Norte da Virgínia). Você deseja reter os dados por um total de 30 dias com dados de 1 dia no armazenamento primário. Você está ingerindo 2 MB/s de dados em seu cluster. Você quer fornecer 1 TB de armazenamento primário para seu processamento em tempo real e armazenar os últimos 30 dias de dados no nível de baixo custo. Você também quer ler todos os dados armazenados no nível de baixo custo com uma aplicação.
Total de taxas = (taxa da instância do agente) + (taxa de armazenagem primária) + (taxa do nível de baixo custo) + (taxas de recuperação do nível de baixo custo)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias * 24 horas/dia * 3 agentes = 2.232 horas
US$ 0,21 (preço por hora para um kafka.m5.large)
2.232 horas x US$ 0,21 = US$ 468,72
Cobranças de armazenamento em GB-mês
Calcule os GB-mês: 744.000 GB-hora / 24 horas / 31 dias = 1000 GB-meses
US$ 0,10 (preço por GB-mês na região Leste dos EUA)
1000 GB-meses * US$ 0,10 = US$ 100
Cobranças de armazenamento no nível de baixo custo em GB-mês
1. Cálculo em bytes-horas. Com base na taxa de ingestão de dados de 2 MB/s, você acumulará 7.549.747.200 bytes em uma hora (2*1024*1024*3600). O uso total de byte-hora em um mês é (7.549.747.200 x 30 dias x 24 horas/dia = 5.435.817.984.000 bytes-horas.
US$ 0,060 (preço por GB-mês na região Leste dos EUA)
Cobramos US$ 0,060 GB-mês. O custo total de armazenamento para 30 dias de retenção é = 5.062,5*0,06 = US$ 303,75
2. Convertendo para GB-mês: 5.435.817.984.000 byte-horas/1.073.741.824 bytes por GB = 5062,5 GB por mês.
Taxas de recuperação de dados no nível de baixo custo
Como você está armazenando 5062 GBs e recuperando todos os dados com uma única aplicação, você lerá 5.062 GBs de dados.
US$ 0,0015 - preço por GB na região Leste dos EUA)
Cobramos US$ 0,0015 por GB. A taxa total de recuperação = 5.062*0,0015 = US$ 7,9
Exemplo 4 (agentes do Express)
Se você tiver três instâncias express.m7g.large ativas na região da AWS Leste dos EUA (Norte da Virgínia) e ingerir e armazenar 1 TB de dados por 31 dias em março, pagará o seguinte pelo mês:
Cobrança total = (taxa da instância do agente) + (taxa de dados de entrada) + (taxa de armazenamento)
Cobranças Uso Taxa Subtotais Cobranças da instância do agente (uso da instância, em horas)
31 dias * 24 horas/dia * 3 agentes = 2.232 horas US$ 0,408 (preço por hora para uma msk.m7g.large)
2.232 horas * US$ 0,408 = US$ 910,66
Cobranças dos dados ingeridos em GB
1.000 GB
US$ 0,01 (preço por GB de dados ingeridos)
1.000 GB * US$ 0,01 = US$ 10
Cobranças de armazenamento em GB-mês 1.000 GB-mês
US$ 0,10 (preço por GB-mês na região Leste dos EUA) 1.000 GB-meses * US$ 0,10 = US$ 100,00 Total: US$ 910,66 + US$ 10 + US$ 100 = US$ 1020,66 (opcional) Exemplo de throughput de armazenamento provisionado
Se você optar por ativar o throughput de armazenamento provisionado e provisionar 300 MB/s de throughput de armazenamento por 31 dias no cluster do Amazon MSK com 3 agentes na região da AWS Leste dos EUA (Norte da Virgínia), você pagará a seguinte taxa adicional além das taxas de instância e armazenamento do agente, conforme mostrado nos exemplos acima:
Cobrança total = (taxa da instância do agente) + (taxa de armazenamento) + (taxa de throughput de armazenamento provisionado)
Cobranças Uso Taxa Subtotais Cobranças de throughput de armazenamento provisionado em MB/s-mês
3 agentes * 300 MB/s = 900 MB/s-mês
US$ 0,08 (preço por MB/s-mês na região Leste dos EUA)
900 MB/s-mês * US$ 0,08 = US$ 72
(Opcional) Exemplo de conectividade privada de várias VPCs
Se você tem produtores e consumidores em VPCs ou contas da AWS diferentes do seu cluster do Amazon MSK com 3 agentes na região da AWS Leste dos EUA (Norte da Virgínia) e ingere 2 MB/s de dados e tem 2 consumidores lendo todos os dados, você pode optar por ativar a conectividade privada de várias VPCs para habilitar a conectividade entre VPCs. Você pagaria a seguinte taxa adicional, além das despesas de armazenamento e instância do agente, conforme mostrado nos exemplos acima:
Total de cobranças do MSK = (taxa da instância do agente) + (taxa de armazenamento primário) + (taxas de conectividade privada de várias VPCs).
Cobranças Uso Taxa Subtotais Cobranças por hora de conectividade privada com várias VPCs
Calcule as horas de conectividade privada por esquema de autenticação. Como você está usando 1 esquema de autenticação em um cluster de 3 nós, você será cobrado por 1 unidade de conectividade privada por 31 dias. Total de horas de conectividade privada = 1 unidade de conectividade privada x 730 horas em um mês = 730 horas de conectividade privada
US$ 0,0225 por hora de conectividade privada por esquema de autenticação
Cobramos US$ 0,0225 por hora de conectividade privada por autenticação.
Taxa fixa de conectividade privada = 730 x 0,0225 = US$ 16,43
Cobrança de processamento de dados de conectividade privada de várias VPCs
Calcule os GB processados. Como você está processando um total de 6 MB/s (1 produtor + 2 consumidores = 21 GB/hora
US$ 0,006 por GB processadoCobramos US$ 0,006 por GB processado.
Cobrança variável de processamento de dados = 21,6 x 0,006 x 730 = US$ 94,62
-
MSK com tecnologia sem servidor
-
No caso do MSK com tecnologia sem servidor, você paga uma taxa por hora pelos clusters com tecnologia sem servidor e uma taxa por hora para cada partição que criar. Além disso, você paga por GB de dados que seus produtores gravem e seus consumidores leiam a partir dos tópicos em seu cluster. O Amazon MSK cobra apenas pelo armazenamento que você consome.
Você pagará as taxas padrão de transferência de dados da AWS por dados transferidos de ou para outra região e por dados de saída transferidos para a internet pública.
Exemplo
Suponhamos que você crie um cluster do MSK com tecnologia sem servidor na região da AWS Leste dos EUA (Ohio). O cluster tem 5 tópicos com 20 partições cada. Diariamente, seus produtores gravam, em média, 100 GB de dados, e seus consumidores leem 200 GB de dados. Você também retém esses dados por 24 horas para garantir que eles estejam disponíveis para repetição. No cenário acima, você pagaria o seguinte por um mês de 31 dias:
Total = taxa por hora de cluster + taxa por hora de partição + taxa de entrada de dados + taxa de saída de dados + taxa de armazenamento
Cobranças Uso Taxa (no Leste dos EUA) Subtotais Cluster-horas
31 dias * 24 horas/dia = 744 clusters-horas
US$ 0,75/cluster-hora
744 * 0,75 = US$ 558,00
Partição-horas
31 dias * 24 horas/dia * 5 * 20 = 74.400 horas de partição
US$ 0,0015/partição-hora
74.400 * 0,0015 = US$ 111,60
Dados de entrada
100 GB * 31 dias = 3.100 GB
US$ 0,10 GB de entrada
3.100 * US$ 0,10 = US$ 310,00
Dados de saída
200 GB x 31 dias = 6.200 GB
US$ 0,05/GB de saída
6.200 * US$ 0,05 = US$ 310,00
Armazenamento
Média de uso de armazenamento = 100 GB-meses
US$ 0,10/GB-mês
100 * US$ 0,10 = US$ 10,00
Total = US$ 558 + US$ 111,6 + US$ 310 + US$ 310 + US$ 10 = US$ 1.299,60 -
MSK Connect
-
Você paga uma tarifa por hora pelo uso do conector (cobrada em resolução de um segundo), com taxas que variam conforme o número de operadores utilizados em seu conector e o tamanho de cada operador, medido em número de unidades do MSK Connect (MCUs). Cada MCU fornece 1 vCPU de computação e 4 GB de memória. Consulte a tabela de preços para obter mais detalhes.
Exemplo
Suponhamos que você use o Amazon MSK Connect para transmitir dados de um tópico no cluster do Amazon MSK para um bucket do Amazon Simple Storage Service (S3) na região da AWS do Leste dos EUA (Norte da Virgínia) e seu conector está configurado da seguinte forma:
Escala automática de dois a quatro operadores, com cada operador usando 1 MCU. Durante o expediente (oito horas), o conector aumenta a escala horizontalmente para quatro operadores e, após o término do expediente (16 horas), reduz a escala verticalmente para dois operadores.Neste caso, você pagaria o seguinte pelo mês:
Cobrança total = taxa pelos operadores do Apache Kafka Connect
Cobranças Uso Taxa Subtotais Cobranças de operadores do Apache Kafka Connect (MCUs, em horas)
31 dias * [(8 horas/dia * 4 operadores x 1 MCU/operador) + (16 horas/dia * 2 operadores x 1 MCU/operador)] = 1.984 horas
US$ 0,11 (preço por hora por MCU)
1.984 horas * US$ 0,11 = US$ 218,24
Total = US$ 218,24 -
MSK Replicator
-
Com o MSK Replicator, você paga uma taxa por hora para cada replicador que criar. Um replicador contém um cluster de origem, um cluster de destino e algumas configurações opcionais. Você pode incluir todos os tópicos em seu cluster de origem em um único Replicator dentro das cotas do MSK Replicator compatíveis. É possível criar vários replicadores entre os mesmos clusters de origem e destino do MSK. O MSK Replicator oferece suporte à replicação entre regiões (CRR) e à replicação na mesma região (SRR).
Além disso, você paga por GB de dados (incluindo metadados) processados com o MSK Replicator. Os dados processados pelo MSK Replicator consistem em todos os dados que ele recebe, incluindo os dados replicados para o cluster de destino e também os dados filtrados pelo MSK Replicator (somente se o Replicator estiver configurado com a configuração de nome de tópico “Idêntico”) para evitar que os dados sejam copiados de volta para o mesmo tópico de origem. Você pode rastrear o total de dados processados usando a métrica “ReplicatorBytesInPerSec” e os dados replicados usando a métrica “ReplicatorThroughput” no Amazon CloudWatch. Se o Replicator estiver configurado com a configuração de nome de tópico “Prefixo”, essas duas métricas terão o mesmo valor, pois nenhum dado será filtrado pelo MSK Replicator.
Para a CRR, você também paga as taxas padrão da AWS pela transferência de dados entre regiões entre as regiões da AWS de origem e de destino. Não há cobrança de transferência de dados para SRR.
Exemplo
Suponhamos que você queira replicar dados do cluster do Amazon MSK no Oeste dos EUA (Oregon) para o cluster do Amazon MSK na região da AWS Leste dos EUA (Norte da Virgínia). Você está ingerindo 50 MB/s de dados em seu cluster de origem e deseja replicar os dados continuamente por 30 dias.
Taxas totais de replicação = taxa por hora do Replicator + taxa de processamento de dados + taxa de transferência de dados + taxas de conectividade privada de várias VPCs para o cluster de origem do MSK
Cobranças Uso Taxa Subtotais Horas de uso do Replicator
720 horas
US$ 0,30 por hora
720 * 0,3 = US$ 216
Dados processados
126.562,5 GB
US$ 0,08 por GB
126.562,5 * 0,08 = US$ 10.125
Cobrança pela transferência de dados
126.562,5 GB
US$ 0,02 por GB
126.562,5 * US$ 0,02 = US$ 2.531
Cobranças por hora de conectividade privada com várias VPCs
720 horas
US$ 0,0225 por hora
US$ 16
Cobrança de processamento de dados de conectividade privada de várias VPCs
126.562,5 GB
US$ 0,006 por GB
US$ 759
Total = US$ 13.647 -
Entrega de dados
-
Quando você entrega dados do Amazon MSK para a tabela de streaming na tabela do S3 ou para um bucket de uso geral no Amazon S3, você paga pelo volume de dados entregue até o destino a partir dos seus tópicos do Apache Kafka. Não há taxas de configuração, compromissos mínimos nem custos antecipados. Os preços variam de acordo com o tipo de destino.
Os agentes do Amazon MSK Express materializam continuamente os tópicos do Apache Kafka como tabelas do Apache Iceberg nas tabelas do Amazon S3, com compactação inteligente em linha e coordenação de gravação incorporada incluídas, sem custo adicional. Esse recurso nativo pode reduzir o custo de ingestão e entrega de dados nas tabelas do Amazon S3 em até 60% em relação às implantações autogerenciadas e reduzir os custos de consultas posteriores em até 30%, eliminando a sobrecarga de arquivos pequenos que retarda os mecanismos de consulta como Apache Spark, Trino e Apache Flink. Você paga uma taxa por GB pelos dados entregues às tabelas de streaming, cobrada na resolução por byte. As taxas padrão de armazenamento, solicitação e manutenção das tabelas do Amazon S3 se aplicam ao bucket da tabela de destino. Não há cobrança adicional pela saída do agente, pela compactação em linha ou pela coordenação do gravador executada por esse recurso.
Os agentes do Amazon MSK Express entregam dados do Apache Kafka para os buckets de uso geral do Amazon S3 como um recurso nativo totalmente gerenciado que escala automaticamente à demanda da workload. Como a entrega é executada nos agentes do Express sem provisionar throughput de saída adicional, os clientes evitam os custos incrementais de infraestrutura referentes a escalar pipelines baseados em conectores e podem reduzir os custos de ingestão e entrega em até 60%, em comparação com alternativas autogerenciadas. Você paga uma taxa por GB pelos dados entregues ao Amazon S3, cobrada na resolução por byte. As cobranças padrão de armazenamento, solicitação e transferência de dados do Amazon S3 se aplicam ao bucket de destino. Não há cobrança adicional pela saída do agente usada por esse recurso, nem taxas separadas de conector, operador ou MCU.
Exemplo 1: tabelas de streaming para o Apache Iceberg
Um cliente transmite 500 GB por dia de 3 tópicos do Kafka para tabelas do S3 no formato do Apache Iceberg.
CobrançasUsoTaxaSubtotaisEntrega de dados500 GB/dia x 30 dias = 15.000 GB (14,65 TB)
US$ 10,00 por TB
14,65 TB x US$ 10,00 = US$ 146,48
Total das taxas mensais = US$ 146,48
Exemplo 2: entrega de dados para uso geral do Amazon S3
Um cliente transmite 1 TB por dia dos tópicos do Kafka para um bucket do S3 no formato JSON.
CobrançasUsoTaxaSubtotaisEntrega de dados1 TB/dia x 30 dias = 30 TB
US$ 8,00 por TB
30 TB x US$ 8,00 = US$ 240,00
Cobrança mensal total = US$ 240,00
* As taxas padrão de transferência de dados são aplicadas pela AWS. Você não é cobrado separadamente pelas tentativas de entrega malsucedidas encaminhadas para a fila de mensagens não entregues (DLQ); somente os dados entregues com êxito são cobrados.