Com o Amazon Data Firehose, você paga pelo volume de dados ingeridos no serviço. Não há taxas de configuração nem compromissos antecipados. Existem quatro tipos de uso sob demanda com o Data Firehose: ingestão, conversão de formato, entrega de VPC e particionamento dinâmico. Cobranças de transferência de dados adicionais podem ser aplicadas.
Direct PUT e KDS como ingestão de fonte
A função básica de um fluxo do Firehose é ingestão e entrega. O preço da ingestão é estratificado e cobrado por GB ingerido em incrementos de 5 KB (um registro de 3 KB é cobrado como 5 KB, um registro de 12 KB é cobrado como 15 KB etc.). Não há encargos adicionais do Data Firehose para entrega, a menos que atributos opcionais sejam usados.
MSK como ingestão de fonte
A função básica de um fluxo do Firehose é ingestão e entrega. O preço de ingestão é estratificado e cobrado por GB ingerido, sem incrementos de 5 KB. O preço é escalonado e cobrado por GB com base no valor mais alto entre os bytes ingeridos e os bytes entregues. O faturamento é baseado no volume de dados, não há arredondamento do tamanho do registro.
Vended Logs como ingestão de fonte
Para registros originados de Vended Logs, o preço de ingestão é estratificado e cobrado por GB ingerido sem incrementos de 5 KB.
Conversão de formato (opcional)
Você pode ativar a conversão do formato JSON para Apache Parquet ou Apache ORC a uma taxa por GB com base em GBs ingeridos em incrementos de 5 KB.
Entrega da VPC (opcional)
Para fluxos de Firehose com um destino que reside em uma Amazon VPC, você será cobrado pela quantidade de dados entregues ao destino na VPC e por cada hora em que seu fluxo de Firehose estiver ativo em cada AZ. Cada fração de hora é cobrada como uma hora completa.
Entrega de particionamento dinâmico para o Amazon S3 (opcional)
Você pode ativar o particionamento dinâmico para agrupar dados continuamente particionando chaves em seus registros (como “customer_id”) e entregar os dados agrupados pelas chaves de particionamento aos prefixos correspondentes do Amazon S3. Com o particionamento dinâmico, você paga com base na quantidade de dados processados por meio do particionamento dinâmico e por objeto entregue ao Amazon S3. Se você usar o analisador JQ para particionamento dinâmico, pagará por hora de processamento pela análise JQ.
Descompactação do CloudWatch Logs (opcional)
Para registros provenientes do CloudWatch Logs, se a descompactação estiver ativada, o preço da descompactação será cobrado por GB descompactado.
Snowflake como um destino
Para fluxos do Firehose configurados com o Snowflake como destino, você será cobrado pela quantidade de dados processados até o destino. O preço é cobrado por GB ingerido, sem incrementos de 5 KB. O preço é baseado no valor mais alto entre bytes ingeridos e os bytes entregues.
Tabelas do Apache Iceberg como destino
Para fluxos do Firehose configurados com tabelas do Apache Iceberg como destino, você será cobrado pela quantidade de dados processados até o destino. O preço é cobrado por GB ingerido, sem incrementos de 5 KB. Se os bytes de dados processados antes da entrega forem maiores do que os bytes ingeridos devido ao processamento personalizado do Lambda, os bytes adicionais também serão cobrados. Bytes adicionais são cobrados na mesma taxa mostrada no Kinesis Data Streams como fonte para tabelas do Apache Iceberg como destino para todas as fontes de ingestão, incluindo PUT direto.
-
PUT direto
-
Kinesis Data Stream como fonte
-
Vended Logs como fonte
-
MSK como fonte
-
PUT direto
-
-
Tabelas do Apache Iceberg como destino
-
Snowflake como um destino
-
Outros destinos
-
Tabelas do Apache Iceberg como destino
-
-
Snowflake como um destino
-
-
Outros destinos
-
-
-
Kinesis Data Stream como fonte
-
-
Tabelas do Apache Iceberg como destino
-
Snowflake como um destino
-
Outros destinos
-
Tabelas do Apache Iceberg como destino
-
-
Snowflake como um destino
-
-
Outros destinos
-
-
-
Vended Logs como fonte
-
-
Tabelas do Apache Iceberg como destino
-
Outros destinos
-
Tabelas do Apache Iceberg como destino
-
-
Outros destinos
-
-
-
MSK como fonte
-
-
Tabelas do Apache Iceberg como destino
-
Outros destinos
-
Tabelas do Apache Iceberg como destino
-
-
Outros destinos
-
-
Exemplos de preço
Preços de ingestão para Direct PUT e KDS como fonte
Tamanho do registro de 3 KB arredondado para cima para os 5 KB ingeridos mais próximos = 5 KB
Preço pelos primeiros 500 TB/mês = 0,029 USD por GB
GB faturados por dados de ingestão = (100 registros/s * 5 KB/registro) / 1.048.576 KB/GB * 30 dias/mês * 86.400 segundos/dia = 1.235,96 GB
Cobranças de ingestão mensal = 1.235,96 GB * USD 0,029/GB = USD 35,84
Preços de ingestão do MSK como fonte
Tamanho do registro de 2 KB (sem incrementos de 5 KB)
Preço pelos primeiros 500 TB/mês = USD 0,055 por GB
GB cobrados pelos dados de ingestão (presumindo o mesmo volume de dados dos dados de entrega) = (100 registros/seg * 2 KB/registro)/1.048.576 KB/GB * 30 dias/mês * 86.400 seg/dia = 494,38 GB
Cobranças mensais de volume de dados = 494,38 GB * 0,055 USD/GB = 27,19 USD
Preços de ingestão para Vended Logs como fonte
Tamanho de registro de 0,5 KB (500 Bytes) = 0,5 KB (sem incrementos de 5 KB)
Preço pelos primeiros 500 TB/mês = USD 0,13 por GB
GB cobrados por ingestão = (100 registros/segundo * 0,5 KB/registro)/1.048.576 KB/GB * 30 dias/mês *86.400 segundos/dia = 123,59 GB
Cobranças de ingestão mensal = 123,59 GB * USD 0,13/GB = USD 16,06
Preços do Snowflake como destino
Tamanho de registro de 0,5 KB (500 Bytes) = 0,5 KB (sem incrementos de 5 KB)
Preço por GB entregue ao Snowflake = USD 0,071 por GB
GB cobrados por ingestão = (100 registros/segundo * 0,5 KB/registro)/1.048.576 KB/GB * 30 dias/mês *86.400 segundos/dia = 123,59 GB
Cobranças de ingestão mensal = 123,59 GB * USD 0,13/GB = USD 8,77
Preços das tabelas do Apache Iceberg como destino
Tamanho de registro de 0,5 KB (500 Bytes) = 0,5 KB (sem incrementos de 5 KB)
Preço por GB entregue às tabelas Apache Iceberg pelo Kinesis Data Streams como fonte = 0,045 USD por GB
GB cobrados por ingestão = (100 registros/segundo * 0,5 KB/registro)/1.048.576 KB/GB * 30 dias/mês *86.400 segundos/dia = 123,59 GB
Cobranças de ingestão mensal = 123,59 GB * USD 0,045/GB = USD 5,56
Preço de conversão de formato: JSON para Parquet ou ORC (opcional)
Tamanho de registro de 0,5 KB (500 Bytes) = 0,5 KB (sem incrementos de 5 KB)
Preço pelos primeiros 500 TB/mês = USD 0,13 por GB
GB cobrados por ingestão = (100 registros/segundo * 0,5 KB/registro)/1.048.576 KB/GB * 30 dias/mês *86.400 segundos/dia = 123,59 GB
Cobranças de ingestão mensal = 123,59 GB * USD 0,13/GB = USD 16,06
A conversão de formato de dados é um complemento opcional para ingestão de dados e usa GB cobrados para ingestão para calcular custos.
Preço por GB ingerido convertido = 0,018 USD
Cobranças mensais de conversão de formato = 1.235,96 GB * 0,018 USD/GB convertido = 22,25 USD
Preços de entrega de VPC (opcional)
A entrega em uma VPC é um complemento opcional à ingestão de dados e usa GBs entregues ao destino na VPC para calcular custos.
Preço por GB entregue ao destino em VPC = 0,01 USD
Preço por hora AZ para entrega de VPC = 0,01 USD
Cobranças mensais de processamento de VPC = 1.235,96 GB * 0,01 USD/GB processado = 12,35 USD
Cobranças mensais de VPC por hora = 24 horas * 30 dias/mês * 3 AZs = 2.160 horas * 0,01 USD/hora = 21,60 USD Total de cobranças mensais de VPC = 33,95 USD
Preços de particionamento dinâmico (opcional)
O particionamento dinâmico é um complemento opcional à ingestão de dados e usa GB processados por meio do particionamento dinâmico, o número de objetos entregues ao S3 e, opcionalmente, horas de processamento JQ para calcular custos. Neste exemplo, presumimos que os objetos de 64 MB são entregues como resultado da configuração da dica do buffer do fluxo do Firehose.
Se você usa atributos opcionais, como transformação de dados usando o Lambda, conversão de formato ou compactação, em seu fluxo do Firehose, a quantidade de dados processados por meio do particionamento dinâmico pode ser diferente da quantidade de dados ingeridos da origem ou da quantidade de dados entregues ao destino. Essas etapas adicionais de processamento de dados realizadas antes e depois do particionamento dinâmico podem fazer a diferença.
Preço por GB processado por meio do particionamento dinâmico = 0,020 USD
Preço por 1.000 objetos do S3 entregues USD 0,005 = USD 0,005
Preço por hora de processamento JQ = USD 0,07
GB mensal processado por meio do particionamento dinâmico = (3 KB * 100 registros / segundo) / 1.048.576 KB/GB * 86.400 segundos/dia * 30 dias / mês = 741,58 GB
Cobranças mensais por GB processados por meio do particionamento dinâmico = 741,58 GB = 0,02 USD por GB processado pelo particionamento dinâmico = 14,83 USD
Número de objetos entregues = 741,58 GB * 1024 MB/GB/64 MB de tamanho do objeto = 11.866 objetos
Cobranças mensais para objetos entregues ao S3 = 11.866 objetos * 0,005 USD/1.000 objetos = 0,06 USD
Cobranças mensais para JQ (se ativado) = 70 horas JQ consumidas/mês * 0,07 USD/hora de processamento JQ = 4,90 USD
Descompactação do CloudWatch Logs
O CloudWatch Logs envia dados no formato comprimido gzip. O atributo de descompactação do Data Firehose descompacta os dados e cobra por GB de dados descompactados.
Uso mensal = 10 TB de dados do CloudWatch Logs descompactados
Preço por GB descomprimido = 0,00325 USD/GB em IAD
Cobranças mensais de descompressão = 10240 GB * 0,00325 USD/GB = 33,28 USD
Acordo de nível de serviço
Saiba mais sobre o Acordo de nível de serviço do Amazon Data Firehose consultando nossas Perguntas frequentes.
Descubra mais recursos do Amazon Data Firehose