Publicado: Mar 23, 2020
A partir de hoje, você pode usar a API UpdateShardCount no Amazon Kinesis Data Streams para escalar até 10.000 fragmentos de um único streams de dados. É possível usar o Amazon Kinesis Data Streams para capturar, armazenar e analisar terabytes de dados por hora a partir de clickstreams, transações financeiras, feeds de mídia social e muito mais. A API UpdateShardCount permite expandir ou reduzir rapidamente a capacidade dos streams de dados, para lidar com alterações nos volumes de dados sem nenhuma interrupção nos aplicativos de produção ou consumo.
Um fragmento do Kinesis fornece taxa de transferência de entrada de 1 MB/s e 2 MB/s de saída. É possível aumentar a taxa de transferência do stream adicionando mais fragmentos. Antes, a API UpdateShardCount podia escalar para até 500 fragmentos. O anúncio de hoje permite que você dimensione rapidamente sua capacidade de stream para até 10.000 fragmentos, o que representa um aumento de 20 vezes. Por exemplo, antes, se você tivesse 10 fragmentos com taxa de transferência de 10 MB/s, seria possível escalar para até 500 fragmentos para ingerir 500 MB/s. Agora, você pode escalar para até 10.000 fragmentos ou 10.000 MB/s em resposta ao aumento do tráfego com uma única chamada de API ou um único clique no console. Em seguida, poderá reduzir a capacidade após uma redução no tráfego.
A atualização da contagem de fragmentos é uma operação assíncrona. O Kinesis Data Streams faz divisões ou mesclagens em fragmentos individuais para atualizar a contagem de fragmentos. Você pode continuar lendo e gravando dados no seu stream enquanto a operação de dimensionamento está em andamento. Recomendamos o uso do KPL versão 0.14.0 ou superior e o upgrade do KCL para a versão 1.9 ou superior para usar esse recurso. Consulte a documentação de referência de API para obter mais detalhes.
O aumento de 10.000 fragmentos para a API UpdateShardCount está disponível em todas as regiões da AWS.