Geral
Usar o Apache Beam para criar sua aplicação Kinesis Data Analytics é muito semelhante a começar a usar o Apache Flink. Siga as instruções na pergunta acima e certifique-se de instalar todos os componentes necessários para que as aplicações sejam executadas no Apache Beam, de acordo com as instruções no Guia do Desenvolvedor. Observe que o Kinesis Data Analytics oferece suporte a Java SDKs somente quando estão em execução no Apache Beam.
Sim, usando os conectores do Apache Flink DataStream, o Amazon Kinesis Data Analytics para aplicações Apache Flink pode usar o AWS Glue Schema Registry, um recurso sem servidor do AWS Glue. Você pode integrar o Apache Kafka/Amazon MSK e Amazon Kinesis Data Streams, como um coletor ou uma fonte, com suas cargas de trabalho Amazon Kinesis Data Analytics for Apache Flink. Visite a documentação do usuário do Schema Registry para começar e saber mais.
Principais conceitos
Gerenciamento de aplicativos
- Monitoramento do Kinesis Data Analytics no Guia do desenvolvedor do Amazon Kinesis Data Analytics para Apache Flink.
- Monitoramento do Kinesis Data Analytics no Guia do desenvolvedor do Amazon Kinesis Data Analytics para SQL.
- Concessão de permissões no Guia do desenvolvedor do Amazon Kinesis Data Analytics para Apache Flink.
- Concessão de permissões no Guia do desenvolvedor do Amazon Kinesis Data Analytics para SQL.
Definição de preço e faturamento
Para aplicações em Apache Flink e Apache Beam, será cobrado um mínimo de duas KPUs e o armazenamento de aplicação em execução de 50 GB, caso uma aplicação do Kinesis Data Analytics esteja em execução. Para aplicações SQL, será cobrado um mínimo de uma KPU, caso uma aplicação do Kinesis Data Analytics esteja em execução.
Criando aplicações Apache Flink
Criação do código da aplicação para aplicações Apache Flink
DataStream <GameEvent> rawEvents = env.addSource(
New KinesisStreamSource(“input_events”));
DataStream <UserPerLevel> gameStream =
rawEvents.map(event - > new UserPerLevel(event.gameMetadata.gameId,
event.gameMetadata.levelId,event.userId));
gameStream.keyBy(event -> event.gameId)
.keyBy(1)
.window(TumblingProcessingTimeWindows.of(Time.minutes(1)))
.apply(...) - > {...};
gameStream.addSink(new KinesisStreamSink("myGameStateStream"));
- Fontes de dados de streaming: Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon Kinesis Data Streams
- Destinos ou coletores: Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose, Amazon DynamoDB, Amazon Elasticsearch Service e Amazon S3 (por meio de integrações do coletor de arquivos)
Sim. Você pode usar as aplicações Apache Flink do Kinesis Data Analytics para replicar dados entre o Amazon Kinesis Data Streams, Amazon MSK e outros sistemas. Um exemplo fornecido em nossa documentação demonstra como ler de um tópico do Amazon MSK e gravar em outro.
Sim, ele é compatível com aplicações de streaming criadas usando o Apache Beam Java SDK versão 2.23. Você pode criar aplicações de streaming do Apache Beam em Java e executá-las usando o Apache Flink 1.8 no Amazon Kinesis Data Analytics, Apache Spark em execução on-premises e em outros mecanismos de execução compatíveis com Apache.
P: O que é o Apache Beam?
O Apache Beam é um modelo unificado de código aberto para definir aplicações de streaming e processamento de dados em lote que podem ser executadas em vários mecanismos de execução.
Criação de aplicações SQL
Configuração de entrada para aplicativos SQL
Criação do código do aplicativo para aplicativos SQL
- Sempre use uma instrução SELECT no contexto de uma instrução INSERT. Ao selecionar linhas, você insere resultados em outro streaming no aplicativo.
- Use uma instrução INSERT no contexto de um bombeamento. Use um bombeamento para tornar uma instrução INSERT contínua e grave em um streaming no aplicativo.
- Use um bombeamento para juntar streamings no aplicativo, os selecionando por meio de um streaming no aplicativo e os inserindo em outro streaming no aplicativo.
CREATE OR REPLACE STREAM "DESTINATION_SQL_STREAM" (
ticker_symbol VARCHAR(4),
change DOUBLE,
price DOUBLE);
CREATE OR REPLACE PUMP "STREAM_PUMP" AS
INSERT INTO "DESTINATION_SQL_STREAM"
SELECT STREAM ticker_symbol, change, price
FROM "SOURCE_SQL_STREAM_001";
Configuração de destinos em aplicativos SQL
Comparação com outras soluções de processamento de fluxos
Acordo de Nível de Serviço
P: O que o SLA do Amazon Kinesis Data Analytics garante?
O SLA do Amazon Kinesis Data Analytics garante uma porcentagem de tempo de disponibilidade de pelo menos 99,9% para o Amazon Kinesis Data Analytics.
P: Como saberei se me qualifico para um crédito de serviço do SLA?
Você estará qualificado para um crédito de SLA para o Amazon Kinesis Data Analytics nos termos do SLA do Amazon Kinesis Data Analytics se mais de uma zona de disponibilidade na qual você executar uma tarefa, na mesma região, tiver uma porcentagem de tempo de disponibilidade inferior a 99,9% durante qualquer ciclo de faturamento mensal.
Para obter detalhes completos sobre todos os termos e condições do SLA, bem como detalhes sobre como enviar uma alegação, consulte a página de detalhes do SLA do Amazon Kinesis.
Comece a usar o Amazon Kinesis Data Analytics

Saiba como usar o Amazon Kinesis Data Analytics no guia passo a passo para SQL ou Apache Flink.

Crie seu primeiro aplicativo de streaming no console do Amazon Kinesis Data Analytics.