Funzioni di Amazon Kinesis Data Analytics

Amazon Kinesis Data Analytics include librerie open source come Apache Flink, Apache Beam, Apache Zeppelin, AWS SDK e integrazioni con i servizi AWS. Apache Flink è un framework open source e motore per la creazione di applicazioni streaming altamente disponibili e precise. Apache Beam è un modello unificato open source per definire applicazioni di elaborazione dati in streaming e in batch eseguibili su più motori di esecuzione. I kit di sviluppo software (SDK) di AWS aiutano a eliminare la complessità della codifica per molti servizi AWS fornendo interfacce di programmazione delle applicazioni (API) nel tuo linguaggio preferito e include le librerie AWS, esempi di codice e documentazione.

Kinesis Data Analytics offre API flessibili in Java, Scala, Python e SQL specializzate per differenti casi d'uso, tra cui elaborazione di eventi stateful, ETL in streaming e analisi in tempo reale. Le capacità di analisi e gli operatori integrati consentono di creare un'applicazione Apache Flink in streaming nel giro di poche ore anziché mesi. Le librerie Amazon Kinesis Data Analytics sono espandibili, consentendo di eseguire l'elaborazione in tempo reale per una vasta gamma di casi d'uso.

È possibile impostare e integrare una fonte o una destinazione dati con pochissimo codice. Puoi usare le librerie Amazon Kinesis Data Analytics per l'integrazione con Amazon Simple Storage Service (S3), Amazon Managed Streaming for Apache Kafka (Amazon MSK), Amazon OpenSearch Service, Amazon DynamoDB, Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose e Amazon CloudWatch e il registro degli schemi di AWS Glue.

In aggiunta alle integrazioni AWS, le librerie Amazon Kinesis Data Analytics includono più di dieci connettori Apache Flink e la capacità di creare integrazioni personalizzate. Con un paio di linee di codice in più, è possibile modificare il comportamento di ogni integrazione con funzionalità avanzate. Inoltre, è possibile creare integrazioni personalizzate usando un set di primitive di Apache Flink che consentono di leggere e scrivere su file, directory, socket o altre origini a cui è possibile accedere da Internet.

Kinesis Data Analytics for Apache Flink è compatibile con il registro degli schemi AWS. Il registro serverless degli schemi di AWS Glue, consente di convalidare e controllare l'evoluzione dei dati di streaming tramite schemi di Apache Avro registrati senza costi aggiuntivi. Il registro degli schemi consente di gestire gli schemi su Kinesis Data Analytics per i carichi di lavoro di Apache Flink che collegano Apache Kafka, Amazon Managed Streaming for Apache Kafka (MSK) o Amazon Kinesis Data Streams come origine o come sink. Quando le applicazioni di streaming di dati sono integrate con il registro degli schemi, è possibile migliorare la qualità dei dati e la protezione da modifiche impreviste grazie a controlli di compatibilità che gestiscono l'evoluzione degli schemi.

Utilizza Apache Flink in Kinesis Data Analytics per creare applicazioni i cui record elaborati influiscono sui risultati esattamente una volta e vengono indicati come una elaborazione esatta. Anche nel caso di interruzione di un'applicazione, ad esempio per manutenzione interna o aggiornamento avviato dall'utente, il servizio garantisce che tutti i dati vengano elaborati e che non ci siano duplicati di dati.

Il servizio archivia calcoli precedenti e in corso nella memoria dell’applicazione in esecuzione. Confronta risultati in tempo reale e precedenti relativi a qualsiasi periodo e ottieni il ripristino rapido durante le interruzioni dell’applicazione. Lo stato è sempre crittografato e salvato in modo incrementale nella memoria di applicazioni in esecuzione.

È possibile creare ed eliminare backup durevoli delle applicazioni attraverso una semplice chiamata API. Ripristina le tue applicazioni dall'ultimo backup immediatamente dopo un'interruzione oppure ripristina l'applicazione a una versione precedente. 

Kinesis Data Analytics Studio supporta query inferiori al secondo con visualizzazioni integrate. È possibile eseguire query ad hoc per ispezionare rapidamente il flusso di dati e visualizzare i risultati in pochi secondi.

I notebook Studio offrono un'esperienza di sviluppo con un'interfaccia unica per lo sviluppo, il debug del codice e l'esecuzione di applicazioni di elaborazione di flussi.

Kinesis Data Analytics Studio supporta SQL, Python e Scala nello stesso ambiente di sviluppo. Evidenziazione della sintassi, convalida e suggerimenti sensibili al contesto ti guidano all'interno del notebook per interagire con i tuoi dati con il supporto integrato per le capacità specifiche di Apache Flink.

Non è necessario allocare, gestire o dimensionare server. Scrivi semplicemente il codice e paga per le risorse utilizzate dalla tua applicazione. Distribuisci facilmente il tuo codice dal notebook a un'applicazione di elaborazione di flussi in esecuzione continua con autoscaling e stato durevole.

Kinesis Data Analytics Studio esegue e produce applicazioni Apache Flink utilizzate in produzione e i notebook Apache Zeppelin garantiscono un'esperienza familiare e facile da usare per creare applicazioni di streaming in un linguaggio a scelta.

Il Catalogo dati AWS Glue è un negozio di metadati persistente che funge da repository centrale contenente le definizioni delle tabelle. Il catalogo dati di AWS Glue può essere impiegato per rilevare e rendere ricercabili diversi set di dati in AWS in modo rapido. Kinesis Data Analytics Studio è compatibile con il Catalogo dati AWS Glue dove è possibile definire lo schema per le tabelle di origine e di destinazione.

Per i nuovi progetti consigliamo di utilizzare il nuovo Kinesis Data Analytics Studio, piuttosto che Kinesis Data Analytics per applicazioni SQL. Kinesis Data Analytics Studio combina facilità d'uso e capacità analitiche avanzate, permettendoti di costruire sofisticate applicazioni di elaborazione di flussi in pochi minuti.

Kinesis Data Analytics supporta lo standard ANSI SQL , quindi hai solo bisogno di avere già familiarità con SQL.

Kinesis Data Analytics si integra con Amazon Kinesis Data Streams e Amazon Kinesis Data Firehose per semplificare l'importazione dello streaming di dati. È sufficiente indirizzare Kinesis Data Analytics sul flusso di ingresso per attivarne automaticamente la lettura e l'analisi dei dati e renderli disponibili per l'elaborazione. I risultati dell'elaborazione possono essere inoltrati tramite Kinesis Data Firehose ad altri servizi AWS, tra cui Amazon S3, Amazon Redshift, e Amazon OpenSearch Service. I dati in uscita possono essere inoltrati anche ad Amazon Kinesis Data Streams, per costruire pipeline avanzate per l'elaborazione di flussi.

Usa un editor basato su console per creare query SQL utilizzando operazioni di flussi di dati, ad esempio scorrendo medie di intervalli temporali. È anche possibile visualizzare i risultati e gli errori utilizzando dati reali per eseguire il debug oppure ottimizzare gli script in modo interattivo.

Kinesis Data Analytics fornisce un editor di schemi intuitivo che permette di visualizzare e modificare la struttura dei dati in ingresso. La procedura guidata riconosce automaticamente formati di dati standard come JSON e CSV. Intuisce la struttura dei dati in entrata per creare uno schema di base, che è possibile perfezionare ulteriormente usando l'editor di schemi.

L'editor SQL interattivo include una raccolta di modelli SQL che offrono codice SQL di base per le operazioni più comuni, tra cui aggregazione, conversione pre-eventi e applicazione di filtri. È sufficiente selezionare il modello più adatto per l'attività di analisi, modificandone il codice tramite l'editor SQL per personalizzarlo secondo l'uso specifico.

Amazon Kinesis Data Analytics offre funzioni ottimizzate per l'elaborazione di flussi che consentono di eseguire analisi di tipo avanzato, ad esempio il rilevamento di anomalie o l'analisi dei top-K dei dati di streaming.