AWS Data Pipeline è un servizio Web che offre un sistema di gestione semplice per flussi di lavoro basati sui dati. Grazie ad AWS Data Pipeline puoi definire una pipeline composta da “origini dati” che contengono i tuoi dati, le “attività” o la logica di business quali lavori EMR o query SQL e la “programmazione” sulla quale viene eseguita la tua logica di business. Puoi ad esempio definire un lavoro che, ogni ora, esegue un’analisi basata su Amazon Elastic MapReduce (Amazon EMR) sui dati registro di Amazon Simple Storage Service (Amazon S3) di quell’ora, caricare i risultati su un database relazionale sul quale eseguire ricerche in futuro e ricevere quindi automaticamente un riepilogo giornaliero via e-mail.

AWS Data Pipeline gestisce:

  • La programmazione, l’esecuzione e la logica di ripetizione tentativi dei tuoi lavori
  • Il tracciamento delle dipendenze tra la tua logica di business, origini dati e precedenti fasi di elaborazione per assicurare che la logica non venga eseguita fino a quando sono soddisfatte tutte le relative dipendenze
  • L’invio di qualsiasi notifica necessaria di errore
  • La creazione e la gestione delle risorse di calcolo temporanee che i tuoi lavori potrebbero richiedere

Inizia a usare AWS gratis

Crea un account gratuito
Oppure Accedi alla Console

Il piano gratuito AWS per AWS Data Pipeline include 3 condizioni preliminari per la bassa frequenza e 5 attività a bassa frequenza.

Visualizza i dettagli del piano gratuito di AWS »

Per assicurare la disponibilità dei dati prima dell’esecuzione di un’attività, AWS Data Pipeline consente di creare facoltativamente alcuni controlli di disponibilità dei dati noti come “condizioni preliminari”. Tali controlli tenteranno di verificare ripetutamente la disponibilità dei dati e bloccheranno l’esecuzione delle attività dipendenti fino a quando le condizioni preliminari sono soddisfatte.

Per utilizzare AWS Data Pipeline è sufficiente:

  • Utilizzare la console di gestione AWS, l’interfaccia della riga di comando o le API del servizio per definire le origini dati, le condizioni preliminari, le attività, la programmazione rispetto alla quale si desiderano eseguirle e le condizioni opzionali di notifica.
  • Ricevere le notifiche automatiche configurabili nel caso in cui i dati non diventino disponibili quando previsto o se si verificano errori rispetto alle attività.

Nella sezione relativa ai modelli della console di gestione di AWS sono disponibili numerose attività diffuse di AWS Data Pipeline da utilizzare. Tali attività includono:

  • Analisi oraria dei dati registro basati su‐Amazon S3
  • Replica giornaliera dei dati di Amazon DynamoDB su Amazon S3
  • Replica periodica delle tabelle del database JDBC locale su RDS

Per ulteriori informazioni, consulta la Guida per gli sviluppatori di AWS Data Pipeline.

L'uso di questo servizio è soggetto al contratto con il cliente Amazon Web Services.