- Prodotti›
- Integrazione di applicazioni›
- Flussi di lavoro gestiti da Amazon per Apache Airflow (MWAA)
Flussi di lavoro gestiti da Amazon per Apache Airflow (MWAA)
Semplifica l'orchestrazione del flusso di lavoro con Apache Airflow gestito in modo sicuro e su larga scala
Perché utilizzare Amazon MWAA?
Amazon Managed Workflows for Apache Airflow (MWAA) consente di orchestrare pipeline di dati e flussi di lavoro utilizzando la piattaforma Apache Airflow standard del settore. Scegli tra opzioni di distribuzione serverless o con provisioning per usufruire di scalabilità, disponibilità e sicurezza di livello aziendale, senza dover gestire l'infrastruttura.
Amazon MWAA è accessibile nella prossima generazione di Amazon SageMaker
Con Amazon MWAA nella nuova generazione di Amazon SageMaker, puoi distribuire e scalare Apache Airflow senza problemi senza oneri operativi. Grazie alla scalabilità automatica e alla tolleranza di errore integrata, MWAA in Amazon SageMaker garantisce l'esecuzione affidabile dei flussi di lavoro, consentendoti di concentrarti sull'innovazione, non sull'infrastruttura. Scopri di più
Scegli il tuo modello di distribuzione
Flussi di lavoro senza server
Amazon MWAA Serverless elimina le complessità di gestione dell'infrastruttura eseguendo automaticamente i flussi di lavoro basati su YAML o Python su richiesta o nei tempi previsti. Scala facilmente fino a centinaia di flussi di lavoro con alta disponibilità di livello aziendale, non è richiesta alcuna configurazione di Apache Airflow. Con prezzi basati sull'utilizzo e controlli di sicurezza integrati, paghi solo per il tempo effettivo di esecuzione.
Ambiente gestito tradizionale
Amazon MWAA ti consente di mantenere il pieno controllo dei tuoi flussi di lavoro implementando ambienti personalizzati con dipendenze e plug-in preferiti, mentre noi gestiamo il provisioning, la sicurezza e la scalabilità dell'infrastruttura.
Vantaggi
Amazon MWAA offre modelli di distribuzione per soddisfare diverse esigenze di flusso di lavoro. MWAA Serverless si adatta automaticamente alla domanda, eliminando la pianificazione manuale della capacità e ottimizzando i costi. L'opzione predisposta fornisce un controllo granulare sulle risorse Airflow, consentendo di ottimizzare le prestazioni per requisiti specifici. Scegli una scalabilità automatica semplice o un controllo preciso delle risorse: Amazon MWAA si adatta alla tua azienda.
Amazon MWAA offre una sicurezza completa su misura per le tue esigenze: Serverless fornisce controlli granulari a livello di flusso di lavoro mentre Provisioned offre limiti a livello di ambiente per contesti aziendali distinti. Entrambe le opzioni offrono una sicurezza di livello aziendale che include isolamento VPC, crittografia end-to-end e controlli di accesso granulari, assicurando che i flussi di lavoro rimangano protetti senza compromettere le prestazioni.
Amazon MWAA potenzia i flussi di lavoro per la prossima generazione di Amazon SageMaker con accesso a una distribuzione Airflow personale e open source, eseguita insieme ai notebook Jupyter in Amazon SageMaker Unified Studio. È possibile sviluppare facilmente grafici aciclici diretti ad Airflow (DAG) in grado di orchestrare gli artefatti del progetto come notebook, query e lavori di formazione.
Casi d'uso
Orchestra trasformazioni di dati complesse su più servizi AWS e fonti di dati esterne. Automatizza i flussi di lavoro di inserimento, catalogazione ed elaborazione dei dati per l'architettura del tuo data lake coordinando le pipeline di dati in streaming con l'elaborazione in batch.
Orchestra i flussi di lavoro ML end-to-end dalla preparazione dei dati all'addestramento, alla convalida e all'implementazione dei modelli. Automatizza l'estrazione delle feature, i flussi di lavoro di trasformazione e coordina l'implementazione dei modelli con test A/B negli ambienti di sviluppo e produzione.
Pianifica e orchestra automaticamente la generazione di report, gli aggiornamenti dei dati e gli aggiornamenti delle dashboard. Implementa flussi di lavoro automatizzati per la convalida, la pulizia e il controllo della qualità dei dati sincronizzando i dati tra applicazioni aziendali e piattaforme di analisi.
Automatizza i flussi di lavoro di backup, l'archiviazione dei dati e le procedure di disaster recovery in tutta la tua infrastruttura. Orchestra i flussi di lavoro di governance dei dati, i report di conformità e la generazione di audit trail coordinando i flussi di lavoro tra AWS e altri fornitori di cloud o sistemi locali.