Domande frequenti su Amazon Athena

• Repository di metadati unificato: AWS Glue si integra con un'ampia gamma di servizi AWS. AWS Glue supporta i dati memorizzati in Amazon Aurora, Amazon Relational Database Service (RDS) per MySQL, Amazon RDS per PostgreSQL, Amazon Redshift e S3, nonché nei database MySQL e PostgreSQL in un cloud privato virtuale (VPC) di Amazon in esecuzione su Amazon Elastic Compute Cloud (EC2). AWS Glue offre inoltre di default l'integrazione con Athena, Amazon EMR, Amazon Redshift Spectrum e con le applicazioni compatibili con Apache Hive Metastore.
  
• Riconoscimento automatico di schemi e partizioni: AWS Glue effettua automaticamente ricerche per indicizzazione nelle origini dei dati, identifica i formati e suggerisce schemi e trasformazioni. I crawler consentono di automatizzare più facilmente la creazione di tabelle e il caricamento di partizioni.
  

• Log Web di Apache: "org.apache.hadoop.hive.serde2.RegexSerDe"
  
• CSV: "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
  
• TSV: "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
  
• Delimitatori personalizzati: "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
  
• Parquet: "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe"
  
• Orc: "org.apache.hadoop.hive.ql.io.orc.OrcSerde"
  
• JSON: "org.apache.hive.hcatalog.data.JsonSerDe" oppure "org.openx.data.jsonserde.JsonSerDe"
  

D: Cos'è una query federata?
Se disponi di dati in origini diverse da S3, puoi utilizzare Athena per eseguire query sui dati in loco o creare pipeline che estraggono dati da più origini dei dati e li archiviano in S3. Con una query federata di Athena puoi eseguire query SQL sui dati archiviati in origini dei dati relazionali, non relazionali, oggetto e personalizzate.

D: Perché dovrei utilizzare le query federate in Athena?
Le organizzazioni spesso archiviano i dati in un'origine dei dati che soddisfa le esigenze delle proprie applicazioni o dei processi aziendali. Questi possono includere database relazionali, chiave-valore, di documenti, in memoria, di ricerca, grafici, serie temporali e di libro mastro oltre all'archiviazione dei dati in un data lake S3. L'esecuzione di analisi su origini così diverse può essere complessa e richiedere molto tempo perché in genere richiede l'apprendimento di nuovi linguaggi di programmazione o costrutti di database e la creazione di pipeline complesse per estrarre, trasformare e duplicare i dati prima che possano essere utilizzati per l'analisi. Athena riduce questa complessità consentendo di eseguire query SQL sui dati nel luogo in cui risiedono. Puoi utilizzare i ben conosciuti costrutti SQL per interrogare i dati in più origini dei dati per analisi rapide, o utilizzare le query SQL programmate per estrarre e trasformare i dati da più origini dei dati e poi archiviarli in S3 per eseguire analisi ulteriori.

D: Quali origini dati sono supportate?
Athena fornisce connettori integrati a 30 datastore su AWS, on-premise e in altri cloud, compresi Amazon Redshift, Amazon DynamoDB, Google BigQuery, Google Cloud Storage, Azure Synapse, Azure Data Lake Storage, Snowflake e SAP Hana. Puoi utilizzare questi connettori per abilitare casi d'uso di analisi SQL su tipi di archiviazione di dati strutturati, semi-strutturati, oggetti, grafici, serie temporali e altri. Per un elenco delle origini supportate, consulta la sezione Connettori di origine dati disponibili della Guida per l'utente di Amazon Athena.

Puoi anche utilizzare l'SDK del connettore dati di Athena per creare un connettore di origine dati personalizzato e interrogarlo con Athena. Inizia consultando la documentazione che include un esempio di implementazione dei connettori.

D: Quali sono i casi d'uso consentiti dalla query federata?
Con Athena puoi sfruttare le conoscenze SQL esistenti per estrarre informazioni dettagliate da varie origini dei dati senza dover apprendere un nuovo linguaggio, sviluppare script per estrarre (e duplicare) dati o gestire l'infrastruttura. Con Amazon Athena puoi svolgere le attività seguenti:

• Eseguire analisi on demand sui dati distribuiti su più archivi dati utilizzando un unico strumento e un dialetto SQL.
• Visualizzare i dati in applicazioni di business intelligence (BI) che provocano join complessi e multi-sorgente al motore di calcolo distribuito di Athena su interfacce ODBC e JDBC.
• Progettare pipeline ETL self-service e flussi di lavoro di elaborazione dati basati su eventi, grazie all'integrazione di Athena con AWS Step Functions.
• Unificare diverse origini dei dati per produrre funzionalità di input avanzate per i flussi di lavoro di addestramento del modello di machine learning.
• Sviluppare applicazioni data-as-a-product rivolte all'utente che forniscono informazioni dettagliate attraverso architetture di mesh di dati.
• Supportare i casi d'uso di analisi mentre la tua organizzazione effettua la migrazione delle origini on-premise ad AWS.

D: Posso usare le query federate per ETL?
Athena salva i risultati delle query in un file su S3. Ciò significa che puoi utilizzare Athena per rendere disponibili i dati federati ad altri utenti e applicazioni. Se vuoi eseguire analisi sui dati usando Athena senza interrogare ripetutamente l'origine sottostante, usa la funzione CREATE TABLE AS di Athena. Puoi utilizzare anche la funzione UNLOAD di Athena per interrogare i dati e archiviare i risultati in un formato file specifico su S3.

D: Come funzionano i connettori di origini dei dati?
Un connettore di origine dei dati è un frammento di codice eseguito su Lambda che si traduce tra l'origine dei dati di destinazione e Athena. Quando utilizzi un connettore di origine dei dati per registrare un archivio dati con Athena, puoi eseguire query SQL su archivi dati federati. Quando una query viene eseguita su un'origine federata, Athena effettua una chiamata alla funzione Lambda e le incarica di eseguire le parti della query specifiche per l'origine federata. Per maggiori informazioni, consulta la sezione Utilizzo della query federata di Amazon Athena della Guida per l'utente di Amazon Athena. 

D: Quali origini dati sono supportate?
Athena fornisce connettori integrati a 30 datastore su AWS, on-premise e in altri cloud, compresi Amazon Redshift, Amazon DynamoDB, Google BigQuery, Google Cloud Storage, Azure Synapse, Azure Data Lake Storage, Snowflake e SAP Hana. Puoi utilizzare questi connettori per abilitare casi d'uso di analisi SQL su tipi di archiviazione di dati strutturati, semi-strutturati, oggetti, grafici, serie temporali e altri. Per un elenco delle origini supportate, consulta Utilizzo dei connettori di origini dati di Athena.
Puoi anche utilizzare l'SDK del connettore dati di Athena per creare un connettore di origine dati personalizzato e interrogarlo con Athena. Inizia consultando la documentazione che include un esempio di implementazione dei connettori.

D: Quali casi d'uso supporta Athena per il machine learning incorporato?
I casi d'uso per il machine learning di Athena variano in base a settori diversi, così come negli esempi a seguire. Gli analisti di dati per i rischi finanziari possono eseguire analisi "what if" e simulazioni Monte Carlo. Gli analisti aziendali possono eseguire regressioni lineari o modelli di previsione per predire i valori futuri, così da poter creare dashboard più ricchi e lungimiranti per predire i profitti. Gli analisti di marketing possono utilizzare modelli di clustering k-means per poter determinare i diversi segmenti di clienti. Gli analisti di sicurezza possono utilizzare modelli di regressione logistica per rilevare anomalie e individuare gli incidenti di sicurezza a partire da vari log.

D: Quali modelli di ML possono essere utilizzati con Athena?
Athena può richiamare qualsiasi modello di machine learning implementato in SageMaker. Ciò permette di avere la flessibilità di addestrare il proprio modello utilizzando dati proprietari o di utilizzare un modello pre-addestrato e implementato su SageMaker. Per esempio, un modello di analisi del cluster è molto probabile che sia addestrato a partire dai propri dati, perché è necessario categorizzare le nuove tracce nelle stesse categorie utilizzate per le tracce precedenti. Al contrario, per predire eventi sportivi in tempo reale, è possibile utilizzare un modello disponibile a livello pubblico, poiché i dati di addestramento utilizzati possono essere già nel dominio pubblico. I modelli di previsione specifici per settore o dominio saranno tipicamente addestrati su dati proprietari in SageMaker, mentre i modelli di ML indifferenziati potrebbero utilizzare dati esterni.

D: Posso addestrare il mio modello di ML utilizzando Athena?
Non puoi addestrare e implementare i modelli di ML su SageMaker utilizzando Athena. Puoi addestrare un modello di ML personale o utilizzare un modello esistente pre-addestrato implementato su SageMaker utilizzando Athena. Consulta la documentazione relativa ai passaggi per addestrare un modello su SageMaker.

D: Posso eseguire l'inferenza su modelli implementati in altri servizi quali Comprehend e Forecasting o su modelli implementati nel mio cluster EC2?
Athena supporta solo il richiamo di modelli di ML implementati in SageMaker. Accettiamo feedback su quali altri servizi desideri utilizzare con Athena. Inviaci un'e-mail all'indirizzo athena-feedback@amazon.com.

D: Quali sono le implicazioni in termini di prestazioni con l'utilizzo delle query di Athena con l'inferenza di SageMaker?
Miglioriamo costantemente le prestazioni delle nostre funzionalità e dei nostri servizi. Per ottimizzare le prestazioni delle query di ML di Athena, le righe vengono raggruppate in batch quando si invoca il modello di ML di SageMaker per l'inferenza. Al momento, le sovrascritture per le dimensioni del batch di righe fornito dall'utente non sono supportate.

D: Quali funzionalità sono supportate dal ML di Athena?
Athena offre capacità di inferenza di ML (previsione) all'interno di un'interfaccia SQL. Inoltre, è possibile chiamare una funzione definita dall'utente per invocare la logica di pre- o post-elaborazione sul set di risultati ottenuto. Gli input possono includere qualsiasi colonna, traccia o tabella; inoltre, è possibile raggruppare più chiamate in batch per migliorare la scalabilità. Puoi eseguire l'inferenza nella fase di selezione o nella fase di filtraggio. Per ulteriori informazioni, consulta la sezione Utilizzo di machine learning (ML) con Amazon Athena nella Guida per l'utente di Amazon Athena.

D: Quali modelli di ML posso utilizzare?
SageMaker supporta diversi algoritmi di ML. Puoi creare un modello di ML proprietario e implementarlo in SageMaker. Per esempio, un modello di analisi del cluster è molto probabile che sia addestrato a partire dai propri dati, perché è necessario categorizzare le nuove tracce nelle stesse categorie utilizzate per le tracce precedenti. Al contrario, per predire eventi sportivi in tempo reale, è possibile utilizzare un modello disponibile a livello pubblico, poiché i dati di addestramento utilizzati possono essere nel dominio pubblico.

Prevediamo che i modelli di previsione specifici per settore o dominio saranno tipicamente addestrati su dati proprietari in SageMaker, mentre i modelli di ML indifferenziati (come la traduzione automatica) potrebbero utilizzare dati esterni. 

D: Come posso controllare l'accesso ai dati?
Amazon Athena supporta il controllo granulare degli accessi con AWS Lake Formation. AWS Lake Formation consente di gestire centralmente le autorizzazioni e il controllo degli accessi per le risorse del catalogo di dati nel proprio data lake S3. È possibile applicare policy di controllo degli accessi granulari nelle query Athena per i dati archiviati in qualsiasi formato di file supportato utilizzando formati di tabella come Apache Iceberg, Apache Hudi e Apache Hive. Hai la flessibilità di scegliere il formato di tabella e il file più adatto per il tuo caso d'uso e il vantaggio di una governance dei dati centralizzata per proteggere l'accesso ai dati quando utilizzi Athena. Ad esempio, puoi utilizzare il formato di tabella Iceberg per archiviare i dati nel data lake S3 per garantire transazioni di scrittura affidabili su vasta scala insieme a filtri di sicurezza a livello di riga in Lake Formation, in modo che gli analisti di dati che lavorano in Paesi diversi possano accedere soltanto ai dati dei clienti situati nel loro stesso Paese per soddisfare i requisiti normativi. Il nuovo supporto ampliato per formati di tabella e file non richiede alcun cambiamento nelle modalità di impostazione delle policy di controllo degli accessi granulari in Lake Formation e richiede la versione 3 del motore Athena, che offre nuove funzionalità e migliori prestazioni per quanto riguarda le query. Athena consente inoltre di controllare l'accesso ai dati mediante le policy di AWS Identity and Access Management (IAM), le liste di controllo degli accessi (ACL) e le policy dei bucket S3. Con le policy IAM puoi fornire agli utenti IAM un controllo granulare sui bucket S3. Controllando l'accesso ai dati in S3, puoi impedire agli utenti di eseguire query tramite Athena.

D: È possibile eseguire query dei dati crittografati in S3 con Athena?
Sì, puoi eseguire query su dati crittografati utilizzando la crittografia lato server (SSE) con chiavi di crittografia gestite da S3, la crittografia lato server con chiavi gestite dal servizio di gestione delle chiavi AWS (AWS KMS) e la crittografia lato client (CSE) con chiavi gestite da AWS KMS. Athena si integra inoltre con AWS KMS e fornisce l'opzione di crittografia dei set di risultati.

D: Athena è altamente disponibile?
Sì. Athena è un servizio con disponibilità elevata che esegue query utilizzando risorse di calcolo che si trovano in diverse strutture e, in base alla disponibilità di queste, instrada automaticamente le query. Athena usa S3 come archivio dati, rendendo i dati altamente disponibili e durevoli. S3 fornisce un'infrastruttura durevole per archiviare i dati più importanti. I dati vengono archiviati in modo ridondante in più strutture e in più dispositivi all'interno di ogni struttura.

D: Posso consentire l'accesso multi-account al bucket S3 di un altro utente?
Sì, puoi consentire l'accesso multi-account a S3.

D: In che modo viene calcolato il prezzo di Athena?
Con Athena, puoi scegliere se pagare per query in base ai dati scansionati o in base alle risorse di calcolo necessarie per le tue query. Il prezzo per query si basa sulla quantità di dati scansionati, in terabyte (TB), dalla query. In S3 è possibile archiviare i dati in formati diversi. Con la compressione, il partizionamento o la conversione dei dati in formati di storage colonnari è possibile ridurre i costi perché i dati scansionati dalle query sono in quantità inferiore. Con la conversione dei dati in formato colonnare, Athena è in grado di leggere solo le colonne necessarie per l'elaborazione della query. Con la capacità assegnata, si paga un prezzo orario per la capacità di elaborazione delle query, non per i dati scansionati. All'interno dello stesso account si possono utilizzare sia la fatturazione per query che la fatturazione basata su calcolo. Visita la pagina dei prezzi di Amazon Athena per maggiori dettagli.

D: Perché il costo del servizio è inferiore se uso un formato colonnare?
Per quanto riguarda la fatturazione per query, il prezzo di Athena viene calcolato in base alla quantità di dati scansionati per ciascuna query. La compressione dei dati consente ad Athena di scansionare una quantità inferiore di dati. La conversione dei dati in formati a colonne permette invece ad Athena di leggere solo le colonne necessarie per l'elaborazione. Anche il partizionamento dei dati consente ad Athena di ridurre la quantità di dati in scansione. In questo modo si ottiene una riduzione dei costi e prestazioni ottimizzate. Visita la pagina dei prezzi di Amazon Athena per maggiori dettagli.

D: In che modo posso diminuire i costi?
Con la fatturazione per query è possibile risparmiare tra il 30% e il 90% per query e migliorare le prestazioni con la compressione, il partizionamento e la conversione dei dati in formati colonnari. Ognuna di queste operazioni riduce la quantità di dati scansionati e il tempo necessario per l'esecuzione. Queste operazioni sono consigliate anche quando si utilizza la capacità assegnata, poiché spesso riducono il tempo impiegato per l'esecuzione di una query.

D: Con Athena mi vengono addebitate anche le query non riuscite?
Con i prezzi per query, non viene addebitato alcun costo per le query non riuscite.

D: Con Athena mi vengono addebitate anche le query annullate?
Sì. Se una query viene annullata, verrà addebitata la quantità di dati controllati fino al momento dell'annullamento della query stessa.

D: Ci sono altri costi aggiuntivi associati ad Athena?
Athena esegue le query sui dati direttamente da S3, per cui i dati in origine vengono fatturati secondo le tariffe di S3. Quando Athena esegue una query, i risultati vengono archiviati in un bucket S3 a scelta dell'utente e vengono fatturati i costi S3 standard per i risultati ottenuti. Ti consigliamo di monitorare questi bucket e usare le policy del ciclo di vita per verificare i dati conservati.

D: Sono previsti costi di utilizzo per il catalogo dati?
Sì. I costi di utilizzo del catalogo dati vengono addebitati separatamente. Per ulteriori informazioni sulle tariffe del catalogo dati, consulta la pagina relativa alle tariffe di AWS Glue. 

D: Che cos'è Amazon Athena per Apache Spark?
Athena supporta il framework Apache Spark per offrire agli analisti di dati e ai data engineer un'esperienza di Athena interattiva e completamente gestita. Apache Spark è un noto sistema di elaborazione distribuito open source, ottimizzato per carichi di lavoro analitici veloci su dati di qualsiasi dimensione, che offre un'ampia gamma di librerie open source. Ora puoi creare applicazioni Spark avvalendoti di linguaggi espressivi, come Python, con un'esperienza per notebook semplificata nella console Athena o attraverso le API Athena. Puoi eseguire query sui dati provenienti da varie origini, concatenare più calcoli e visualizzare i risultati delle relative analisi. Per le applicazioni Spark interattive ciò si traduce in una minore attesa e una maggiore produttività, perché Athena è in grado di avviare l'esecuzione delle applicazioni in meno di un secondo. I clienti possono contare su un'esperienza Spark semplificata e appositamente progettata, che riduce al minimo il lavoro necessario per gli aggiornamenti di versione, l'ottimizzazione delle prestazioni e l'integrazione con altri servizi AWS.

D: Perché dovrei utilizzare Athena per Apache Spark?
Athena per Apache Spark offre un'integrazione solida con i servizi AWS e un'esperienza di analisi interattiva e completamente gestita. Puoi utilizzare Spark per eseguire analisi in Athena utilizzando linguaggi familiari ed espressivi, come Python, e la gamma in continua espansione di pacchetti Spark. Puoi inoltre inserire le applicazioni Spark personalizzate attraverso le API Athena o all'interno di notebook semplificati nella console Athena e cominciare a eseguire le applicazioni Spark in meno di un secondo, senza dover configurare o ottimizzare l'infrastruttura sottostante. Analogamente alle funzionalità di query SQL, Athena offre un'esperienza Spark completamente gestita, coordinando automaticamente l'ottimizzazione delle prestazioni, le configurazioni delle macchine e l'applicazione di patch software. In questo modo, non sarà più necessario rimanere al corrente degli aggiornamenti di versione. Inoltre, Athena è strettamente integrato con altri servizi di analisi del sistema AWS, come il Catalogo dati. Pertanto, è possibile creare applicazioni Spark sui dati presenti nei data lake S3 facendo riferimento alle tabelle del Catalogo dati.

D: Come posso iniziare a usare Athena per Apache Spark?
Per iniziare a utilizzare Athena per Apache Spark, avvia un notebook nella console Athena o avvia una sessione utilizzando l'interfaccia a riga di comando (CLI) AWS o l'API di Athena. Nel notebook puoi iniziare a inserire e arrestare le applicazioni Spark tramite Python. Athena si integra inoltre con il catalogo dati, in modo da consentire agli utenti di lavorare con qualsiasi origine dei dati a cui si fa riferimento nel catalogo, inclusi i dati archiviati direttamente nei data lake S3. Tramite i notebook, puoi eseguire query sui dati provenienti da varie origini, concatenare più calcoli e visualizzare i risultati delle relative analisi. Per quanto riguarda le applicazioni Spark personali, puoi controllare lo stato di esecuzione ed esaminare i log e la cronologia delle esecuzioni nella console Athena.

D: Su quale versione di Spark si basa Athena?
Athena per Apache Spark si basa sulla versione stabile di Spark 3.2. In quanto motore completamente gestito, Athena fornirà una build personalizzata di Spark e gestirà automaticamente la maggior parte degli aggiornamenti della versione di Spark, in modo da essere compatibile con le versioni precedenti e non dover richiedere il tuo coinvolgimento.

D: Quali sono i prezzi di Athena per Apache Spark?
Si paga solo in base al tempo necessario per l'esecuzione della propria applicazione Apache Spark. Viene addebitata una tariffa oraria calcolata sul numero di unità di elaborazione dati (o DPU) utilizzate per eseguire l'applicazione Apache Spark. Una singola DPU fornisce 4 vCPU e 16 GB di memoria. La fatturazione prevede incrementi di 1 secondo, arrotondati al minuto più vicino.

Quando avvii una sessione Spark avviando un notebook nella console Athena o utilizzando l'API Athena, all'applicazione vengono allocati due nodi: un nodo notebook che fungerà da server per l'interfaccia utente del notebook e un nodo driver Spark che coordina l'applicazione Spark e comunica con tutti i nodi worker Spark. Athena addebiterà il costo dei nodi driver e worker per la durata della sessione. Amazon Athena fornisce notebook nella console come interfaccia utente per la creazione, l'invio e l'esecuzione di applicazioni Apache Spark e offre questa funzionalità senza costi aggiuntivi. Athena non addebita costi per i nodi notebook utilizzati durante la sessione Spark.