Veröffentlicht am: Oct 11, 2018
Amazon Athena ist ein interaktiver Abfrageservice, der die Analyse von Daten in Amazon S3 mit Standard-SQL erleichtert. Athena kommt ohne Server aus, deshalb gibt es auch keine Infrastruktur zu verwalten und Sie zahlen nur für die Abfragen, die Sie auch ausführen. Heute veröffentlichen wir Unterstützung für die Erstellung von Tabellen mit den Ergebnissen einer Select-Abfrage oder Unterstützung für die CTAS-Anweisung (Create Table As Select). Analysten können mit CTAS-Anweisungen neue Tabellen aus bestehenden Tabellen auf einer Teilmenge von Daten oder einer Teilmenge von Spalten erstellen. Die Daten können spaltenförmige Formate wie Apache Parquet und Apache ORC konvertiert und partitioniert werden. Athena fügt die resultierenden Tabellen und Partitionen automatisch dem Glue Data Catalog hinzu und stellt sie sofort für nachfolgende Abfragen zur Verfügung. Standardmäßig schreiben CTAS-Anweisungen in Athena Daten im Parquet-Format. Weitere unterstützte Formate sind Apache ORC, AVRO, JSON und Text, mit Optionen zur Verwendung von Gzip oder Snappy als Komprimierungsformate. Sie können Ihre Daten auch nach Spalten sortieren oder verschlüsseln.
CTAS-Anweisungen tragen dazu bei, Kosten zu senken und die Leistung zu verbessern, indem sie es Benutzern ermöglichen, Abfragen auf kleineren Tabellen auszuführen, die aus größeren Tabellen aufgebaut sind. Beispielsweise können Sie mit einer CTAS-Anweisung eine Tabelle erstellen, die bestimmte Spalten aus zwei verschiedenen Tabellen mit Daten im JSON-Format auswählt, die Ergebnisse in ein Spaltenformat wie Parquet konvertiert und die Tabelle in einer einzigen Anweisung in den Glue Data Catalog einfügt, wodurch nachfolgende Abfragen einfacher, schneller und kostengünstiger werden. Mit CTAS-Anweisungen müssen sich Analysten nicht mehr darauf verlassen, dass Data Engineering-Teams Tabellen erstellen, die auf ihre spezifischen Workloads abgestimmt sind, sondern erhalten Zugriff auf eine Self-Service-Umgebung. Weitere Beispiele für CTAS-Anweisungen finden Sie hier. CTAS-Anweisungen werden basierend auf den in der Select-Phase gescannten Bytes berechnet, ähnlich wie Athena für Select-Abfragen.