Warum dauert die Ausführung des Befehls MSCK REPAIR TABLE so lange?

Lösung

Sie erhalten diesen Fehler, weil Amazon Athena Präfixe und Objekte in Amazon Simple Storage Service (Amazon S3) rekursiv auflistet, wenn der Befehl MSCK REPAIR TABLE ausgeführt wird. Wenn Sie zu viele Amazon S3-Präfixe oder -Objekte haben, kann es lange dauern, bis der Befehl ausgeführt wird, oder es kommt zu einem Timeout.

Gehen Sie wie folgt vor, um diesen Fehler zu beheben:

• Verwenden Sie einen AWS Glue-Crawler, um Partitionen zu Ihren Athena-Tabellen hinzuzufügen. Weitere Informationen finden Sie unter Funktionsweise von Crawlern. Die Verwendung eines AWS Glue-Crawlers kann den Zeitaufwand für das Laden von Partitionen reduzieren, wenn Sie viele Amazon S3-Präfixe nutzen. Weitere Informationen finden Sie unter Inkrementelle Crawls in AWS Glue.
• Fügen Sie der Tabelle mithilfe des Befehls ALTER TABLE ADD PARTITION Partitionen hinzu.

Erwägen Sie die Verwendung der Partitionsprojektion, wenn Ihre Partitionen vorhersehbaren Mustern folgen. Athena generiert Partitionen im Speicher, ohne dass sie dem AWS-Glue-Datenkatalog hinzugefügt oder aus dem Datenkatalog abgerufen werden müssen. Daher können so Abfrageverarbeitungszeiten für stark partitionierte Tabellen verkürzt werden.

Ähnliche Informationen

Warum dauert die Ausführung meiner Athena-Abfragen so lange?

Erstellen von Tabellen, Aktualisieren des Schemas und Hinzufügen neuer Partitionen im Datenkatalog aus AWS Glue-ETL-Jobs