Amazon EMR gibt bekannt, dass S3A als Standardkonnektor eingesetzt wird
AWS stellt Amazon EMR S3A vor, einen neuen Amazon S3-Konnektor, der die Leistung für Apache Hadoop-, Apache Spark- und Apache Hive-Workloads auf Amazon EMR optimiert. Dieser neue Konnektor erweitert die Open-Source-S3A-Architektur um AWS-spezifische Optimierungen, um Unternehmen bei der effizienteren Verarbeitung großer Datenmengen zu unterstützen. Dank der direkten Integrationsunterstützung für S3 Express One Zone, S3 Glacier und AWS Outposts unterstützt EMR S3A Kunden dabei, verschiedene Speicheroptionen in AWS zu nutzen, um sowohl die Datenzugriffsgeschwindigkeit als auch die Speicherkosten für ihre EMR-Workloads zu optimieren.
Darüber hinaus bietet der EMR S3A-Konnektor erweiterte Sicherheitsfunktionen und Leistungsmerkmale, die über Open Source S3A hinausgehen. Zu den wichtigsten Verbesserungen zählen die integrierte Unterstützung für detaillierte Zugriffskontrollen in Apache Spark, ein verbesserter S3A-Anmeldeinformationsauflöser, MagicCommitter V2 für optimiertes Schreiben von Dateien und eine beschleunigte S3-Präfixauflistung für spaltenorientierte Dateiformate. Diese Verbesserungen sind ab EMR-Version 7.10 verfügbar und sind mit bestehenden Anwendungen kompatibel.
Der Amazon EMR S3A-Konnektor ist in allen AWS-Regionen verfügbar, in denen Amazon EMR angeboten wird, und ist mit Amazon EMR Release Version 7.10 und höher vorkonfiguriert. Weitere Informationen zu Amazon EMR S3A finden Sie in der Amazon EMR-Dokumentation.