Publicado en: Jun 8, 2023
Amazon Athena para Apache Spark ahora le permite usar sus propias bibliotecas de Java y personalizar las configuraciones de Spark para sus cargas de trabajo en Spark. Puede utilizar las bibliotecas de Java como archivos JAR personalizados con Athena Spark para analizar datos de múltiples fuentes o utilizar funciones en estos mismos archivos para obtener más flexibilidad con los cálculos.
Amazon Athena para Apache Spark es una característica de Amazon Athena que permite ejecutar análisis interactivos en Apache Spark en menos de un segundo para analizar petabytes de datos. Ahora puede incluir sus propias bibliotecas y módulos de Java (como archivos JAR) en las cargas de trabajo de Spark para conectarse a diferentes orígenes de datos y ejecutar cálculos avanzados usando funciones definidas por el usuario con el objetivo de explorar las características. Además, también puede configurar Spark en Athena para sus sesiones, por ejemplo, para proporcionar los ajustes personalizados que requieren sus paquetes de Java o para acceder a los catálogos de AWS Glue en todas las cuentas y admitir patrones de diseño tipo malla de datos. Este lanzamiento incluye un conjunto de paquetes de conectores de referencia para los registros de Amazon CloudWatch, las métricas de CloudWatch y Amazon DynamoDB, de modo que pueda utilizar los datos de los servicios en su información.
La compatibilidad con bibliotecas Java personalizadas y configuraciones personalizadas de Spark está disponible en 9 regiones de AWS en las que está disponible Amazon Athena para Apache Spark: Este de EE. UU. (Ohio), Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón), Europa (Irlanda), Europa (Fráncfort), Asia-Pacífico (Tokio), Asia-Pacífico (Singapur), Asia-Pacífico (Sídney) y Asia-Pacífico (Bombay). Para obtener más información y empezar, visite la página de la documentación de Amazon Athena para Apache Spark.