Publicado: Jun 8, 2023
O Amazon Athena para Apache Spark agora permite usar suas próprias bibliotecas Java e personalizar as configurações do Spark para suas workloads do Spark. Você pode usar bibliotecas Java como JARs personalizados com o Athena Spark para analisar dados de várias fontes ou usar funções em jars personalizados para obter mais flexibilidade nos cálculos.
O Amazon Athena para Apache Spark é um atributo do Amazon Athena que permite executar análises interativas no Apache Spark em menos de um segundo para analisar petabytes de dados. Agora você pode incluir suas próprias bibliotecas e módulos Java (como arquivos JAR) nas workloads do Spark para se conectar a diferentes fontes de dados e executar cálculos avançados usando funções definidas pelo usuário para realizar a exploração de atributos. Além disso, você também pode definir configurações do Spark no Athena para suas sessões, como fornecer configurações personalizadas exigidas por seus pacotes Java ou acessar os catálogos do AWS Glue em todas as contas para oferecer suporte a padrões de design como data mesh. Esse lançamento inclui um conjunto de pacotes de conectores de referência para o Amazon CloudWatch Logs, as métricas do CloudWatch e o Amazon DynamoDB para que você possa usar dados dos serviços em seus insights.
O suporte para bibliotecas Java personalizadas e para configurações personalizadas do Spark está disponível em nove regiões da AWS nas quais o Amazon Athena para Apache Spark é oferecido: Leste dos EUA (Ohio), Leste dos EUA (N. da Virgínia), Oeste dos EUA (Oregon), Europa (Irlanda), Europa (Frankfurt), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Singapura), Ásia-Pacífico (Sydney) e Ásia-Pacífico (Mumbai). Para saber mais e começar a usá-lo, acesse a página de documentação do Amazon Athena para Apache Spark.