发布于: Jun 8, 2023
Amazon Athena for Apache Spark 现在可让您使用自己的 Java 库，以及为 Spark 工作负载自定义 Spark 配置。您可以将 Java 库用作 Athena Spark 的自定义 JAR 来分析来自多个来源的数据，或者在自定义 JAR 中使用函数来提高计算的灵活性。
Amazon Athena for Apache Spark 是 Amazon Athena 的一项功能，它可让您在不到一秒钟的时间内在 Apache Spark 上运行交互式分析，从而分析 PB 级数据。现在，您可以在 Spark 工作负载中添加自己的 Java 库和模块（以 JAR 文件形式）以连接到不同数据来源，并使用用户定义的函数运行高级计算来进行特征探索。此外，您还可以在 Athena 中为您的会话（例如提供 Java 程序包所需的自定义设置或者跨账户访问 AWS Glue 目录以支持设计模式等数据网格）设置 Spark 配置。本次发布包括一系列适用于 Amazon CloudWatch 日志、CloudWatch 指标和 Amazon DynamoDB 的参考连接器包，以便您可以在见解中使用来自服务的数据。
对自定义 Java 库和对自定义 Spark 配置的支持已在提供 Amazon Athena for Apache Spark 的 9 个 AWS 区域推出：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）、欧洲地区（法兰克福）、亚太地区（东京)、亚太地区（新加坡）、亚太地区（悉尼）和亚太地区（孟买）。如需了解更多信息并开始使用这些功能，请访问 Amazon Athena for Apache Spark 文档页面。