发布于: Apr 19, 2024
今天，我们很高兴地宣布，除了使用 StartJobRun API、Spark Operator、Spark Submit 和交互式端点外，客户现在还可以使用 Apache Livy 将 Apache Spark 任务提交到 EKS 上的 Amazon EMR。通过此次发布，客户将能够使用 REST 接口轻松提交 Spark 任务或 Spark 代码片段，同步或异步检索结果，同时继续获得 EKS 上的 Amazon EMR 的所有权益，例如 EMR 优化型 Spark 运行时、SSL 安全的 Livy 端点、编程设置体验等。
Apache Livy 是一项允许通过 REST 接口与 Spark 集群轻松交互的服务。在今天的发布之前，客户在通过 REST 接口从本地环境运行批处理或交互式工作负载时，必须使用 StartJobRun API 或交互式端点。这导致客户需要更改其应用程序。现在，通过今天的发布，我们简化了体验，客户可以轻松创建 Livy 端点，并使用该端点通过 REST 接口将 Apache Spark 任务提交到 EKS 上的 Amazon EMR 集群。此外，为了增强安全性，客户还可以通过一种支持的协议（例如 Kerberos、自定义身份验证）配置身份验证，从而限制对 Livy 端点的访问。