Amazon EMR 上的 Apache Spark

EMR 具有适用于 Apache Spark 的 Amazon EMR 运行时，这是一种针对 Apache Spark 进行性能优化的运行时环境，默认情况下在 Amazon EMR 集群上处于活动状态。适用于 Apache Spark 的 Amazon EMR 运行时的速度可比没有 EMR 运行时的集群快 3 倍以上，并且与标准 Apache Spark 具有 100% 的 API 兼容性。此项提升性能可提高工作负载的运行速度，并节省计算成本，无需更改应用程序。

通过使用有向无环图 (DAG) 执行引擎，Spark 可以创建针对数据转换的高效查询计划。Spark 还会将输入内容、输出内容以及内存中的中间数据存储为弹性数据帧，从而实现快速处理（不会产生 I/O 成本）并提高迭代式或交互式工作负载的性能。

Apache Spark 原生支持 Java、Scala、SQL 和 Python，可为您提供多种应用程序构建语言。此外，您还可以使用 Spark SQL 模块提交 SQL 或 HiveQL 查询。除了运行应用程序以外，您还可以在集群上的 Spark shell 中，或者通过 EMR Studio 或 Jupyter Notebook 以交互方式直接结合使用 Spark API 和 Python 或 Scala。EMR 6.0 中 Apache Hadoop 3.0 的支持提供了 Docker 容器支持，以简化管理依赖项。您也可以利用独立于集群的 EMR Notebooks（基于 Jupyter）或使用 Zeppelin 创建交互式协作 notebook，用于数据探索和可视化。您可以调整和调试 EMR 控制台中的工作负载，该控制台具有集群外的持久Spark History Server。

Apache Spark 包括多个库，可帮助构建针对以下方面的应用程序：机器学习 (MLlib)、流处理 (Spark 流传输) 和图形处理 (GraphX)。这些库紧密集成在 Spark 生态系统中，可即时用于处理各种使用案例。此外，您还可以将 Apache MXNet 等深度学习框架用于 Spark 应用程序。与 AWS Step Functions 集成可让您向应用程序中添加无服务器工作流自动化和编排。

借助 EMR Step API 提交 Apache Spark 作业，结合使用 Spark 和 EMRFS 以直接访问 S3 中的数据，使用 EC2 Spot 容量节约成本，使用 EMR Managed Scaling 动态添加和移除容量，并根据您的工作负载启动长期运行的集群或瞬态集群。您还可以使用 EMR 安全配置轻松配置 Spark 加密和 Kerberos 身份验证。此外，您可以使用 AWS Glue Data Catalog 存储 Spark SQL 表元数据，或与 Spark 机器学习管道配合使用 Amazon SageMaker。EMR 在 Hadoop YARN 上安装和管理 Spark，您还可以在集群中添加其他大数据应用程序。EMR with Apache Hudi 可简化记录删除，让您更高效地管理更改数据捕捉（CDC），并有助于遵守 GDPR 和 CCPA 等隐私法规。单击此处了解有关 EMR 功能的更多详细信息。

Apache Spark 升级代理可自动识别 PySpark 和 Scala 应用程序中的 API 变更和行为修改。工程师可以借助 MCP（Model Context Protocol）兼容性直接从 SageMaker Unified Studio 或其选择的 IDE 启动升级。在升级过程中，代理将分析现有代码并提出具体变更建议，工程师可以在实施之前进行审核和批准。代理将通过数据质量验证来验证功能正确性。代理当前支持从 Spark 2.4 升级到 3.5，并在整个升级过程中保持数据处理的准确性。

借助 EMR 上的 Spark Streaming，使用和处理来自 Amazon Kinesis、Apache Kafka 或其他数据流的实时数据。采用容错方式执行流分析，并将相应结果写入到 S3 或基于集群的 HDFS 中。

EMR 上的 Apache Spark 包括适用于各种可扩展的机器学习算法的 MLlib，或者您也可以使用自己的库。通过在作业过程中在内存中存储数据集，Spark 可针对机器学习工作负载中常见的迭代查询提供出色的性能。您可以将 Notebook 实例与 Amazon EMR 上运行的 Apache Spark 集群连接，从而增强 Amazon SageMaker 的功能，通过 Amazon SageMaker Spark 轻松训练和托管模型。

使用 Spark SQL 进行低延迟的 SQL 或 HiveQL 交互式查询。EMR 上的 Spark 可以利用 EMRFS，因此您可以临时访问 S3 中的数据集。此外，您可以通过 ODBC 和 JDBC 连接来使用 EMR Studio、EMR Notebooks、Zeppelin Notebooks 或 BI 工具。