Apache Spark trên Amazon EMR

Amazon EMR là nơi tốt nhất để chạy Apache Spark. Bạn có thể nhanh chóng và dễ dàng tạo các cụm Spark được quản lý từ Bảng điều khiển quản lý AWS, AWS CLI hoặc Amazon EMR API. Ngoài ra, bạn có thể tận dụng các tính năng bổ sung của Amazon EMR, bao gồm kết nối Amazon S3 nhanh chóng bằng cách sử dụng Hệ thống tệp Amazon EMR (EMRFS), khả năng tích hợp với thị trường Amazon EC2 Spot và Danh mục dữ liệu AWS Glue, cũng như Mở rộng quy mô được quản lý EMR để thêm hoặc xóa các phiên bản khỏi cụm của bạn. AWS Lake Formation đem đến khả năng kiểm soát truy cập chi tiết, trong khi đó việc tích hợp với AWS Step Functions sẽ giúp điều phối các quy trình dữ liệu của bạn. EMR Studio (bản xem trước) là môi trường phát triển tích hợp (IDE) giúp các nhà khoa học dữ liệu và kỹ sư dữ liệu dễ dàng phát triển, trực quan hóa và gỡ lỗi các ứng dụng kỹ thuật dữ liệu và khoa học dữ liệu được viết ở R, Python, Scala và PySpark. EMR Studio cung cấp sổ ghi chép Jupyter được quản lý đầy đủ và các công cụ như Spark UI và YARN Timeline Service để đơn giản hóa việc gỡ lỗi. EMR Notebooks giúp bạn dễ dàng thử nghiệm và xây dựng các ứng dụng với Spark. Nếu thích, bạn có thể sử dụng Apache Zeppelin để tạo các máy tính xách tay tương tác và kết hợp để khám phá dữ liệu sử dụng Spark.

Tìm hiểu thêm về Apache Spark tại đây.

EMR có thời gian chạy Amazon EMR dành cho Apache Spark, một môi trường thời gian chạy được tối ưu hóa hiệu năng dành cho Apache Spark, bật mặc định trên các cụm Amazon EMR. Thời gian chạy Amazon EMR dành cho Apache Spark có thể nhanh hơn gấp 3 lần so với các cụm không có thời gian chạy EMR và có khả năng tương thích API 100% với Apache Spark tiêu chuẩn. Hiệu năng được cải thiện này đồng nghĩa với khối lượng công việc chạy nhanh hơn và tiết kiệm chi phí điện toán mà không thực hiện bất kỳ thay đổi nào đối với các ứng dụng của bạn.

Bằng cách sử dụng công cụ thực thi đồ thị không theo chu trình (DAG), Spark có thể tạo ra các kế hoạch truy vấn hiệu quả cho các hoạt động chuyển đổi dữ liệu. Spark cũng lưu trữ dữ liệu đầu vào, đầu ra và trung gian trong bộ nhớ dưới dạng các tập hợp dữ liệu phân tán dạng cột linh hoạt, cho phép xử lý nhanh mà không có chi phí I/O, tăng hiệu năng của các khối lượng công việc lặp lại hoặc tương tác.

Apache Spark mặc định hỗ trợ Java, Scala, SQL và Python, cung cấp cho bạn nhiều ngôn ngữ để xây dựng các ứng dụng của mình. Ngoài ra, bạn có thể gửi các truy vấn SQL hoặc HiveQL bằng việc sử dụng mô-đun Spark SQL. Ngoài các ứng dụng đang chạy, bạn có thể sử dụng Spark API tương tác trực tiếp với Python hoặc Scala trong lệnh shell Spark, qua EMR Studio hoặc qua sổ ghi chép Jupyter trên cụm của bạn. Hỗ trợ cho Apache Hadoop 3.0 trpng EMR 6.0 giúp hỗ trợ bộ chứa Docker để đơn giản hóa việc quản lý các tác nhân phụ thuộc. Bạn cũng có thể tận dụng EMR Notebooks phụ thuộc vào cụm (dựa trên Jupyter) hoặc sử dụng Zeppelin để tạo các máy tính xách tay tương tác và kết hợp để khám phá và trực quan hóa dữ liệu. Bạn có thể điều chỉnh và gỡ lỗi khối lượng công việc của mình trong bảng điều khiển EMR có cụm ngoại tuyến, Spark History Server liên tục.

Apache Spark chứa một số thư viện để giúp xây dựng các ứng dụng cho machine learning (MLlib), xử lý luồng dữ liệu (Spark Streaming) và xử lý biểu đồ (GraphX). Các thư viện này được tích hợp chặt chẽ trong hệ sinh thái Spark và chúng có thể được tận dụng ngay để giải quyết nhiều trường hợp sử dụng khác nhau. Ngoài ra, bạn có thể sử dụng các khung về deep learning như Apache MXNet với các ứng dụng Spark của bạn. Việc tích hợp với AWS Step Functions cho phép bạn thêm quy trình tự động hóa và phát hành quy trình làm việc serverless vào các ứng dụng của mình.

Gửi các tác vụ Apache Spark với EMR Step API, sử dụng Spark với EMRFS để truy cập trực tiếp dữ liệu trong S3, tiết kiệm chi phí bằng cách sử dụng dung lượng EC2 Spot, sử dụng Mở rộng quy mô được quản lý EMR để tự động thêm và loại bỏ dung lượng và khởi chạy các cụm hoạt động tạm thời hoặc trong thời gian dài để phù hợp với khối lượng công việc của bạn. Bạn cũng có thể dễ dàng định cấu hình mã hóa Spark và xác thực bằng Kerberos thông qua việc sử dụng cấu hình bảo mật EMR. Ngoài ra, bạn có thể sử dụng Danh mục dữ liệu AWS Glue để lưu trữ siêu dữ liệu bảng SQL Spark hoặc sử dụng Amazon SageMaker với các đường dẫn dữ liệu machine learning Spark của bạn. EMR cài đặt và quản lý Spark trên Hadoop YARN và bạn cũng có thể thêm các ứng dụng dữ liệu lớn khác trên cụm của mình. EMR với Apache Hudi cho phép bạn quản lý hiệu quả hơn việc thu thập dữ liệu thay đổi (CDC) và trợ giúp với các quy định về quyền riêng tư như GDPR và CCPA bằng cách đơn giản hóa việc xóa hồ sơ. Nhấp vào đây để biết thêm chi tiết về các tính năng của EMR.