Apache Spark trên Amazon EMR

EMR có Thời gian hoạt động của Amazon EMR dành cho Apache Spark, một môi trường thời gian hoạt động được tối ưu hóa hiệu năng dành cho Apache Spark, được bật mặc định trên các cụm Amazon EMR. Thời gian chạy Amazon EMR dành cho Apache Spark có thể nhanh hơn gấp 3 lần so với các cụm không có thời gian chạy EMR và có khả năng tương thích API 100% với Apache Spark tiêu chuẩn. Hiệu năng được cải thiện này đồng nghĩa với khối lượng công việc chạy nhanh hơn và tiết kiệm chi phí điện toán mà không thực hiện bất kỳ thay đổi nào đối với các ứng dụng của bạn.

Bằng cách sử dụng công cụ thực thi đồ thị không theo chu trình (DAG), Spark có thể tạo ra các kế hoạch truy vấn hiệu quả cho các hoạt động chuyển đổi dữ liệu. Spark cũng lưu trữ dữ liệu đầu vào, đầu ra và trung gian trong bộ nhớ dưới dạng các tập hợp dữ liệu phân tán dạng cột linh hoạt, cho phép xử lý nhanh mà không có chi phí I/O, tăng hiệu năng của các khối lượng công việc lặp lại hoặc tương tác.

Apache Spark mặc định hỗ trợ Java, Scala, SQL và Python, cung cấp cho bạn nhiều ngôn ngữ để xây dựng các ứng dụng của mình. Ngoài ra, bạn có thể gửi các truy vấn SQL hoặc HiveQL bằng việc sử dụng mô-đun Spark SQL. Ngoài các ứng dụng đang chạy, bạn có thể sử dụng API Spark tương tác trực tiếp với Python hoặc Scala trong lệnh shell Spark, qua Studio EMR hoặc qua sổ tay Jupyter trên cụm của bạn. Hỗ trợ cho Apache Hadoop 3.0 trong EMR 6.0 mang lại hỗ trợ bộ chứa Docker giúp đơn giản hóa việc quản lý các thành phần phụ thuộc. Bạn cũng có thể tận dụng Sổ tay EMR không phụ thuộc vào cụm (dựa trên Jupyter) hoặc sử dụng Zeppelin để tạo các sổ tay tương tác và cộng tác để khám phá và trực quan hóa dữ liệu. Bạn có thể điều chỉnh và gỡ lỗi khối lượng công việc của mình trong bảng điều khiển EMR có Máy chủ lịch sử Spark lâu bền và nằm ngoài cụm.

Apache Spark chứa một số thư viện để giúp xây dựng các ứng dụng cho machine learning (MLlib), xử lý luồng dữ liệu (Spark Streaming) và xử lý biểu đồ (GraphX). Các thư viện này được tích hợp chặt chẽ trong hệ sinh thái Spark và chúng có thể được tận dụng ngay để giải quyết nhiều trường hợp sử dụng khác nhau. Ngoài ra, bạn có thể sử dụng các khung về deep learning như Apache MXNet với các ứng dụng Spark của bạn. Việc tích hợp với AWS Step Functions cho phép bạn thêm quy trình tự động hóa và điều phối quy trình làm việc phi máy chủ vào các ứng dụng của mình.

Gửi các tác vụ Apache Spark với API EMR Step, sử dụng Spark với EMRFS để truy cập trực tiếp dữ liệu trong S3, tiết kiệm chi phí bằng cách sử dụng dung lượng phiên bản Dùng ngay EC2, sử dụng Điều chỉnh quy mô được quản lý EMR để linh động thêm và loại bỏ dung lượng và khởi chạy các cụm hoạt động lâu dài hoặc tạm thời để phù hợp với khối lượng công việc của bạn. Bạn cũng có thể dễ dàng định cấu hình mã hóa Spark và xác thực bằng Kerberos thông qua việc sử dụng cấu hình bảo mật EMR. Ngoài ra, bạn có thể sử dụng Danh mục dữ liệu AWS Glue để lưu trữ siêu dữ liệu bảng Spark SQL hoặc sử dụng Amazon SageMaker với các quy trình máy học Spark của bạn. EMR cài đặt và quản lý Spark trên Hadoop YARN và bạn cũng có thể thêm các ứng dụng dữ liệu lớn khác trên cụm của mình. EMR với Apache Hudi cho phép bạn quản lý hiệu quả hơn việc thu thập dữ liệu thay đổi (CDC) và hỗ trợ với các quy định về quyền riêng tư như GDPR và CCPA bằng cách đơn giản hóa việc xóa hồ sơ. Nhấp vào đây để biết thêm chi tiết về các tính năng của EMR.

Sử dụng và xử lý dữ liệu theo thời gian thực từ Amazon Kinesis, Apache Kafka hoặc các luồng dữ liệu khác bằng Spark Streaming trên EMR. Thực hiện các phân tích luồng dữ liệu theo cách có dung sai cao và ghi kết quả lên S3 hoặc trên cụm HDFS.

Apache Spark trên EMR cung cấp MLlib cho các thuật toán machine learning có khả năng thay đổi quy mô hoặc bạn có thể tự sử dụng các thư viện của mình. Bằng cách lưu trữ các bộ dữ liệu trong bộ nhớ khi thực hiện một tác vụ, Spark mang đến hiệu năng tuyệt vời cho các truy vấn lặp lại thường gặp trong khối lượng công việc máy học. Bạn có thể nâng cao khả năng của Amazon SageMaker bằng cách kết nối phiên bản sổ ghi chép với một cụm Apache Spark chạy trên Amazon EMR với Amazon SageMaker Spark để dễ dàng đào tạo và lưu trữ các mô hình.

Sử dụng Spark SQL cho các truy vấn tương tác, có độ trễ thấp với SQL hoặc HiveQL. Spark trên EMR có thể tận dụng EMRFS, vì vậy, bạn có quyền truy cập vào bộ dữ liệu của mình trong S3, khi cần. Ngoài ra, bạn có thể sử dụng EMR Studio, EMR Notebooks, sổ ghi chép Zeppelin hoặc công cụ BI thông qua kết nối ODBC và JDBC.