Chạy khối lượng công việc tương tác trên Amazon EMR trên EKS với Spark Connect
Amazon EMR trên EKS hiện hỗ trợ các phiên Apache Spark tương tác với Spark Connect. Các kỹ sư dữ liệu và nhà khoa học dữ liệu có thể phát triển và gỡ lỗi ứng dụng Apache Spark theo cách tương tác từ sổ tay được quản lý trong Studio hợp nhất của Amazon SageMaker và các IDE của riêng họ, chẳng hạn như Jupyter và Visual Studio Code, với Spark chạy trên các cụm Amazon EKS mà họ đã vận hành.
Phiên tương tác cung cấp ngữ cảnh Spark được duy trì liên tục, trải dài trên nhiều ô và tập lệnh, tạo điều kiện cho bạn kết hợp việc thực thi mã Python cục bộ với thao tác Spark từ xa. Kiến trúc máy khách-máy chủ của Spark Connect tách rời máy khách ứng dụng của bạn khỏi trình điều khiển Spark và cho phép bạn duy trì môi trường và công cụ phát triển yêu thích của mình trong khi Spark chạy trên cụm Amazon EKS của bạn. Kiến trúc này hỗ trợ các quy trình công việc bao gồm khám phá dữ liệu đột xuất và phát triển từng phần công việc PySpark trước khi triển khai vào môi trường sản xuất. Mỗi phiên chạy dưới dạng pod trên một cụm ảo, được bảo mật bằng vai trò thực thi Quản lý danh tính và truy cập trong AWS (IAM) của bạn và được gắn thẻ theo dự án và người dùng.
Spark Connect trên Amazon EMR trên EKS có sẵn với bản phát hành EMR 7.14 (Apache Spark 3.5) và emr-spark-8.1.0 (Apache Spark 4.1), ở tất cả các Khu vực AWS thương mại. Trải nghiệm Studio hợp nhất của Amazon SageMaker đã có sẵn ở các Khu vực AWS được hỗ trợ.
Để bắt đầu, hãy truy cập tài liệu về Spark Connect trên Amazon EMR trên EKS hoặc hướng dẫn Bắt đầu sử dụng Studio hợp nhất của Amazon SageMaker.